Venetië 2023, blog 9: Venice Immersive (2)

Er bestaat een schaduwrijk tussen werkelijkheid en virtualiteit. Niet meer helemaal hier, maar ook nog niet helemaal daar. Die overgangszone, vaak verstoord door gehannes met kabels en knopjes, wordt door steeds meer VR-makers artistiek ontgonnen. De ruimte tussen V en R.

De overgang van werkelijkheid naar VR is meestal op z’n best abrupt en op z’n slechtst een rommeltje. De VR-bril moet goed zitten (met gesjor aan bandjes en het niet te hard, niet te zacht vastklemmen van het tamelijk zware apparaat op je hoofd), het geluidsvolume moet goed staan en dan moet je vaak ook nog, terwijl je die bril al op hebt, iets aanklikken in een onoverzichtelijk menu, geïnstrueerd door een inmiddels niet alleen onzichtbare, maar ook slecht hoorbare begeleider – die namelijk zelf al de koptelefoon op je hoofd heeft gezet – voordat de ervaring daadwerkelijk kan beginnen.

Bij de ene VR gaat dat soepeler dan bij de andere. Eén keer heb ik een ervaring gehad waarbij de instructies in de VR zelf waren opgenomen (het Nederlandse [Posthuman Wombs] van Anna Fries en Malu Peeters, dat in 2021 op IDFA werd vertoond) – een heel logische en pragmatische oplossing, die echter niet algemeen is overgenomen.

Wat wel meerdere makers al vanaf het begin proberen is om de inhoudelijke (dus niet zozeer de technologische) overgang van de werkelijkheid naar VR, dus van Reality naar Virtual en weer terug, op een of andere manier geleidelijker te maken. De eenvoudigste methode is om de VR aan te bieden in een ruimte die op een bijpassende manier is aangekleed; dat deden in Venetië dit jaar bijvoorbeeld Keisuke Itohs animatie Sen (waarvoor de deelnemers op kussentjes op de grond zaten, als voor een theeceremonie), Cameron Kostopoulos’ trans-ervaring Body of Mine (die met lichtgevende en knipperende organische vormen al van verre de aandacht trok) en de Oekraïense First Day van Valeri Korsjoenov, waarvoor de wachtruimte was ingericht als een comfortabele huiskamer, om het ontwrichtende effect van de door de oorlog geïnspireerde VR-ervaring te versterken.

Voor Sen hield je bovendien een theekop in je handen, waarbij de digitale theekop die je via je VR-bril zag en de fysieke theekop die je tegelijkertijd in je handen voelde perfect gesynchroniseerd waren – een zeer overtuigend onderdeel van de presence design. Wat nog werd versterkt doordat je ondertussen, dankzij een apparaatje dat was gekoppeld aan een horloge om je pols, in de theekop je eigen hartslag voelde slaan; een wonderlijke benadrukking van het eigen lichaam in de virtuele wereld.

Het festival zelf had een van de doorgangen in de opstelling van Venice Immersive van een mist voorzien, waarop live de gefilmde silhouetten van passanten werden geprojecteerd. Zodat al gauw mensen naar zichzelf stonden te zwaaien (een vergelijkbaar effect was onderdeel van de brilloze, maar desondanks interactieve installatie Peupler van Maya Mouawad en Cyril Laurier). Zo werd de virtuele wereld, vertelde een tevreden Michel Reilhac, co-curator van Venice Immersive, geïntroduceerd in de echte wereld – een real virtuality.

Maar er waren dit jaar meer manieren waarop makers die overgang tussen V en R probeerden te vervagen. Genoeg om te vermoeden dat we met een trend te maken hebben. Een trend waarin het in Venetië altijd ondergeschikt gebleven AR (augmented reality, waarbij de projecties aan de zichtbaar blijvende werkelijkheid worden toegevoegd) natuurlijk naadloos past – denk aan German en Federico Gellers Eggscape van vorig jaar.

Dit keer was er het opvallende Jim Henson’s The Storyteller: The Seven Ravens van Paul Raphaël en Félix Lajeunesse (met voice-over van Neil Gaiman), waarin de AR wordt opgeroepen door markeringen op de bladzijden van het fysieke boek dat je in je handen houdt. Met leuke effecten als digitaal geanimeerd water dat als je het boek scheef houdt van de pagina afloopt. Het kon technisch nóg perfecter, vertelde Raphaël me na afloop, zodat de AR werkelijk visueel muurvast aan het boek vast zou zitten (terwijl het nu nog een beetje wiebelig meebewoog, als je het boek draaide of kantelde), maar zo concreet en solide (en dus niet doorzichtig) als deze digitale figuren oogden, alsof ze zich daadwerkelijk bevonden in de echte omgeving die je ondertussen gewoon kon blijven zien, had ik nog niet eerder meegemaakt. Waarbij ook niet onbelangrijk is dat die AR-bril veel lichter is dan de VR-brillen – bijna als een gewone bril. Met als kanttekening dat als je zelf brildrager bent, je die wel onder een VR-bril op kan houden, maar een AR-bril hem in de weg zit.

De mixed reality van Ethan Shaftels Gargoyle Doyle, die ik helaas niet heb kunnen zien, begint met AR, gaat daarna over in VR om weer met AR te eindigen – AR dus specifiek als tussenlaag tussen werkelijkheid en virtuele wereld (zoals op een andere manier ook de Nederlandse coproductie Floating with Spirits van Juanita Onzaga een trapsgewijze overgang naar virtualiteit creëert door te beginnen met live-action en daarna over te gaan naar animatie). Met de langverwachte VR-bril die Apple binnenkort lanceert en die ook voor een groot deel op AR-functies lijkt te mikken, zou AR in de toekomst hoe dan ook wel eens veel groter kunnen worden.

Ook in de Nederlandse coproductie Shadowtime van Sister Sylvester en Deniz Tortum kwam AR voor, waarbij je digitale, virtuele handen niet helemaal synchroon lopen met je echte handen die je tegelijkertijd ook ziet – wat een merkwaardig, maar ook amusant effect heeft.

Opvallender was bij Shadowtime echter dat voordat je de VR-bril opzet, je eerst een ruimte binnengaat die in z’n geheel als camera obscura fungeert, met dank aan een rond gat in de muur. Het is een prachtig gevoel dat te midden van alle state-of-the-art technologie zo’n ondersteboven projectie (in dit geval van de kade van het Lido, waar het eilandje waarop Venice Immersive plaatsvindt direct naast ligt) helemaal niets van zijn betovering verloren heeft. Sterker nog: ik was verbaasd hoe groot het gat was waardoor het licht binnenkwam – ik dacht dat die veel kleiner moest zijn om zo’n scherp beeld te krijgen als op de tegenoverliggende wand verscheen. Zo zie je maar: terwijl ik iets probeer te begrijpen van de ontwikkelingen in het nieuwe medium VR, blijk ik zelfs de eeuwenoude camera obscura nog niet te vatten.

En deze projectie doet meer dan alleen een boeiende schaduwwereld creëren als overgang tussen werkelijkheid en digitale ervaring – hij is onderdeel van het spel met schaduwen en virtualiteit dat in de VR van Shadowtime zelf (die begint met een recreatie van de allereerste VR-ervaring, alsof je kijkt door die allereerste VR-bril) verder wordt gevoerd. Deze tussenruimte werkt daarom ook beter dan degene die is gecreëerd voor Tulpamancer van Marc Da Costa en Matthew Niederhauser: een fysieke kamer waarin je antwoorden geeft op de vragen waarmee de VR vervolgens de door AI gegenereerde beelden en voice-over kan voeden. Dat die ruimte is aangekleed met een ouderwetse computer en telefoon is leuk – maar heeft inhoudelijk verder niets met de daaropvolgende VR-ervaring te maken.

De mooiste overgang terug vanuit het Virtuele naar de Realiteit zit echter in Celine Daemens Songs for a Passerby, winnaar van de Grand Prix van Venice Immersive. In eerste instantie stoorde het mij en enkele collega’s die de VR-ervaring ook hadden beleefd dat jouw live gescande zelf die je in het werk tegenkomt net als jij dus een VR-bril op heeft, wat anachronistisch overkomt in het schemerige, tijdloze oud-Europese stadje waarin we rondlopen. Maar toen Daemen me uitlegde dat ze wel hadden overwogen om die bril uit het beeld te verwijderen, maar uiteindelijk hadden gekozen het te behouden als een tussenfase van de ervaring die je net hebt gehad naar de werkelijkheid die je vervolgens weer betreedt, moest ik toegeven dat het bij mij inderdaad zo had gefunctioneerd. Zeker toen de begeleider die bij mij de VR-bril kwam afdoen zelf óók in de VR verscheen, opgepikt door dezelfde camera die mij live aan het scannen was. Dat ontwapenende effect was een mooie manier om afscheid te nemen van de wereld van Songs for a Passerby en het hoofd weer klaar te maken voor de werkelijkheid van Venice Immersive.

Lees ook het eerste deel van deze terugblik op Venice Immersive, over de lastige kwestie van montage in VR – en hoe je die kunt oplossen.