Venetië 2025: Interactieve XR

Interactie lijkt in XR vaak niet meer dan een afterthought bij het verhaal dat de maker wil vertellen: een meestal ongeloofwaardige, onhandige en onnodige toevoeging.

Dit is waarschijnlijk het laatste jaar dat ik het hele programma kan zien. Niet alleen was Venice Immersive dit jaar groter dan ooit, ook worden de XR-ervaringen elk jaar langer. Was twintig minuten jarenlang een bovengrens (het moment waarop de bril te zwaar en het hoofd te moe werd), inmiddels is vijftig minuten geen uitzondering meer.

Meer ervaringen betekent ook: meer trends. Het eerste wat dit jaar opviel, was hoeveel verschillende handen ik had. Soms gekoppeld aan de controllers die ik vasthield (waarbij de virtuele handen nooit dezelfde oriëntatie hebben als je eigen), maar vaker op basis van hand-tracking, waarbij de XR-headset je handen live scant – zolang ze binnen het blikveld blijven van de scanner, die zich aan de onderkant van je headset bevindt. Wie, zoals ik, nogal beweeglijk is, raakt die virtuele handen om de haverklap kwijt.

Ik had monsterklauwen, poezenpootjes en vleugels; oude handen, skeletbotjes en verbrande vingers. De coolste waren de gothic Wicca-handen met zwarte nagellak, zilveren armband en pagan tatoeage in de verder tamme puzzelgame Ghost Town van Fireproof Games (waarvan het eerste half uur te spelen was).

En dan waren er nog de gezichtselementen aan de randen van het blikveld, waaronder de bloemblaadjes in Joren Vandenbroucke’s The Great Escape, waarin je een potplant bent die luistert naar de ontsnappingsplannen van twee potgenoten; de snavels en andere elementen in Face Jumping van Danny Cannizzaro en Samantha Gorman, waarin je van het ene point of view naar het andere springt; en de snorharen in Atsushi Wada’s erg leuk geanimeerde If You See a Cat, waarin je niet alleen poezenpootjes hebt, maar ook een poezensnuit.

Het rare hieraan is: dit idee is bijna even oud als VR zelf en ik dacht dat we het allang verworpen hadden. Het werkt namelijk niet. Beter gezegd: het maakt je gevoel van aanwezigheid niet sterker, maar juist minder.

Want je hebt namelijk in werkelijkheid heel duidelijk geen monsterklauwen. Het is de concreetheid van wat je voor je ziet maar onmiskenbaar niet voelt, in combinatie met de beperkingen van het live scannen (de vingers volgen bij hand-tracking rap, maar niet perfect je eigen bewegingen en als je je handen/poten/klauwen tegen elkaar houdt, passen ze nooit helemaal), waardoor het de geloofwaardigheid van de immersie in de virtuele wereld juist ondermijnt.

Hetzelfde geldt natuurlijk voor de virtuele lichamen die je in allerlei ervaringen toch weer kreeg. Het is een leuk idee, even, om naar beneden te kijken en een andere genderpresentatie of een dierenlichaam te zien, maar hier wordt helemaal niks gescand: het XR-werk hangt het lichaam gewoon aan je headset en beweegt je benen als die headset zich verplaatst – wat helemaal niet hoeft te kloppen met hoe je benen werkelijk bewegen. Ook hier geldt: je voelt dat wat je ziet er niet is en de overlap tussen lichaamsbeleving en wat de XR je laat zien is beperkt tot non-existent.

Ik maak een uitzondering voor kinder-XR zoals Maya Shekels Eddie and I, waarin de lol van een lief virtueel monster zijn zwaarder weegt dan de technische beperkingen, en voor Face Jumping, een van de leukste ervaringen in Venetië dit jaar (en winnaar van een Publieksprijs op SXSW), waarin het hebben van verschillende lichamen niet alleen met humor werd benaderd (ik had mezelf nog nooit als gootsteenontstopper gezien), maar ook een wezenlijk onderdeel is van de boodschap.

In de ervaring, gebaseerd op een kort verhaal van de vermaarde Argentijnse schrijver Julio Cortazar, spring je door je blik te richten soepeltjes van het ene point of view naar het andere, van mens naar dier naar ding. Achter de speelse en geestige ervaring schuilt ondertussen een dieper inzicht: dat werkelijke wijsheid (vertolkt door een axolotl met tollende oogjes) voortkomt uit het diepe besef van het ontelbare aantal gezichtspunten waaruit de wereld bestaat.

Maar in het algemeen geldt: waar handen nodig zijn, zoals in bepaalde games, kunnen ze maar beter zo vaag mogelijk zijn vormgegeven. Als je handen bestaan uit wolken van zwevende puntjes, zoals in Sarah Silverblatt-Busers gezamenlijke dans-XR (er is er altijd ééntje) Collective Body, valt een mismatch met je fysieke handen minder op: hoe minder concreet, hoe meer het te accepteren valt als onderdeel van de virtuele wereld. Hoe minder, hoe meer – en vice versa.

Een ander alternatief is: je eigen, echte handen zien. Geen mismatch mogelijk. Dat kan in MR-ervaringen, Mixed Reality, waarbij je naast de virtuele beelden (en met dank aan een ingebouwde camera in je headset) ook delen van de werkelijkheid (of Real Reality) kan zien, en die na de doorbraak vorig jaar een vast onderdeel van het aanbod zijn geworden. Zo was er een moment in mijn favoriete XR-ervaring dit jaar, Craig Quintero’s en Phoebe Greenbergs Blur, waarin binnen de virtuele ruimte een loket verscheen waardoorheen je de werkelijkheid kon zien, als een soort raam met daarachter echte mensen (acteurs, die onderdeel waren van deze theatrale, omvangrijke en bij vlagen surrealistische MR-presentatie over klonen), waarna ook je eigen hand van virtueel in echt overging als je hem uitstak om een aangereikt bakje aan te nemen. Een vervreemdend en daarom sterk staaltje back through the looking-glass.

En zo kom ik bij iets wat me in XR nog meer ergert dan slecht passende virtuele handen: de onhandigheid van interacties. In Blur was het aannemen van het aangereikte bakje geen probleem, omdat ik mijn echte hand zag. Maar in talloze andere XR-ervaringen zat ik te klooien met het oppakken, raken en openen van dingen, doelen en deuren. Meestal lukte poging drie. Dat is niet alleen frustrerend, maar deze handelingen, die neem ik aan net als het hebben van poezenpootjes of blikveldbloemblaadjes bedoeld zijn om je ervaren aanwezigheid in de virtuele wereld te versterken, doen net als die dingen precies het omgekeerde: je hebt heel duidelijk niet echt een steen in je hand die je dus ook heel duidelijk niet echt in het water gooit. De vorm van je hand past ook nooit echt bij de virtuele weergave: zo moest ik om een papieren bootje op te pakken in Kris Hofmanns en Andreas Wuthe’s Out of Nowhere in werkelijkheid een vuist maken (overigens was deze korte XR over een overstroming in Oostenrijk verder behoorlijk indrukwekkend en op zeker moment, als het licht uitvalt in een onder water lopend huis, zelfs als enige immersive ervaring dit jaar eventjes eng).

Erger dan dat deze handelingen onhandig en dus afleidend zijn in plaats van immersief, is dat ze meestal geen enkele narratieve functie hebben. Dat ik, met een onnatuurlijke beweging, zogenaamd een papieren bootje in het water gooi, verandert niks aan mijn ervaring van de overstroming. En dat geldt voor de meeste interactieve momenten in narratieve werken – doorgaans voelen ze als achteraf toegevoegde elementen ‘omdat we nu eenmaal een XR maken en het erbij hoort’.

In games als het bijzonder fraai vormgegeven The Midnight Walk van Olov Redmalmen en Klaus Lyngeled, die met zijn honderden handgemaakte (en vervolgens ingescande) horrorfiguren doet denken aan stopmotionfilm The Nightmare Before Christmas (1993), en Ives Agemans’ Wall Town Wonders waarin je aan de muur hangende miniwerelden kunt bouwen (door een medewerker treffend omschreven als “een combinatie van The Sims, Animal Crossing en Minecraft”) is interactie uiteraard wezenlijk. Maar onder de narratieve werken is het van pov naar pov springen in Face Jumping een van de weinige positieve uitzonderingen waarin er werkelijk betekenisvolle interactie is. In de fascinerende exploratie van seksuele verlangens Dark Rooms van Mads Damsbo, Laurits Flensted Jensen en Anne Sofie Steen Sverdrup kun je op een gegeven moment met een zaklantaarn zien wat er rondom je in het bos gebeurt, wat dus wel een narratieve functie heeft, maar het oppakken en vasthouden van die zaklamp is dan toch weer storend onnatuurlijk en onhandig – een virtuele lamp op je hoofd, type mijnwerkershelm, was effectiever geweest.

Maar nog erger dan dat interacties meestal onhandig en onnodig zijn is dat ze dwingend zijn: meestal heb je nul keuze. Je moet dit doen, dat pakken en daar lopen – anders kunnen we niet verder. De vage associatie van interactie met een gevoel van vrijheid, van ‘leven in een virtuele wereld’, wordt hier gelogenstraft. Dit is ‘interactie op bevel’ die eerder doet denken aan een cipier die zegt dat je moet opstaan of gaan zitten. Als je het zo goed weet, XR, doet het dan zelf!

Werken waarin een stem in je oor je voortdurend vertelt wat je nu, nu en nu moet doen, versterken deze beleving: in plaats van je tot interactie te verleiden, word je ertoe gedwongen. Haal diep adem, kijk elkaar aan, ga dansen! En dan – ik schaam me niet om het toe te geven – word ik bokkig.

De verklaring ligt voor de hand: dit zijn auteurs die je een verhaal willen vertellen; die denken niet in termen van interactie.

En daar is niets mis mee. Ik kom niet uit de gamewereld, ik ben van de film, dus doe mij maar een goed verteld verhaal. Daarom morgen in het afsluitende deel van dit Venice Immersive-tweeluik: de groei van Cinema in XR.