Venetië 2024: Mixed reality

Met excuses voor de verwarring hebben we het hier voortaan niet meer over AR, augmented reality, maar over MR, mixed reality. En die was dit jaar in Venetië onmiskenbaar in opmars. Inclusief het beste werk, Fragile Home, dat de oorlog in Oekraïne bij je thuis brengt.

MR leek dit jaar z’n doorbraak te beleven op Venice Immersive, het programmaonderdeel van het filmfestival van Venetië voor zogeheten ‘immersieve media’, waarvan VR de bekendste is. Maar wat is MR?

De termen VR, AR, MR en XR kunnen nogal verwarrend zijn. XR is de minst gebruikte, maar gemakkelijkste: het staat voor Extended Reality en is bedoeld als parapluterm. Met XR ben je dus weinig precies, maar zit je altijd goed, als je niet zeker bent hoe je een project of programmering moet omschrijven.

VR is de meest gebruikte en best begrepen term. Virtual Reality slaat op ervaringen waarbij je een VR-bril (of headset, want het bedekt een flink deel van je hoofd) opzet en in een andere – vaak, maar zeker niet altijd digitale – wereld belandt. Van de werkelijkheid merk je niets meer, tenzij je ondertussen ergens tegenaan stoot.

AR en MR zijn de twee termen die ik zelf het meest verwarrend vind. In Filmkrant heb ik me tot nu toe bediend van AR, Augmented Reality, voor ervaringen waarin je de wereld om je heen nog altijd ziet (gefilmd door een camera in de headset of met speciale, doorzichtige brillenglazen), terwijl er digitale elementen aan zijn toegevoegd. Denk aan een digitale vaas op een fysieke tafel. Of een rondvliegende pterodactylus in je eigen woonkamer.

Mixed reality
Maar wat MR, Mixed Reality, dan precies was, bleef me onduidelijk. Googlen helpt ook niet echt – de verwarring blijkt breed gedeeld. Ik dacht een tijdlang dat het verschil neerkwam op de mate van integratie met de fysieke werkelijkheid (misschien kunnen we tegen de tijd dat onze levens volledig met XR vervlochten zullen zijn voor die ‘daadwerkelijke werkelijkheid’ de term RR gaan gebruiken, Real Reality). Digitale vaas op echte tafel: iets toegevoegd, dus augmented. Pterodactylus rondvliegend in je woonkamer: niets met elkaar te maken, dus mixed.

Leuk verzonnen, maar zo zit het niet, volgens de programmeurs van Venice Immersive, Michel Reilhac en Liz Rosenthal. Ik sprak ze op het bootje dat tijdens het festival heen en weer pendelt tussen het Lido en de voormalige pestkolonie Lazzaretto Vecchio, de locatie van het immersieve programma. Als zij het niet weten, weet ik het ook niet meer.

AR is een laagje dat je op de wereld legt en daarvoor heb je in principe geen headset nodig, aldus Reilhac en Rosenthal – het kan ook met je tablet of smartphone. MR draait om een ruimtelijk samengaan van virtuele en daadwerkelijke werkelijkheid. Voor MR maakt het niet uit hoeveel ‘contact’ die interactie lijkt te maken – een rondvliegende dinosaurus in je woonkamer telt net zo goed.

Wat ik in het verleden AR genoemd heb, was volgens deze logica dus bijna altijd MR. Dus zo zal ik het voortaan dan ook maar noemen.

Kwetsbaar thuis
Het beste werk dat ik dit jaar in Venice Immersive zag, was zo’n MR-ervaring. Fragile Home van Ondřej Moravec en Victoria Lopukhina is een Tsjechische productie over de oorlog in Oekraïne. De narratieve lijn is eenvoudig: je ervaart hoe een woonkamer, een ‘thuis’, verandert van gezellig, via politiek geactiveerd (tijdens de Euromaidan-demonstraties) en oorlog, tot wederopbouw.

Wat Fragile Home zo krachtig maakt, is deels juist die tot de essentie teruggebrachte eenvoud. De ervaring heeft geen uitleg nodig: je kan vrij rondwandelen door de woning, met de headset op, waarbij je soms een plek ziet oplichten, wat direct duidelijk maakt dat je geacht wordt daarheen te lopen. Ondertussen hoor je rustige, emotionerende Oekraïense volksliederen die een melancholieke stemming oproepen. Waardoor de klap van de oorlog des te harder aankomt en des te langer nagalmt.

Deze ervaring – of eentje die er sterk op lijkt – had denk ik prima kunnen functioneren als VR. Maar als MR is hij sterker. Als je de kamer binnengaat, zie je, met de headset op, eerst de kamer zoals hij is: een deur, waardoor je binnenkomt; een raam, waardoor je andere bezoekers van Venice Immersive voorbij ziet komen; een lege eettafel; een bank met een salontafel ervoor. Pas als je naar de verschillende plekken toe loopt, zie je ze digitaal veranderen in hoe de Oekraïense woonkamer er op dat moment uitzag. De kleurrijke kussens op de bank waartussen een poes zich uitrekt, de foto’s aan de muur waaraan op een gegeven moment beelden van Euromaidan zijn toegevoegd, de eettafel waarop de dampende borsjtsj klaarstaat. En die even later in puin op de grond ligt. Terwijl het uitzicht door de oorlog dramatisch is veranderd. Het was zonder twijfel mijn meest emotionerende ervaring op Venice Immersive dit jaar.

Echtere virtualiteit
Wat me het meeste trof, technisch gezien, was dat de MR niet alleen een rustige overgang creëerde naar de digitale werkelijkheid, maar die laatste zelfs leek te versterken. In plaats van te benadrukken dat het ‘maar digitaal’ was, doordat je ook nog de real reality kon zien, leek het effect omgekeerd: het digitale wordt echter, doordat de harde grens tussen reëel en virtueel vervaagt en de digitale wereld onderdeel wordt van de werkelijkheid.

Deels is dat natuurlijk niet zo gek: dat je echt op de bank kunt gaan zitten die je op dat moment digitaal voor je ziet, versterkt logischerwijs het ervaren bestaan ervan. Net als in de MR-ervaring Noire van Tania de Montaigne, Stéphane Foenkinos en Pierre-Alain Giraudis, die het hoogtepunt vormde van de selectie van het eerste Cannes Immersive dit jaar (en die ik toen nog AR noemde). Maar ik had verwacht dat andere mensen zien rondlopen toch echt de geloofwaardigheid van de virtuele werkelijkheid zou verminderen.

Nee dus. In Astra van Eliza McNitt (die in 2018 met Spheres al had bewezen het heelal in de vingers te hebben) zie je voor je, en deels boven en opzij van je, het uitzicht van een ruimteschip dat langs reusachtige planeten en eindeloze sterrenhemels glijdt. Als je je omdraait, zie je de bezoekers van Venice Immersive voorbijlopen. Het laatste doet niets af aan het eerste en geeft zelfs een machtig, bijna magisch gevoel. Stel je voor: je doet je headset op en in plaats van het uitzicht van je woonkamer kijk je het heelal in. Het educatieve Astra was op die manier de meest coole ervaring van Venice Immersive.

Apple Vision Pro
De beeldkwaliteit speelt bij MR een nog grotere rol dan bij VR. Dat geldt zowel voor de werkelijkheid – dus de kwaliteit van de ingebouwde camera van de headset – als voor de beeldresolutie van de virtuele elementen. De twee ervaringen die ik kon doen met Apple’s eerste headset, de Vision Pro, waren in allebei die opzichten state of the art. De uitgestorven dieren die weer tot leven kwamen in Museum Alive Immersive with David Attenborough en de Marvel-gevechten in What if…? An Immersive Story werden allebei op geen enkele manier ondergraven door de zichtbare werkelijkheid. Integendeel, ze leken daardoor juist meer aanwezig – ik kreeg de neiging dingen aan te wijzen aan omstanders, die uiteraard niet konden zien waarover ik het had.

Maar echt nagedacht over integratie hadden deze ervaringen niet. Ze stonden of zweefden eenvoudigweg in een ruimte waarmee ze verder niks te maken hadden – net als de schattige kleurrijke wezentjes die in Keisuke Itohs meditatieve Pudica voor je neus verschenen. Dat was anders bij Impulse: Playing with Reality van Barry Gene Murphy en May Abdalla, het tweede deel in hun geplande vierdelige serie over mentale aandoeningen, na het succesvolle Goliath: Playing with Reality over schizofrenie (met de derde in de pijplijn over BDD, een stoornis van de lichaamsbeleving). Goliath won in 2021 in Venetië al de Grote Juryprijs voor Beste Immersieve VR, en dit jaar won Impulse de Venice Immersive Achievement Prize.

In Impulse begeleidt de stem van Tilda Swinton je van de werkelijkheid waarin je je bevindt, met je eigen mentale ervaringen, naar die van iemand gediagnosticeerd met adhd – en weer terug. Zowel narratief als in de interactieve elementen vindt een betekenisvolle wisselwerking plaats tussen de digitale verbeelding van de adhd-ervaring en die van je ongestoorde aanwezigheid op Lazzaretto Vecchio (tenzij je zelf natuurlijk reeds adhd hebt).

Met die narratieve integratie wijst Impulse vooruit naar de nieuwsgierig makende artistieke toekomst van MR. Waarbij ook een shout-out past naar Corinne Mazzoli’s The Gossips’ Chronicles, waarin de virtueel ervaren wereld op een gegeven moment barst, zodat je door de scheuren heen een gothic geklede medewerker onverstoorbaar rondjes om je heen ziet lopen – iets wat uit te werken zou zijn tot een fantastische, theatrale horror-MR.