IDFA 2024: AI & DocLab

Artificiële Intelligentie domineerde dit jaar IDFA’s DocLab-programma voor digitale documentaire. Al bleek het denken over AI vooralsnog boeiender dan het denken van AI. Maar de ontwikkelingen gaan razendsnel en dus is het hoog tijd dat de documentairegemeenschap regels afspreekt voor het gebruik.

Het onderwerp AI, Artificiële Intelligentie, was dit jaar niet te vermijden op DocLab, IDFA’s proeftuin voor nieuw, interactief en grensverleggend mediagebruik.

AI kwam al voor in de festivaltrailer en op de poster, beide op uitnodiging ontworpen door IDFA-criticasters Balai en Fardjadniya. Zelfs de openingsfilm van het festival About a Hero draaide om het gebruik van AI, met (alweer) een overtuigend nagemaakte deepfake-stem van Werner Herzog in een totaal niet overtuigend misdaadverhaal dat geschreven zou zijn door het neurale netwerk Kaspar, getraind op Herzogs uitingen.

Geen goede film, wel een goede openingsfilm, zoals ik elders al opmerkte, omdat het de aftrap gaf voor een noodzakelijke discussie over de rol van AI in documentaires. En als het overwegend opgewekte About a Hero een veilige keuze leek, in deze chaotische en genocidale tijden, vergeet dan niet de rol van AI in politiek, surveillance en oorlogsvoering.

Denk aan de deepfakes van de Oekraïense president Zelensky en van de stem van voormalig Soedanees president Omar al-Bashir, waarmee tegenstanders verwarring probeerden te zaaien. En aan de ongekend massale inzet van AI-ondersteunde doelwitselectie door het Israëlische leger in Gaza. Waarover de voormalige Israëlische opperbevelhebber Aviv Kochavi kalmpjes opmerkte: “Vroeger konden we in Gaza vijftig doelwitten per jaar selecteren. Nu produceert de machine er honderd per dag.”

Hoewel het fascinerende werk Drinking Brecht: An Automated Laboratory Performance (dat dna-onderzoek koppelde aan Brechtiaans theater en de strijd in Gaza) zelf geen AI toepaste, verwees maker Sister Sylvester in de voorstelling wel naar deze AI-variant van oorlogsvoering, net zoals scheidend festivaldirecteur Orwa Nyrabia op de openingsavond van DocLab. Waarna Nyrabia, onder het oog der aanwezigen, AI & Me uitprobeerde, een confronterende maar luchtige installatie van het kunstenaarsduo Mots, waarin een AI-camera binnen enkele minuten conclusies trekt over wie je bent.

Dat de in Syrië geboren Nyrabia door de installatie als ‘Wit’ werd gezien, klopte met wat ik later ook bij andere mensen van kleur zag gebeuren. En ook met gender leek AI & Me (dat vooraf waarschuwde dat resultaten “ongepast en emotioneel verontrustend” konden zijn) nogal de hand te lichten: werd ik eerst ‘Wanda’ genoemd, de tweede keer was ik ‘Vera’, al bleek de AI mijn baard wel degelijk te hebben waargenomen. Een tip: als je niet herkend wil worden, draag dan een T-shirt met ook een gezicht erop – dat leek het systeem bij mijn eerste poging nogal te verwarren.

Dat deze AI duidelijke kenmerken van bias vertoont, past bij wat we over zulke systemen weten (‘troep erin, troep eruit’, oftewel: als de dataset die je erin stopt seksistisch of racistisch is van samenstelling, zal dat ook zijn wat eruit komt). Net zoals het past bij een stevig wantrouwen over Kochavi’s “honderd per dag”. Alleen: de makers noemden de confrontatie met die bias ook nadrukkelijk als doel van hun project. Hadden zij die er dan expres ingebracht?

Hier komen we bij misschien de meest wezenlijke vraag over ‘AI’: wat betekent het in elk specifiek geval? Het label wordt op zeer verschillende dingen geplakt en meestal zonder enige uitleg over specifieke achtergronden. Zoals ‘slim’ voor je smartphone iets anders betekent dan voor je ‘slimme thermostaat’, zo is de I van AI ook lang niet altijd van dezelfde orde.

De AI van AI & Me is, zoals bijna elke AI, een black box. Ik kan als gebruiker niet weten welk systeem ze gebruikt hebben en met welke dataset en welk doel ze dat hebben getraind. En zelfs als je dat wel zou weten, geeft zo’n met statistische benaderingen werkend systeem je hoe dan ook telkens een andere output – ook bij exact dezelfde input. Een output waarvan, voorzover ik weet, zelfs de ontwerper van het systeem de exacte herkomst niet meer kan traceren.

Bovendien kan ik niet weten welk deel van de teksten en beelden die de ervaring me voorschotelt voortkomt uit dat getrainde netwerk en welk deel het gevolg is van de randvoorwaarden die vooraf door de makers zijn bepaald – wat ook de grote zwakte is van About a Hero, die naast Kaspar nog twee (menselijke) scenaristen op de aftiteling heeft staan, zonder dat duidelijk wordt wie waarvoor verantwoordelijk is.

Nu kennen fotografen al het systeem dat aan elk digitale fotobestand een informatieblokje wordt toegevoegd met daarin het tijdstip, de locatie en de instellingen van de camera. Zouden we niet op z’n minst zo’n soort infoblokje moeten toevoegen aan elke AI-uiting die in een kunstwerk wordt gebruikt? Met de informatie die volgens kenners het meest relevant is om te beoordelen welke rol het in het werk speelt?

En dat is niet alleen een technisch criterium, maar maakt ook uit voor de beleving van het werk. Want als Mots laat weten inderdaad zelf de bias van hun AI bewust uitvergroot te hebben, ervaar ik AI & Me op een andere manier dan als ze, bijvoorbeeld, gebruikgemaakt blijken te hebben van de AI die de politie inzet voor gezichtsherkenning op straat.

Voor haar installatie Oryza: Healing Ground vroeg Tamara Shogaolu zich af: “Wat als ik het zou trainen met mijn eigen bias?” Afgewisseld met real-life interviews en archiefmateriaal toont de installatie prachtig vloeiende, bont gekleurde AI-visioenen van een vergeten, genegeerd of vernietigd Zwart verleden. Het is een hypnotiserende evocatie van hoe het geheugen van de mensheid ook had kunnen zijn, als alle geschiedenissen gelijkelijk vastgelegd waren geweest.

Shogaolu stelt daarnaast de wezenlijke vraag of we de bestaande bias in datasets alleen maar moeten bestrijden totdat ze niet erger meer is dan die in de maatschappij zelf of dat we onze datasets juist moeten trainen op hoe we zouden willen dat de wereld wordt.

Maar hoewel Shogaolu’s doelstelling inspirerend is en het onderscheid tussen documentair materiaal en AI-geproduceerde beelden in Oryza niet of nauwelijks misverstanden op lijkt te kunnen roepen, zou een archivaris waarschijnlijk toch al de rillingen krijgen van deze poging om de ‘gaten in het archief’ op te vullen. Want de grootste angst van de in 2023 speciaal hiervoor opgerichte Archival Producers Alliance (APA) is de vertroebeling van het archief door AI-gegenereerde beelden die voor echt worden aangezien.

Ze richten zich daarbij op zogeheten Generatieve AI (GenAI), wat ook bij DocLab de meest dominante en bediscussieerde vorm is. Door APA gedefinieerd als “een type AI dat beelden, video, audio of andere media kan produceren in reactie op een prompt [tekstopdracht] van een gebruiker. […] Het gaat ons niet om minimale veranderingen van bestaand audiovisueel materiaal waarbij GenAI kan helpen, zoals retoucheren, restaureren of de resolutie verhogen. Wij hebben het over het creëren van nieuw materiaal en over het zo aanpassen van primair bronmateriaal dat het publiek misleid zou kunnen worden over de betekenis.”

Ik denk dat de APA nog veel nerveuzer zou worden van Emeline Courciers videoinstallatie Burn from Absence, waarin de ‘gaten in het archief’ worden opgevuld met door AI op basis van het weinige overgebleven materiaal gegenereerde beelden, die samen met originele foto’s, door elkaar heen, op vier schermen worden geprojecteerd. Hoewel ook hier het doel duidelijk en intrigerend is, verminderen de GenAI-beelden voor mij de betekenis van het werk. Er ontstaat een soort puzzel of beelden AI zijn, die afleidt van Courciers Vietnamees-Franse familiegeschiedenis. En hoewel de AI-beelden hier, in hun glanzende gebrek aan detaillering, nog wel herkenbaar lijken, is fotorealistische GenAI, zeker bij stilstaand beeld, natuurlijk allang mogelijk.

Niet alleen APA vreest terecht voor de vervuiling van documentairearchieven, ook de GenAI-bedrijven zelf hebben last van een steeds meer door hun eigen producten vervuilde online dataset. De eenvoudigste oplossing die APA in hun guidelines biedt, is om altijd aan te geven of een specifiek beeld (of ander product) GenAI is. En dan niet alleen in de aftiteling, maar op elk afzonderlijk moment (met bijvoorbeeld een logo of watermerk), omdat losse screenshots of audiobestanden anders alsnog een eigen leven kunnen gaan leiden: “De vermenging van echt en onecht besmet alles; als beeld en geluid niet meer te vertrouwen zijn, raakt non-fictie hopeloos gecompromitteerd.”

Met als angstaanjagend bijeffect dat mensen ook echte foto’s voor AI aan kunnen gaan zien – na een aantal dagen ondergedompeld te zijn geweest in DocLabs GenAI-werken merkte ik dat ik het gezicht van iemand aan wie ik werd voorgesteld heel eventjes, onwillekeurig, scande op mogelijke tekenen van AI (rond de ogen, bij de oren, check de tanden). En dat terwijl diegene gewoon fysiek voor me stond.

Grappig genoeg ontstond er eind vorig jaar ook een online opstootje toen bleek dat Google de demo van hun Gemini-GenAI-systeem handmatig had opgepoetst – een ander bedrijf, Runway, afficheerde hun GenAI-demo daarop als “precies zoals het gegenereerd is, zonder bewerkingen”. Puur GenAI, niet besmet door mensen! Het goede nieuws is dat de partijen dus niet per se tegenover elkaar staan: zowel de documentairewereld als liefhebbers van GenAI willen weten waar ze aan toe zijn.

En dat geldt ook voor stemmen. Onlangs kon documentaireboegbeeld David Attenborough worden toegevoegd aan het almaar groeiende rijtje vertrouwde stemmen die geschokt constateren dat ze met GenAI gekloond zijn. Zie ook de GenAI-stem van Anthony Bourdain die, zonder dat dat erbij werd vermeld, een paar postume zinnen insprak voor Morgan Neville’s documentaire Roadrunner (2021). Nou ja, google ‘AI Celebrity Voice Generator’ en zie dat dit hek allang van de dam is.

Van het ongeautoriseerde gebruik van stemmen is het een kleine stap naar het copyrightprobleem van de vaak rücksichtlos van internet geschraapte data waarmee GenAI-systemen worden getraind – en waarmee vervolgens eindeloos veel werken ‘in de stijl van’ kunnen worden geproduceerd. Tot grote woede van met name minder verdienende kunstenaars (al zullen die de steun van grotere sterren nodig hebben om op invloed te kunnen hopen). Of, zoals DocLab-oprichter Caspar Sonnen zegt: “Is de filmwereld niet eigenlijk ongemerkt en onbetaald de research & development-afdeling geworden van de grote techbedrijven?”

In de Nederlandse, maar Engelstalige AI-podcast Drift van Hay Kranen, Lieven Heeremans en ex-Filmkrant-medewerker Nienke Huitenga kun je horen hoe hoog het niveau van die kunstmatige stemmen inmiddels geworden is. Maar hoewel ik aan het begin geregeld twijfelde aan wat echt was en wat GenAI, werd ik gaandeweg steeds zekerder dat bepaalde stemmen onmenselijk zijn. Ze missen, om in Herzogs terminologie te blijven, een ‘ziel’. Zelfs als de intonaties enthousiast en levendig zijn, blijft er een afstand tussen de inhoud en de vorm van wat ze vertellen.

Ik merkte dan ook dat ik bij het luisteren van een deel van de uiteindelijk 750 gegenereerde podcast-minuten afdwaalde met mijn gedachten. De stemmen zijn uiteindelijk te onpersoonlijk, te onaangedaan door wat ze vertellen over de klimaatcrisis in het jaar 2529. Totdat mijn aandacht plotseling weer door iemands stem gegrepen werd en ik concludeerde: dit moet een echt persoon zijn die spreekt! Maar eerlijk is eerlijk: zeker weten doe ik het niet – echte mensen die tekst voorlezen hebben vaak ook geen bezielde uitspraak.

De making-of van het experimentele Drift, dat ook live getijdenstanden en KNMI-weerberichten integreert in de dagelijks gegeneerde productie, bleek uiteindelijk interessanter dan de tamelijk repetitieve podcastafleveringen zelf. Wat ook gold voor de installatie You Can Sing Me on My Way, waarvoor de Nederlands-Ierse kunstenaar Seán Hannan een GenAI-netwerk trainde op traditionele Iers-Gaelische sean-nós-liederen, die ooit gebruikt werden om het nieuws van dorp tot dorp te brengen en nu door Hannan gevoed worden met actuele nieuwsberichten. Een werkelijk heel mooi idee, dat helaas lijdt onder de blikkerige kwaliteit van de zang, waarvan de gegenereerde teksten bovendien zo archaïsch geformuleerd worden dat ik er geen enkele actualiteit meer in kon herkennen.

Hoe groter de rol van GenAI is in de uiteindelijke productie, hoe minder ik geraakt lijk te worden. En terwijl mijn nieuwsgierigheid over de toekomstige mogelijkheden, ook dankzij al deze experimenterende werken, alleen maar groeit, heb ik de indruk dat GenAI voorlopig het beste functioneert als eenvoudig hulpmiddel.

Zoals bij Steye Hallema’s Ancestors, waarin GenAI louter wordt gebruikt om op basis van selfies van twee willekeurige deelnemers een gezamenlijk digitaal ‘kind’ te creëren (waarna dat kind samen met het AI-kind van twee andere deelnemers een kleinkind krijgt et cetera, net zolang tot het hele gezelschap via hun digitale nakomelingen met elkaar verbonden is) – al moet ik zeggen dat ik me er een beetje ongemakkelijk bij voelde dat het eerste kind van mij en mijn medegebruiker net zo Wit was als ik en niets van haar kleur had. Het kan, statistisch, maar het vermoeden van bias bekroop me ook hier.

In Marcel van Brakel en Hazal Ertürkans augmented reality-project Future Botanica worden weliswaar zeer complexe (en prachtig overtuigende) futuristische planten gegenereerd met behulp van AI, waarvan vervolgens de invloed op hun techno-biologische omgeving wordt berekend, maar aangezien in dit intellectueel prikkelende sciencefiction-werk alles speculatief is, kan er geen daadwerkelijke werkelijkheid mee misverstaan worden.

Veel eenvoudiger nog zijn de dromerige GenAI-beelden bij de documentaire audio van Gregor Petrikovič’ kortfilm Sincerely, Victor Pike. Al het boeiende zit in die persoonlijke dialogen met geliefden en bekenden, terwijl de fluïde beelden die als bewegend behang erbij geprojecteerd worden (en die alleen op zeer algemeen niveau overeenkomen met steekwoorden als ‘politie’, ‘koken’ of ‘thee’) hypnotiserend genoeg zijn om te boeien en generiek genoeg om niet af te leiden.

En dat is uiteindelijk ook mijn algemene indruk bij deze projecten: wat er interessant aan is, is niet voortgebracht door GenAI, maar door het voorwerk, de sturing en eventuele bewerking door de makers. Het is moeilijk hier zeker over te zijn zonder meer informatie over en kennis van de onderliggende computersystemen, datasets en prompts, maar vooralsnog ben ik niet overtuigd dat AI aan het documentairegenre nu al veel ‘Artistieke Intelligentie’ toevoegt.

Misschien omdat GenAI (los van speculatief werk zoals Future Botanica) de band tussen de gebruiker en de werkelijkheid op onacceptabele wijze verstoort; tenzij bij heel gerichte en beperkte toepassing, zoals vorig jaar bij Another Body (Sophie Compton & Reuben Hamlyn, 2023), waarin het deepfake-gezicht van een acteur de anonimiteit van slachtoffers van deepfake-porno beschermt, maar, doordat zo het blurren vermeden kan worden, wel hun gezichtsexpressies doorgeeft.

Fictie en met name animatie zullen veel gemakkelijker experimenteren met deepfakes en interessante animatiestijlen die zonder GenAI ondenkbaar zijn. Maar die hebben dan ook niet, zoals G. Roy Levin het fraai omschrijft in Documentary Explorations (1971), dezelfde “inherente verplichting aan de werkelijkheid”.

Tegelijkertijd zie ik geen wezenlijke filosofische, ethische of technologische redenen waarom die horde niet uiteindelijk genomen zou kunnen worden. Ik vermoed zelfs eerder dan Werner Herzogs voorspelling, in het interview dat de openingsfilm inspireerde, van “over 4.500 jaar”.

DocLab 2024 vond plaats van 14 t/m 24 november 2024.

KEES’ keus Mijn persoonlijke DocLab-favorieten van 2024 zijn, in alfabetische volgorde: Ancestors van Steye Hallema (met wie ik, full disclosure, eerder samenwerkte), Entropic Fields of Displacement van Pegah Tabassinejad (winnaar van de DocLab Award for Digital Storytelling) en nog immer Fragile Home van Ondřej Moravec en Victoria Lopukhina, uitschieter op het filmfestival van Venetië – met een eervolle vermelding voor Lisa Schamlé’s Me, a Depiction (winnaar van de DocLab Award for Immersive Non-Fiction).