Af Mette Dahl Olander, tidligere mediefagslærer på Ørestad Gymnasium, nu kommunikationsspecialist på Aalborg Universitet i København.

Foran skuespillerne tårner et gigantisk badehotel sig op. De to skuespillere bevæger sig mod hotellets indgang, og kameraet ruller fremad på en dolly. Kostumerne afslører, at vi befinder os omkring år 1920, men der er også noget andet, der viser, at vi er tilbage i tiden. Hotellet foran os er det legendariske badehotel ’Kongen af Danmark’, som lå på Fanø, men blev revet ned i 1989. Faktisk er det, vi ser, en perfekt virtuel kopi af hotellet, skabt ved hjælp af 3D modellering og AI, som nu kan bruges som virtuel filmkulisse i realtime.

Skuespillerne kan gå ind i den smukke gamle bygning eller spille en dramatisk scene på en af hotellets lange gange. Det virtuelle hotel er en del af ViZARTS-projektet på Aalborg Universitet i København, hvor filmfolk, medialogistuderende og tech-eksperter mødes og eksperimenterer med nye filmteknikker.

Udviklingen inden for AI går stærkt, og set-designers, fotografer og instruktører kan i dag bruge AI til at skabe en films visuelle stil, og i fremtiden kan kunstig intelligens komme til at fylde endnu mere i alle dele af produktionen.

Ny form for rear-projection med AI-skabte landskaber

”Allerede nu kan AI bruges som inspiration til at generere 3D locations, som ser virkelige ud, og som skuespillerne kan bevæge sig rundt i, i realtime, mens kameraet optager. ” fortæller Henrik Schønau Fog. ”AI kan også anvendes til at skabe historieverdener, der kan tilpasse sig brugeren i real-time, således at universerne fra film og tv-serier nu også kan blive interaktive.” Sådan fortæller Henrik Schønau Fog, som er viceinstitutleder på Aalborg Universitet i København og grundlægger af ViZARTS-projektet. ViZARTS er et samarbejdsprojekt mellem Aalborg Universitet, Samsung og Nordisk Film Fonden, der afholder workshops for filmbranchen, hvor filmfolk får chancen for at eksperimentere med fremtidens teknologier.

På et kæmpe lærred foran os projekteres et landskab. Når kameraerne og skuespillerne bevæger sig, følger perspektivet med. De kan gå rundt i New York, i en western saloon eller på det for længst nedrevne badehotel. Henrik Schønau Fog viser, hvor kameraets tracker-system er placeret, og hvor teknikkerne sidder ved ”the Brain Bar”, og han forklarer det særlige ved dette studie ”Teknikken kaldes også Final Pixels in-Camera, fordi det, kameraet optager i realtime er det endelige resultat. Dermed har vi udviklet et nyt workflow – uden green-screen – men derimod ”what you shoot is what you get”. Så meget af postproduktions-arbejdet er flyttet over i præproduktionen.” Teknikken er på én gang simpel og avanceret, og den tager udgangspunkt i gammeldags bagprojektion, men med nogle nye twists, der gør en stor forskel. AI bruges som udgangspunkt til at skabe de locations, som skuespillerne bevæger sig rundt i, og når dette kunstige landskab projekteres vha. en game-engine, kan karaktererne befinde sig i et for længst nedrevet badehotel, midt i en storby, ude i rummet, eller hvor som helst man ønsker det. På kameraet sætter man en tracking-device¹, der sender information om kameraets placering til en game-engine. Det er samme system, som f.eks. anvendes til computerspil i Virtual Reality, hvor perspektivet også kan skifte alt efter, hvor spilleren befinder sig i det virtuelle rum. På samme måde trackes kameraets placering, og landskabet på bagprojektionslærredet ændres i forhold til det.

”Virtual Production” vinder frem i udlandet, og nu også i Danmark

Hos ViZARTS bruges to forskellige game engines (Unreal og Unity), som kombineres med forskellige AI-understøttede programmer, som allerede er på markedet, bl.a animationsprogrammet Cascadeur, som kan lave 3D action animation. ”Det er lidt ligesom gammeldags rotoscoping, men du behøver kun at lave grundbevægelsen/key-frames, og så finder AI ud af resten, fx det som Disney kaldte ”secondary action”, for eksempel at håret bevæger sig,” fortæller Henrik Schønau Fog. ”Vi kan lave tusindvis af folk der går rundt i baggrunden på den måde. Det begynder så småt at se fotorealistisk ud.” Teknikken med at skabe virtuelle scenografier bruges ikke kun som en virtuel legeplads for filmskabere, men bruges i mange internationale film som Star wars: The Mandalorian og Netflix-serien 1899. Også i Danmark er teknikken taget i brug, blandt andet i TV2-julekalenderen Valdes Jul, hvor mosekonens landskab er skabt vha. virtual production og projekteret på store LED-Skærme i realtime. Også togscenen i det sidste afsnit af Carmen Curlers bruger teknikken. Ellers er teknikken indtil videre mest blevet brugt i reklamefilm og musikvideoer, men snart vil vi kunne opleve det i flere danske film og serier på bl.a. Netflix, TV2 og DR.

En magisk legeplads for filmbranchen

I kælderen under Aalborg universitets afdeling i Københavns Sydhavn, ligger ViZARTS-projektets filmstudie, som er en legeplads for techies og filmfolk. ViZARTS-projektet afholder workshops, hvor filmbranchen kan møde nogle af de nye produktionsselskaber, der arbejder med Virtual Production. Her kan de eksperimentere med de nyeste virtuelle filmteknikker, og medialogistuderende hjælper med det tekniske. Alle får nye erfaringer med at kombinere kreativitet og de gammeldags dyder fra instruktørernes og fotografernes værktøjskasse med de nye muligheder, som AI, Virtual Production og diverse computerprogrammer tilbyder. ”Hvordan kan vi hurtigt få bygget et univers? Vi prompter for eksempel ”rumskib”, og så kan man bruge AI’en til at generere et 2D billede, og derefter bruge billedet som inspiration til at bygge en 3D model. Så kan vi koble kameraet til, og med 3D-trackeren kan vi ligesom i virtual reality, registrere, hvor kameraet er i rummet. Denne data sendes så ind i en game engine, der så forandrer outputtet til bagprojektions-lærredet, så det passer med perspektivet.”

Schønau Fog beskriver, hvordan han og hans folk prøver sig frem inden for virtual production: ”Vi tager de teknikker, der allerede er derude, og sætter det sammen på nye måder. Og så prøver vi os frem. Nu har vi lavet saloonen, badehotellet, Græsted togstation og nu skal vi snart lave nogle endnu vildere universer. Jeg tror, at inden to år er omme kan vi med AI hurtigt lave locations i 3D , der ser fotorealistiske ud – en proces, der i dag tager meget lang tid.” De forskellige filmfolk tager teknikkerne med sig, og begynder i stigende grad at eksperimentere med dem i andre film- og tv-projekter.

AI som hjælp i hele filmprocessen

Så hvor meget kan AI allerede bruges til i filmproduktionen i dag? ”AI kan bruges i hele filmproduktionsforløbet fra præproduktionens idéudvikling og hjælp til manuskriptskrivning til udvikling af storyboards og produktionsplaner. I produktionsfasen kan AI bruges til at assistere med at skabe fotorealistiske landskaber i realtime. I postproduktionen kan AI også bruges til fx noise reduction og ”upscaling” af videoer, så de får en højere opløsning, der skal bruges på bag-projektionslærredet”.

Henrik Schønau Fog lægger vægt på, at mulighederne bliver udvidet, så man kan lave endnu flottere ting, og ofte til en billigere pris. ”Du kan jo også få AI til at lave et script, storyboard, moodboard, forslag til locations, eller bare få den til at optimere dialogen, eller du kan få læst dialogen op, call sheets, få den til at organisere produktionsdagene. Der er jo også ”voice to text”, og du har sikkert hørt om Sora, der kan gå fra tekst til video. Så I hele præproduktionen kan man få AI til at hjælpe. I postproduktionen kan AI lave lyde, man kan lave deep fakes, lip sync og den slags.”

Next level: Meta-humans

I dag kan man altså lave AI-baggrunde og bruge motion-capture dragter til at skabe computergenerede karakterer i postproduktionen. Men snart vil man også kunne have AI-styrede karakterer, hvor man ikke behøver skuespillere i motion capture-dragter. En sådan ren AI-skabt person, der er lavet i Game-Engine’en Unreal kaldes en ”Meta Human”. Henrik Schønau Fog uddyber: ”Vi har lavet scener, hvor der går meta humans rundt i baggrunden, og der kan man kan få AI til at skabe de her creatures. Så angiver man størrelsen, og så laver den formen af skabningen, så skal man have den rigged, med et skelet, og så har du en animérbar figur… hvorefter du så kan hente data ned fra motion capture arkiver, eller skabe bevægelser med Cascadeur softwaren”. Som statister og bi-karakterer i baggrunden kan man godt lave meta humans i dag. Men når de skal op i forgrunden og spille hovedrollen, er der stadig lidt vej igen. ”Man når dertil, hvor karakteren ligner så meget, at det begynder at blive det, man på engelsk kalder ”uncanny valley” (begreb brugt af bl.a. Freud om uhyggelige figurer, der ligner mennesker meget, men ikke helt. Freud brugte begrebet om f.eks. uhyggelige dukker og automatroner i gyserhistorier.) ”Når udviklingen er gået frem og frem, så når man det her punkt, hvor man falder ned i ’the uncanny valley’-

figurerne ligner godt nok til, at vi bliver i tvivl, men ikke godt nok til, at vi tror på dem, så de bliver lidt Zombie-agtige. Det er dér vi er nået til nu. Enten skal du holde dig på den stilistiske side, eller også skal det være fotorealistisk. Med AI kan vi måske snart springe hen over denne her kløft, og over på den anden side, hvor vi kan have troværdige virtuelle AI-genererede karakterer, der kan optages i nærbilleder”, siger Henrik Schønau Fog.

Fremtidens filmbranche

”Er der nogen, der skal være bange for at blive arbejdsløse i filmbranchen?” Spørger jeg. Henrik Schønau Fog ryster på hovedet. ”Der vil stadig skulle bruges instruktører, fotografer, lydfolk osv. Og selvfølgelig er der lidt mindre arbejde for en production designer, men du skal stadig bruge en designer, der ved, hvad der skal til for at skabe filmkulisser til at prompte AI”, siger han.

Schønau Fog fortsætter, og det er tydeligt at det her er vigtigt for ham: ”Det allermest spændende er etikken i alt det her… I den første fase af projektet her i 2024 stjæler vi med arme og ben på den første workshop for at se, hvad der er derude. Vi bruger alle de teknikker, der er opfundet, men etisk set skal det være mere sådan, at det er os mennesker, der bliver content creators, og så kan vi bruge teknikken som assistent til at skabe vores egne virtuelle scener.” Han holder en lille pause, ”På sigt kan vi også genskabe en skuespiller, en fotografs stil eller en manuskriptforfatters sprog… Og der bliver det spændende at se, hvem der vil være med på vores workshops – for AI’en skal jo ”lære” af dem.  Og det er jo op til filmmagerne om de vil være med eller ej… Men hvornår giver alle disse muligheder noget godt til filmproduktion, og hvornår er det skidt? Jeg plejer at sige, at du ikke mister dit arbejde til AI. Du mister dit arbejde til den, der kan betjene AI’en… Og det er så her, fremtidens medialoger kan komme ind, så de kan hjælpe filmmagerne”, siger Schønau Fog. Kandidater fra medialogiuddannelsen hjælper i dag filmbranchen med at udnytte de nye visuelle muligheder og bruge de helt nye værktøjer til at få teknikken til at spille sammen med filmkunsten. ”Du skal ikke regne med at du som filmskaber skal lave det… men du kan få en medialog til at komme og hjælpe dig med det.”, siger han. På ViZARTS-workshoppene møder ”techies” filmbranchen, og nye ting kan opstå. Jeg bliver nysgerrig på, om medielærerne også kan komme på sådan en workshop, og Henrik Schønau Fog svarer: ”Ja, det kan da godt være, at vi kan stable et efteruddannelseskursus på benene”.

I løbet af de næste to år holder ViZARTS fire store workshops for filmfolk og “techies” med udgangspunkt i, hvordan AI og andre nye værktøjer kan hjælpe filmfolk til at blive endnu mere kreative og effektive.

Ordforklaringer

Bagprojection/rear projection med et Tracked Kamera: Ja, ligesom en old-school projector, men forskellen er at kameraets position bliver tracket og denne data bliver vha en game engine og AI-teknologi brugt til at ændre baggrunden, der projekteres, så det passer med perspektivet og kameraets skiftende position.

Blender: Gratis 3D software: blender.org – Home of the Blender project – Free and Open 3D Creation Software

Cascadeur: Software, der kan lave keyframe animation vha A.I. Se mere her: Cascadeur – the easiest way to animate AI-assisted keyframe animation software

Medialogi: Uddannelse på Aalborg Universitet med fokus på samspillet mellem kreativitet og teknologi. Blandt andet lærer man om medieteknologi, spilteknologi, design, kunstig intelligens m.m.

Rotoscoping: God gammel teknik, hvor man animerer figurer ud fra virkelige ting eller menneskers bevægelser. Se mere her: Rotoscoping – Wikipedia

Unreal Engine: Gratis Game Engine, som bruges til de fleste Virtual Productions + store fotorealistiske spil. Blev opfundet til computerspil, men bruges også til virtual production.

Unity: Gratis Game Engine, der anvendes til interaktive oplevelser, VR applikationer og mobilspil.

Virtual production = final pixels in camera: Kameraets position sendes til game engine, der ændrer perspektiv m.m. i den projektion der projekteres på baggrunde eller evt på LED-skærme hele vejen rundt om skuespillerne. Video-forklaring på virtual production: Virtual Production Explained — Is This The End of the Green Screen? (youtube.com)

Se mere på disse links:

ViZARTS-projektet skaber kortfilm i Aalborg Universitets ”Virtual Production Training Facility Studio”- Se her en ViZARTS-film produceret på den seneste workshop:

og Behind the Scenes på ViZARTS:

Om uddannelsen i medialogi på Aalborg Universitet i Aalborg og København:

Medialogi – Bachelor – Aalborg Universitet (aau.dk)

Læs mere om genskabelsen af det legendariske badehotel på Fanø ”Kongen af Danmark” i Fanøposten:

http://fanoeposten.dk/dengang-grever-og-finansfyrster-holdt-ferie-ved-fanoe-bad/

1. ViZARTS-projektet bruger devices af mærket ”Vive” ↩︎