Zet jij straks voet op Mars?

Op het moment waarop Buzz Aldrin zich naast Neil Armstrong voegde op het maanoppervlak tijdens de eerste maanlanding, startte spontaan de conversatie over hoe adembenemend hun uitzicht was. Ondertussen zaten 650 miljoen kijkers op Aarde aan hun analoge televisie gekluisterd, maar hun droom om naast Armstrong en Aldrin van datzelfde uitzicht te genieten zou voor ieder van hen bij een droom blijven. Dit roept de vraag op of er eigenlijk niet beter gedaan kan worden, maar in plaats van voor de maanlanding, voor de toekomstige bemande reizen naar Mars gepland in de jaren 2030-2040.

Het antwoord is: ja, dankzij virtual reality, of kortweg VR. Je zou thuis een VR bril kunnen opzetten en zo de Marslanding meemaken alsof je er zelf bij was, met een sensatie van totale immersie die uniek is aan VR. Niet alleen krijg je hetzelfde idee van diepte zoals bij een 3D bril, het laat je ook toe om vrij rond te kijken en bewegen in je omgeving.

Nieuwe horizonten

Ondanks de aantrekkingskracht van VR brillen om de toeschouwer helemaal onder te dompelen in een andere wereld, zijn er niet veel mensen die er eentje thuis liggen hebben. Dit komt omdat de markt voor VR applicaties vooral gericht is op bedrijven en gamers. Er valt echter een veel grotere vis aan de haak te slaan: de miljarden industrie van films en video’s. Denk maar aan giganten zoals Disney, Universal, Netflix en Youtube. Zij hebben er baat bij om de aandacht van hun publiek te vangen met de nieuwste, meest indrukwekkende technologie. Bijvoorbeeld, voor de blockbuster “Jurassic World” verkoos 50 procent van de bioscoopverzoekers om de film in 3D te beleven. VR is de natuurlijke opvolger van 3D, maar helaas is het ook een pak ingewikkelder.

Momenteel kunnen we met een VR bril al van films genieten in de vorm van 360° video’s. Hierbij kan de kijker het hoofd ronddraaien, maar men heeft niet de vrijheid om rond te bewegen. Bovendien is het zo dat er bij 360° video’s geen perceptie van diepte is zoals bij 3D films (waarbij twee camera’s gebruikt worden) of traditionele VR (waarbij de gebruiker rondloopt in een 3D model). Door deze twee nadelen is het beter om 360° video achterwege te laten en de traditionele VR weg op te gaan.

Stel dat je de Marslanding in VR zou willen bekijken, dan zou je een 3D model van het oppervlak, de raket en de astronauten moeten bouwen. Hiervoor is een team van experts nodig die de camerabeelden van de landing moeten bestuderen om de omgeving in elkaar te zetten op de computer. De hoeveelheid geld en tijd die hierin geïnvesteerd zou moeten worden is simpelweg niet rendabel. Vandaar dat dit soort VR applicaties niet succesvol zijn.

Wat als we een computer programmeren om de camera beelden rechtstreeks te gebruiken om automatisch de gefilmde omgeving te reconstrueren? De kost om zo’n VR ervaring aan te bieden zou gevoelig naar beneden gaan, tot het punt waarop het wel rendabel wordt.

Automatiseren

In mijn masterproef heb ik een methode ontwikkeld voor het automatisch reconstrueren van echt bestaande omgevingen, zodat ze in VR herbeleeft kunnen worden. Laten we de Marslanding als voorbeeld nemen. Eerst moet de vorm van de landingssite waarin de kijker zal mogen rondlopen opgemeten worden, bijvoorbeeld via diepte sensoren. Hierbij horen ook de vorm van de raket en de astronauten, die zich eigenlijk continu verplaatsen. De dieptemetingen moeten dus meerdere malen per seconde uitgevoerd worden, tot en met het einde van de landing.

Eenmaal de vorm gekend is, moet hij nog ingekleurd worden. Dit wordt gedaan door een collectie aan camera’s over het Marsoppervlak te verspreiden. De camera’s kunnen zo de kleurenpatronen van alles wat ze zien vastleggen op video. Via enkele berekeningen kunnen de gecapteerde kleuren geassocieerde worden met de objecten in de scène waartoe ze behoren. Het resultaat is een 3D model dat verandert over tijd en dat, wanneer het in VR bekeken wordt, de toeschouwer toelaat om in de getoonde wereld rond te lopen.

Uitzonderingen

Er blijft op dit moment nog één probleem over: verschillende camera’s kunnen eenzelfde object een verschillende kleur geven. Dit gebeurt bijvoorbeeld in het geval van een spiegel: als twee camera’s naar dezelfde spiegel kijken vanuit een verschillend standpunt, dan zullen ze elk een andere reflectie zien. Reflecties vormen dus een probleem. Merk op dat de meeste objecten in het echte leven een lichte reflectie vertonen, dus ook de raket en de astronautpakken.

Dit probleem kan aangepakt worden door de realisatie dat welke reflectie je te zien krijgt afhankelijk is vanuit welke hoek je naar het object kijkt. In mijn thesis ontwikkelde ik een methode die op elk moment de juiste kleuren kan selecteren om uiteindelijk de reflecties zo realistisch mogelijk te doen overkomen.

Het resultaat van mijn masterproef is een techniek die de echte wereld kan reconstrueren in VR met fotorealistische kwaliteit. Doordat dit automatisch gebeurt, is het een bijzonder efficiënte techniek, vergeleken met hoe VR applicaties normaal gezien ontwikkeld worden. Met deze methode kunnen interessante evenementen op elke plaats en elk tijdstip gemakkelijk opgenomen en later herbeleefd worden.

Wie weet beleven we op een dag onze favoriete series en films alsof we erbij zijn en dat lijkt me toch wel een heel opwindend vooruitzicht. Ik hoop wel dat als het moment zover is, er niet teveel kijkers zodanig opgezogen zullen zijn in de actie dat ze hun kleine teen tegen de living tafel stoten. Ik spreek uit ervaring.