Towards Geometry-Consistent High-Dimensional Surface Light Field Modelling with Mixture Models

Een foto op Facebook: 2.073.600 pixels. Een YouTube video van 10 minuten: 37.324.800.000 pixels. Alle afleveringen van de serie Friends: bijna twintig triljoen pixels. En we willen er steeds meer. Compressie van digitale media wordt steeds belangrijker, zeker in een tijdperk waarin we media immersief kunnen beleven met de hulp van virtuele realiteit (VR).

Als je met de gsm een foto neemt, dan vang je het licht uit de omgeving, waarna dat licht wordt omgezet in pixels. Die pixels krijg je vervolgens te zien op je scherm. Wanneer je nu deze foto wilt delen, moet alle informatie in de foto verstuurd worden over het internet. Voor een foto gebruiken we algauw eens onze mobiele data als we op stap zijn, maar voor een video wachten we misschien tot er goedkopere wifi is. Beeldt je nu in dat je niet een foto of video wilt delen, maar je volledige omgeving, op stap in de natuur. Je wilt iemand anders laten meegenieten van waar je bent, hoe het voelt om daar te zijn. Is dat mogelijk zonder je blauw te betalen aan mobiele data?

Media als zee van licht

Er bestaan al veel technieken om beeldmateriaal in minder plaats op te slaan. Bijna allemaal gebruiken ze de relatie tussen verschillende pixels om redundante data weg te werken. Een foto van een helder blauwe hemel is immers niets anders dan een vlak met allemaal dezelfde blauwe pixels. Dus waarom gewoon niet opslaan dat we allemaal dezelfde pixels willen?

Een techniek ontwikkeld aan Universiteit Gent gaat nog een stap verder en stapt weg van het idee van pixels. Een nieuwe representatie slaat het licht nog eenvoudiger op. Het idee is om onze omgeving te beschouwen als een zee van licht waaruit we stukjes snijden als we fotos trekken. Zones in de foto die sterk bij elkaar passen (zoals de blauwe lucht, of bruine vlekken op een koe) worden dan samengenomen en beschreven als één samenhangend geheel, een 'kernel'. Het grote voordeel van deze techniek (naast het verkleinen van de data-voetafdruk) is dat ze werkt voor alle media-types, dus niet alleen voor foto's. Het is bijvoorbeeld mogelijk er ook video's, of de volledige verzameling van al het licht rondom ons, een lichtveld, op te slaan met behulp van deze techniek. Op die manier kan je bijvoorbeeld je volledige omgeving op stap in de natuur delen.

Virtuele realiteit en lichtvelden

Nu blijkt dat virtuele realiteit en lichtvelden zeer goed samen gaan. Virtuele realiteit laat een gebruiker immers toe om rond te wandelen en in alle richtingen te kijken. Een lichtveld geeft het licht in alle richtingen op alle plaatsen. De techniek ontwikkeld aan Universiteit Gent optimaliseert ook dit proces: waar andere technieken de gebruiker niet snel genoeg een beeld kunnen geven, kan de nieuwe techniek dat wel.

Maar de ervaring in virtuele realiteit is ook een punt waar de nieuwe techniek nog tekorten heeft. Doordat het licht wordt opgenomen met camera's, gebeurt er een projectie van het licht op de camera sensor; een perspectiefprojectie om precies te zijn. Deze perspectiefprojectie brengt enkele problemen met zich mee, waardoor de virtuele omgeving soms moeilijker na te bootsen is. Als gevolg kan dit de ervaring voor de gebruiker negatief beïnvloeden.

Het licht terug naar de oorsprong brengen

In mijn masterproef onderzocht ik hoe dit probleem kan verholpen worden. De bestaande methode die ik verbeterde voegt de plaats waar de data is opgenomen toe aan de lichtinformatie. Dat wil zeggen dat informatie over waar het licht vandaan komt – de oorsprong - verloren gaat. Dat is net zoals wanneer je een foto neemt met een camera: in een foto kan je de informatie over de diepte van objecten niet terug vinden. Aan de hand van het onderzoek in mijn thesis zou het mogelijk zijn om het lichtveld op te bouwen zonder de negatieve effecten van de perspectiefprojectie. Dat moet gebeuren met behulp van een vereenvoudigd model van de ruimte waarin het licht werd opgenomen. De informatie ligt dan niet op de plaats van opname, maar op de plaats van oorsprong.

Dit zorgt ervoor dat we in de toekomst misschien in staat zullen zijn om een opname te maken van een voorwerp of plaats waar we zijn, en deze door te sturen naar onze vrienden. In VR kunnen zij dan meegenieten en rondwandelen op alle plaatsen waar jij dat ook kon. Niet gelimiteerd door waar de foto is genomen, niet gelimiteerd door de problemen van de perspectiefprojectie.

Wil jij de Marslanding meemaken alsof je er bij bent? Wil je de Taj Mahal bezoeken en alle zalen verkennen? Wil je simpelweg je trouw 50 jaar later herbeleven? Mijn onderzoek zet een stap in de juiste richting om dit in de nabije toekomst waar te maken.