Design and Implementation of an Augmented Reality-based Multiplayer Game using Fine-grained Localization

Rondwandelen in computerwereld

Heeft u er ooit van gedroomd een andere wereld binnen te stappen, net zoals in bekende films als The Matrix of  Tron? In dit onderzoek werd de eerste stap gezet in de realisatie van deze droom. Het prototype ontwikkeld binnen deze scriptie laat toe om fysiek rond te wandelen in een virtuele wereld. Dit werd mogelijk gemaakt door de combinatie van moderne, speciale brillen, smartphone camera’s en een vleugje creativiteit.

Virtuele realiteit (VR) mag dan misschien klinken als sciencefiction, maar wordt al op verschillende plaatsen gebruikt. Denkt u maar aan de Nintendo Wii of Microsoft Kinect die in vele woonkamers te vinden zijn. Deze toestellen maken in zekere mate interactie met een andere wereld mogelijk. Een ander soort toestel dat commercieel verkocht wordt, is een Head Mounted Display (HMD), zoals de Oculus Rift. Een HMD is een kruising tussen een bril en een helm, waarin een scherm is verwerkt dat de gebruiker toelaat om beelden in 3D te bekijken. Verder is de HMD ook uitgerust met sensoren die zorgen dat de beelden meedraaien met de bewegingen van het hoofd. Op deze manier kan u dus een computerspel spelen waarbij het lijkt of u het fictief personage bent. Helaas is het nog steeds nodig om op uw bureaustoel te blijven zitten en het personage te bewegen met uw toetsenbord.

Het doel van het onderzoek was om het mogelijk te maken dat iemand kan rondlopen terwijl hij of zij een HMD draagt. Op deze manier wordt de gebruikerservaring verbeterd en het realisme van de virtuele wereld verhoogd. Concreet werd er gezocht naar een manier om de gebruiker te volgen en zijn locatie zo exact mogelijk te bepalen. Deze locatie in de echte wereld werd dan omgezet naar een positie in de virtuele wereld.  Zo lijkt het dus of  men echt door een andere wereld wandelt.  Met dit onderzoek trachtten we een mobiel en schaalbaar prototype te maken dat zich kan aanpassen aan verschillende afmetingen van ruimtes of plaatsen. Om het concept te testen werd een spel gemaakt waarbij de wereld eruitziet als een doolhof en twee spelers hun weg moeten zoeken om als eerste een vlag te vinden en terug te brengen.

Toerisme en training zijn mogelijke toepassingen

Naast het gebruik in computerspellen kan het concept ook toegepast worden om meer realistische trainingen aan te bieden, bijvoorbeeld aan militairen of politieagenten. Een groot voordeel aan computersimulaties is dat elke mogelijke omgeving kan worden weergegeven en aangepast aan de noden van de missie. Een andere interessante toepassing ligt in de voorstelling van gebouwen of constructies die men virtueel kan bezoeken. Op deze manier kunnen architecten of designers hun klanten door een ontwerp laten wandelen en toetsen of dit aan hun eisen voldoet. Binnen een toeristische context is het mogelijk om de glorie van lang vervlogen tijden te herbeleven. Dit kan door de computerwereld de vorm van romeinse arena’s of middeleeuwse kastelen te laten aannemen.

Nauwkeurig volgen van een speler

Het onderzoek bestond uit twee grote delen. Ten eerste werd er een methode bedacht om een speler zo nauwkeurig mogelijk te volgen. Binnen deze scriptie werden verschillende mogelijkheden onderzocht. Een eerste interessante optie hiervoor was het gebruik van draadloze communicatietechnologieën zoals Wi-Fi of Bluetooth. Een groot voordeel van deze aanpak is dat deze technologieën aanwezig zijn op alle moderne smartphones. Indien we op een smartphone een signaal ontvangen van drie verschillende zenders is het mogelijk om een schatting te maken van de positie van de smartphone. Dit gebeurt door middel van basis driehoeksmeetkunde, net zoals een GPS doet met satellieten. Helaas is uit ons onderzoek gebleken dat deze methode in de meest positieve gevallen slechts nauwkeurig is tot op één meter. Dit is echter te onnauwkeurig voor onze toepassing.                                                                                                  

Als alternatief werden daarom objectherkenningsmethodes beschouwd. Deze technieken worden o.a. door veiligheidsdiensten gebruikt om personen te volgen doorheen de beelden van verschillende camera’s of door analisten in voetbaltalkshows om één bepaalde speler te volgen. Wij gebruiken hiervoor een bestaande methode die gebaseerd is op kleuren. Wanneer de twee spelers worden uitgerust met hesjes in verschillende kleuren is er een duidelijk onderscheid tussen de spelers op de beelden en kunnen we hun locatie volgen. Hiervoor ontwikkelden we zelf een Android-app die de gekozen objectherkenningsmethode implementeert. De app stuurt eveneens de schatting van de locatie door naar een centrale laptop waarop het spel draait.

Creatief gebruik verschillende moderne technologieën

Het tweede gedeelte van het project bestond uit de ontwikkeling van het spel en het samenvoegen van de verschillende componenten in een experimentele opstelling die effectief gebruikt kon worden. Zo moest er een manier worden bedacht om een HMD draagbaar te kunnen gebruiken, waarbij deze toestellen toch de nodige energie en video kunnen ontvangen. Eerst werden een aantal opties overwogen die technologisch en technisch onhaalbaar bleken, zoals het verbinden met een smartphone of het gebruik van minicomputers. In de heel nabije toekomst zullen deze mogelijkheden wel gebruikt kunnen worden.

Onze uiteindelijke oplossing was de spelers uit te rusten met een rugzak waarin een laptop werd geplaatst.  Deze laptop voorziet de bril dan van de nodige energie en beelden van het spel. Een andere creatieve aanpak was vereist om de camera’s op te stellen rondom het speelveld, hiervoor werd gebruik gemaakt van selfie sticks.

De finale uitkomst was een mobiele opstelling die in staat was om vier keer per seconde de locatie van de spelers door te geven aan het spel.  Vooral binnenkamers of bij kleine opstellingen oogt het resultaat heel spectaculair. Verder onderzoek is nodig om het systeem te verbeteren op het vlak van stabiliteit, gebruiksvriendelijkheid en accuraatheid. Daarnaast moet het in de toekomst ook mogelijk worden om de bewegingen van bijvoorbeeld armen te registreren om de ervaring nog natuurlijker te doen overkomen.

‘One small step for man, …’ zijn woorden die in ieders geheugen gegrift staan. Dit onderzoek was een eerste stap in de exploratie van een heel nieuw universum aan mogelijkheden. In de toekomst zal u zelf kunnen rondwandelen in virtuele werelden, zoals een maan- of marslandschap.