Design and Implementation of an Augmented Reality-based Multiplayer Game using Fine-grained Localization

Tom De Schepper
Rondwandelen in computerwereldHeeft u er ooit van gedroomd een andere wereld binnen te stappen, net zoals in bekende films als The Matrix of  Tron? In dit onderzoek werd de eerste stap gezet in de realisatie van deze droom. Het prototype ontwikkeld binnen deze scriptie laat toe om fysiek rond te wandelen in een virtuele wereld. Dit werd mogelijk gemaakt door de combinatie van moderne, speciale brillen, smartphone camera’s en een vleugje creativiteit.Virtuele realiteit (VR) mag dan misschien klinken als sciencefiction, maar wordt al op verschillende plaatsen gebruikt.

Design and Implementation of an Augmented Reality-based Multiplayer Game using Fine-grained Localization

Rondwandelen in computerwereld

Heeft u er ooit van gedroomd een andere wereld binnen te stappen, net zoals in bekende films als The Matrix of  Tron? In dit onderzoek werd de eerste stap gezet in de realisatie van deze droom. Het prototype ontwikkeld binnen deze scriptie laat toe om fysiek rond te wandelen in een virtuele wereld. Dit werd mogelijk gemaakt door de combinatie van moderne, speciale brillen, smartphone camera’s en een vleugje creativiteit.

Virtuele realiteit (VR) mag dan misschien klinken als sciencefiction, maar wordt al op verschillende plaatsen gebruikt. Denkt u maar aan de Nintendo Wii of Microsoft Kinect die in vele woonkamers te vinden zijn. Deze toestellen maken in zekere mate interactie met een andere wereld mogelijk. Een ander soort toestel dat commercieel verkocht wordt, is een Head Mounted Display (HMD), zoals de Oculus Rift. Een HMD is een kruising tussen een bril en een helm, waarin een scherm is verwerkt dat de gebruiker toelaat om beelden in 3D te bekijken. Verder is de HMD ook uitgerust met sensoren die zorgen dat de beelden meedraaien met de bewegingen van het hoofd. Op deze manier kan u dus een computerspel spelen waarbij het lijkt of u het fictief personage bent. Helaas is het nog steeds nodig om op uw bureaustoel te blijven zitten en het personage te bewegen met uw toetsenbord.

Het doel van het onderzoek was om het mogelijk te maken dat iemand kan rondlopen terwijl hij of zij een HMD draagt. Op deze manier wordt de gebruikerservaring verbeterd en het realisme van de virtuele wereld verhoogd. Concreet werd er gezocht naar een manier om de gebruiker te volgen en zijn locatie zo exact mogelijk te bepalen. Deze locatie in de echte wereld werd dan omgezet naar een positie in de virtuele wereld.  Zo lijkt het dus of  men echt door een andere wereld wandelt.  Met dit onderzoek trachtten we een mobiel en schaalbaar prototype te maken dat zich kan aanpassen aan verschillende afmetingen van ruimtes of plaatsen. Om het concept te testen werd een spel gemaakt waarbij de wereld eruitziet als een doolhof en twee spelers hun weg moeten zoeken om als eerste een vlag te vinden en terug te brengen.

Toerisme en training zijn mogelijke toepassingen

Naast het gebruik in computerspellen kan het concept ook toegepast worden om meer realistische trainingen aan te bieden, bijvoorbeeld aan militairen of politieagenten. Een groot voordeel aan computersimulaties is dat elke mogelijke omgeving kan worden weergegeven en aangepast aan de noden van de missie. Een andere interessante toepassing ligt in de voorstelling van gebouwen of constructies die men virtueel kan bezoeken. Op deze manier kunnen architecten of designers hun klanten door een ontwerp laten wandelen en toetsen of dit aan hun eisen voldoet. Binnen een toeristische context is het mogelijk om de glorie van lang vervlogen tijden te herbeleven. Dit kan door de computerwereld de vorm van romeinse arena’s of middeleeuwse kastelen te laten aannemen.

Nauwkeurig volgen van een speler

Het onderzoek bestond uit twee grote delen. Ten eerste werd er een methode bedacht om een speler zo nauwkeurig mogelijk te volgen. Binnen deze scriptie werden verschillende mogelijkheden onderzocht. Een eerste interessante optie hiervoor was het gebruik van draadloze communicatietechnologieën zoals Wi-Fi of Bluetooth. Een groot voordeel van deze aanpak is dat deze technologieën aanwezig zijn op alle moderne smartphones. Indien we op een smartphone een signaal ontvangen van drie verschillende zenders is het mogelijk om een schatting te maken van de positie van de smartphone. Dit gebeurt door middel van basis driehoeksmeetkunde, net zoals een GPS doet met satellieten. Helaas is uit ons onderzoek gebleken dat deze methode in de meest positieve gevallen slechts nauwkeurig is tot op één meter. Dit is echter te onnauwkeurig voor onze toepassing.                                                                                                  

Als alternatief werden daarom objectherkenningsmethodes beschouwd. Deze technieken worden o.a. door veiligheidsdiensten gebruikt om personen te volgen doorheen de beelden van verschillende camera’s of door analisten in voetbaltalkshows om één bepaalde speler te volgen. Wij gebruiken hiervoor een bestaande methode die gebaseerd is op kleuren. Wanneer de twee spelers worden uitgerust met hesjes in verschillende kleuren is er een duidelijk onderscheid tussen de spelers op de beelden en kunnen we hun locatie volgen. Hiervoor ontwikkelden we zelf een Android-app die de gekozen objectherkenningsmethode implementeert. De app stuurt eveneens de schatting van de locatie door naar een centrale laptop waarop het spel draait.

Creatief gebruik verschillende moderne technologieën

Het tweede gedeelte van het project bestond uit de ontwikkeling van het spel en het samenvoegen van de verschillende componenten in een experimentele opstelling die effectief gebruikt kon worden. Zo moest er een manier worden bedacht om een HMD draagbaar te kunnen gebruiken, waarbij deze toestellen toch de nodige energie en video kunnen ontvangen. Eerst werden een aantal opties overwogen die technologisch en technisch onhaalbaar bleken, zoals het verbinden met een smartphone of het gebruik van minicomputers. In de heel nabije toekomst zullen deze mogelijkheden wel gebruikt kunnen worden.

Onze uiteindelijke oplossing was de spelers uit te rusten met een rugzak waarin een laptop werd geplaatst.  Deze laptop voorziet de bril dan van de nodige energie en beelden van het spel. Een andere creatieve aanpak was vereist om de camera’s op te stellen rondom het speelveld, hiervoor werd gebruik gemaakt van selfie sticks.

De finale uitkomst was een mobiele opstelling die in staat was om vier keer per seconde de locatie van de spelers door te geven aan het spel.  Vooral binnenkamers of bij kleine opstellingen oogt het resultaat heel spectaculair. Verder onderzoek is nodig om het systeem te verbeteren op het vlak van stabiliteit, gebruiksvriendelijkheid en accuraatheid. Daarnaast moet het in de toekomst ook mogelijk worden om de bewegingen van bijvoorbeeld armen te registreren om de ervaring nog natuurlijker te doen overkomen.

‘One small step for man, …’ zijn woorden die in ieders geheugen gegrift staan. Dit onderzoek was een eerste stap in de exploratie van een heel nieuw universum aan mogelijkheden. In de toekomst zal u zelf kunnen rondwandelen in virtuele werelden, zoals een maan- of marslandschap.

Bibliografie
  1. Tomasz Mazuryk and Michael Gervautz. “Virtual Reality History, Applications, Technology and Future”. 1996.

  2. Parth Rajesh Desai, Pooja Nikhil Desai, Komal Deepak Ajmera and Khushbu Mehta. “A Review Paper on Oculus Rift-A Virtual Reality Headset”. arXiv preprint arXiv:1408.1173, 2014.

  3. Ishan Goradia, Jheel Doshi and Lakshmi Kurup. “A Review Paper on Oculus Rift & Project Morpheus”. International Journal of Current Engineering and Technology, 2014.

  4. Oculus VR. “Oculus Best Practice Guide”. 2015.

  5. Stephan Baulch, Nathan Fuchs and Brandon Walker. “OculusKinect: Real Time Augmented Reality Visual Assistance System”. 2013.

  6. Will Woodard and Somsak Sukittanon. “Interactive Virtual Building Walkthrough Using Oculus Rift and Microsoft Kinect”. 2013.

  7. Stefan Marks, Javier E. Estevez and Andy M. Connor. “Towards the Holodeck: fully immersive virtual reality visualisation of scientific and engineering data”. ACM, 2014.

  8. Dragan Stojanović and Natalija Stojanović. “Indoor localization and tracking: Methods, technologies and research challenges”. Facta Universitatis, Series: Automatic Control and Robits, vol. 13(1), pp. 57-72, 2014.

  9. Liu Hui, H. Darabi, P. Banerjee and Liu Jing.” Survey of Wireless Indoor Positioning Techniques and Systems”. Systems, Man, and Cybernetics, Part C: Applications and Reviews, IEEE Transactions on, vol. 37(6), pp. 1067-1080, 2007.

  10. Yuya Murata, Katsuhiko Kaji, Kei Hiroi and Nobuo Kawaguchi. “Pedestrian Dead Reckoning Based on Human Activity Sensing Knowledge”. Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing: Adjunct Publication, pp. 797-806, 2014.

  11. Kerem Ok, Vedat Coskun, Mehmet N. Aydin, Busra Ozdenizci. “Current benefits and future directions of NFC services”. Education and Management Technology (ICEMT), 2010 International Conference on, pp. 334-338, 2010.

  12. Carles Gomez, Joaquim Oller and Josep Paradells. “Overview and evaluation of bluetooth low energy: An emerging low-power wireless technology”. Sensors, vol. 12(9), pp. 11734-11753, 2012.

  13. Ramsey Faragher and Robert Harle. “An Analysis of the Accuracy of Bluetooth Low Energy for Indoor Positioning Applications”. Proceedings of the 27th International Technical Meeting of The Satellite Division of the Institute of Navigation (ION GNSS+ 2014), pp. 201-210, 2014.

  14. Xiaojie Zhao, Zhuoling Xiao, Andrew Markham, Niki Trigoni and Yong Ren. “Does BTLE measure up against WiFi? A comparison of indoor location performance”. European Wireless 2014; 20th European Wireless Conference; Proceedings of, pp. 1-6, 2014.

  15. Erin-Ee-Lin Lau, Boon-Giin Lee, Seung-Chul Lee, Wan-Young Chung. “Enhanced RSSI-based high accuracy real-time user location tracking system for indoor and outdoor environments”. International Journal on Smart Sensing and Intelligent systems, vol. 1(2), pp. 534-548, 2008.

  16. Yapeng Wang, Shusheng Shi, Xu Yang and Athen Ma. “Bluetooth Indoor Positioning using RSSI and Least Square Estimation”. IEEE ICFCC, 2010.

  17. Samarth Brahmbhatt. “Practical OpenCV”. Apress, 2013.

  18. Gary R. Bradski. “Computer vision face tracking for use in a perceptual user interface”. Citeseer, 1998.

  19. D. Exner, E. Bruns, D. Kurz, A. Grundhofer and O. Bimber. “Fast and robust CAMShift tracking”. Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on, pp. 9-16, 2010.

  20. Martin Foltin. “Automated Maze Generation and Human Interaction”. 2011.

  21. Marco A. Hudelist, Claudiu Cobârzan and Klaus Schoeffmann. “Opencv performance measurements on mobile devices”. Proceedings of International Conference on Multimedia Retrieval, pp. 479-483, 2014.

  22. Sheng, Liang. “The Java Native Interface: Programmer's Guide and Specification”. Addison-Wesley Professional, 1999.

  23. Fangming Liu, Peng Shu, Hai Jin, Linjie Ding, Jie Yu, Di Niu and Bo Li. “Gearing resource-poor mobile devices with powerful clouds: architectures, challenges, and applications”. IEEE Wireless Communications, vol. 20(3), pp. 14-22, 2013.

Universiteit of Hogeschool
Master of Science in de informatica: computernetwerken en gedistribueeerde systemen
Publicatiejaar
2015
Kernwoorden
Share this on: