Using Augmented Reality in Visualized Data Exploration

Thomas De Moor
Het ontstaan van een nieuwe soort onderzoekerWereldwijd wonen elk jaar meer dan 20 miljoen mensen een academische conferentie bij. Ze versterken hun netwerk, wisselen ideeën uit of zijn simpelweg geïnteresseerd in het thema van de conferentie. Ondanks de sterke vooruitgang van digitale communicatie, blijven deze bijeenkomsten de belangrijkste kruispunten van kennis en onderzoek. Conferenties maken steevast gebruik van naamkaartjes en programmaboekjes om ze zo vlot en efficiënt mogelijk te laten verlopen. Die worden in grote hoeveelheden gedrukt en vergen veel voorbereidend werk.

Using Augmented Reality in Visualized Data Exploration

Het ontstaan van een nieuwe soort onderzoeker

Wereldwijd wonen elk jaar meer dan 20 miljoen mensen een academische conferentie bij. Ze versterken hun netwerk, wisselen ideeën uit of zijn simpelweg geïnteresseerd in het thema van de conferentie. Ondanks de sterke vooruitgang van digitale communicatie, blijven deze bijeenkomsten de belangrijkste kruispunten van kennis en onderzoek. 

Conferenties maken steevast gebruik van naamkaartjes en programmaboekjes om ze zo vlot en efficiënt mogelijk te laten verlopen. Die worden in grote hoeveelheden gedrukt en vergen veel voorbereidend werk. Een digitalisatie van deze middelen dringt zich op.

Science2.0

Recent is er in de onderzoekswereld een nieuw fenomeen opgedoken, Science2.0: het toepassen van web- en mobiele applicaties op klassiek onderzoek om het engagement en de samenwerking tussen onderzoekers onderling te vergroten.

Zo is er bijvoorbeeld de Mendeley applicatie. De bekende muziekapplicatie Spotify betekent voor liedjes hetzelfde als Mendeley voor wetenschappelijke papers. Je hebt er een eigen digitale bibliotheek van papers met zoekfunctionaliteit en de mogelijkheid om papers toe te voegen aan jouw favorieten. Net zoals bij Spotify kan je ook vrienden, of in dit geval mede-onderzoekers, volgen om zo nieuwe papers te ontdekken.

Tot voor kort was er weinig kruisbestuiving tussen de Science2.0 beweging en de traditionele manier om onderzoek te ontdekken op conferenties. Met een nieuwe mobiele applicatie die we ConferExplore hebben genoemd, trachten we wel tot een integratie te komen. Het doel is conferenties, maar ook onderzoek in het algemeen, efficiënter te laten verlopen.

Augmented reality in de ConferExplore applicatie

ConferExplore maakt gebruik van augmented reality.  Zoals de term zelf suggereert, ‘verhoogt’ deze techniek de realiteit. Het meest bekende voorbeeld is Google Glass. Aan de hand van beeldherkenning geeft Google Glass  extra informatie over de wereld rondom ons.  ConferExplore  doet hetzelfde maar dan met een simpele smartphone in plaats van een hippe (en dure) bril.

In de publieke hal van een conferentie bevindt zich een visualisatie van een netwerk van papers en auteurs (figuur 1). Bij het filmen van het netwerk met de ConferExplore applicatie, komt de augmented reality techniek in het spel. De applicatie herkent de papers en auteurs en vult op het mobiele scherm dit netwerk aan met persoonlijke informatie.

Er bestaan twee mogelijke scenario’s (figuur 2). Wanneer de profielfoto van een auteur in beeld wordt gebracht, geeft ConferExplore weer of je deze auteur al dan niet in je Mendeley contacten hebt. Indien niet, kan je met één klik deze auteur toevoegen. De mogelijkheid bestaat ook meteen om de papers van deze auteur te raadplegen.

Een tweede scenario verloopt als volgt: als de QR-code van een paper wordt gefilmd, kan je met ConferExplore deze paper toevoegen aan je digitale Mendeley bibliotheek. Verder kan je ook papers raadplegen die gerelateerd zijn aan de paper die je filmt. Deze functionaliteit laat toe om eenvoudig en met slechts enkele clicks nieuw onderzoek te ontdekken.

De evaluatie van ConferExplore

Het ontwikkelen van ConferExplore gebeurde niet van de ene dag op de andere. Aan de hand van vragenlijsten en mondelinge antwoorden beoordeelden tientallen testpersonen de eerste prototypes van de applicatie. Hun feedback werd gebruikt om het daaropvolgende prototype verder te verbeteren en uit te bouwen. Zo gebruikte een conferentie in Malta uiteindelijk de finale versie van ConferExplore (figuur 3).

Om na te gaan of ConferExplore wel degelijk de brug slaat tussen de Science2.0 applicaties en de traditionele manier om onderzoek te ontdekken op conferenties, vulden de conferentie deelnemers in Malta een finale evaluatie in. Daaruit bleek dat augmented reality in het algemeen, en ConferExplore meer specifiek, uitermate geschikt zijn als koppelmechanismen.

Wat brengt de toekomst?

Uiteraard is ConferExplore nog uitbreidbaar. De applicatie kan gekoppeld worden aan andere accounts, zowel professionele (LinkedIn, ResearchGate) als sociale (Twitter, Facebook).  De visualisatie van het netwerk van papers en auteurs kan interactief worden gemaakt door middel van touch screens. Op termijn is het zelfs mogelijk om automatische gezichtsherkenning in te bouwen, zodat je meteen het onderzoek van een auteur te weten komt wanneer je deze in persoon ontmoet. Academische papers lezen en ontdekken kan onmogelijk nog saai zijn, als je ConferExplore op jouw hippe (en hopelijk dan goedkopere) Google Glass laat draaien! Bovendien zijn er toepassingen mogelijk in andere omgevingen zoals de media en de gaming-industrie.

Elk jaar worden miljoenen euro’s aan academische conferenties besteed. Er is met andere woorden een budgettaire drijfveer om deze evenementen te optimaliseren. Maar er is meer. Academisch onderzoek ondersteunt en verbetert onze maatschappij voortdurend. Veel commerciële applicaties die ons dagelijks leven vergemakkelijken, kennen hun ontstaan in de academische wereld. ConferExplore en het gebruik van augmented reality zijn hopelijk slechts een eerste stap om de optimalisatie van het onderzoeksproces en wellicht nog andere processen te voltrekken.

 

Thomas De Moor

Bibliografie

[1] Android activities. URL: http://developer.android.com/guide/components/activities.html, last checked in May 2014.[2] Balsamiq mockups. URL: http://balsamiq.com/products/mockups/, lastchecked in April 2014.[3] Citavi 4. URL: http://www.citavi.com/, last checked in May 2014.[4] Citeseerx. URL: http://citeseerx.ist.psu.edu/, last checked in May 2014.[5] Citeulike. URL: http://www.citeulike.org/, last checked in May 2014.[6] Colwiz. URL: http://www.colwiz.com/, last checked in May 2014.[7] Conference conpass. URL: http://www.conference-compass.com/, lastchecked in May 2014.[8] Conference4me. URL: http://conference4me.psnc.pl/, last checked in May2014.[9] Conferexplore. URL: http://www.student.kuleuven.be/~s0219024/, lastchecked in May 2014.[10] Docear. URL: http://www.docear.org/, last checked in May 2014.[11] Eventmobile. URL: http://www.eventmobi.com/, last checked in May 2014.[12] Gephi. URL: http://gephi.org/, last checked in May 2014.[13] Google glass. URL: http://www.google.com/glass/start/, last checked inApril 2014.[14] Google scholar. URL: http://scholar.google.com/, last checked in May 2014.[15] Ieeexplore. URL: http://ieeexplore.ieee.org/, last checked in May 2014.[16] Ikea catalogus application. URL: http://www.ikea.com/nl/nl/about_ikea/newsitem/catalogus-app, last checked in April 2014.[17] Jabref. URL: http://jabref.sourceforge.net/, last checked in May 2014.[18] Java universal network/graph framework. URL: http://jung.sourceforge.net/, last checked in May 2014.[19] Linkedin. URL: http://www.linkedin.com/, last checked in May 2014.[20] Mendeley. URL: http://www.mendeley.com, last checked in May 2014.[21] Metaio sdk. URL: http://www.metaio.com/sdk/, last checked in May 2014.[22] Mobile event guide. URL: http://www.mobileeventguide.com/, last checkedin May 2014.[23] Qiqqa. URL: http://www.qiqqa.com/, last checked in May 2014.[24] Quickmobile. URL: http://www.quickmobile.com/, last checked in May 2014.[25] Researchgate. URL: http://www.researchgate.net/, last checked in May2014.[26] Ssrn. URL: http://www.ssrn.com/, last checked in May 2014.[27] Tenth joint european summer school on technology enhanced learning 2014.URL: http://www.prolearn-academy.org/Events/summer-school-2014/,last checked in May 2014.[28] Vivo. URL: http://www.vivoweb.org/, last checked in May 2014.[29] Zotero. URL: http://www.zotero.org/, last checked in May 2014.[30] R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, and B. MacIntyre.Recent advances in augmented reality. IEEE Comput. Graph. Appl., 21(6):34–47,2001.[31] R. T. Azuma. A survey of augmented reality. Presence: Teleoperators andVirtual Environments, 6(4):355–385, 1997.[32] A. Bangor, P. Kortum, and J. Miller. Determining what individual sus scoresmean: Adding an adjective rating scale. Journal of usability studies, 4(3):114–123, 2009.[33] O. Bimber and R. Raskar. Spatial augmented reality. Peters, 2005.[34] J. Brooke. Sus-a quick and dirty usability scale. Usability evaluation in industry,pages 189–194, 1996.[35] V. Buchmann, S. Violich, M. Billinghurst, and A. Cockburn. Fingartips: gesturebased direct manipulation in augmented reality. In Proceedings of the 2ndinternational conference on Computer graphics and interactive techniques inAustralasia and South East Asia, pages 212–221. ACM, 2004.[36] Á. Cabezas-Clavijo, D. Torres-Salinas, and E. Delgado-López-Cózar. Ciencia2.0: catálogo de herramientas e implicaciones para la actividad investigadora.El profesional de la información, 18(1):72–80, 2009.[37] J.-F. Chianetta, M. Jordan, and C. Champier. Augment. URL: http://augmentedev.com, last checked in April 2014, 2011.[38] A. I. Comport, E. Marchand, M. Pressigout, and F. Chaumette. Real-timemarkerless tracking for augmented reality: the virtual visual servoing framework.Visualization and Computer Graphics, IEEE Transactions on, 12(4):615–628,2006.[39] S. Deterding, M. Sicart, L. Nacke, K. O’Hara, and D. Dixon. Gamification.using game-design elements in non-gaming contexts. In Proceedings of the 2011annual conference extended abstracts on Human factors in computing systems,pages 2425–2428. ACM, 2011.[40] A. K. Dey, G. D. Abowd, and D. Salber. A conceptual framework and a toolkit forsupporting the rapid prototyping of context-aware applications. Hum.-Comput.Interact., 16(2):97–166, 2001.[41] D. DiNucci. Design & new media: Fragmented future-web development faces aprocess of mitosis, mutation, and natural selection. Print-New-York, 53(4):32–35,1999.[42] S. Dong, A. H. Behzadan, F. Chen, and V. R. Kamat. Collaborative visualizationof engineering processes using tabletop augmented reality. Adv. Eng. Softw.,55:45–55, Jan. 2012.[43] K. Dorfmuller-Ulhaas and D. Schmalstieg. Finger tracking for interaction inaugmented environments. In Proceedings of the IEEE and ACM InternationalSymposium on Augmented Reality, 2001. (ISAR 2001), pages 55–64. IEEE, 2001.[44] D. Drascic and P. Milgram. Perceptual issues in augmented reality. StereoscopicDisplays and Virtual Reality Systems III, 2653:123–134, 1996.[45] S. R. Ellis, F. Breant, B. Manges, R. Jacoby, and B. D. Adelstein. Factorsinfluencing operator interaction with virtual objects viewed via head-mountedsee-through displays: viewing conditions and rendering latency. In Proceedingsof the 1997 Virtual Reality Annual International Symposium, (VRAIS 1997),pages 138–145. IEEE, 1997.[46] S. Feiner, B. MacIntyre, T. Höllerer, and A. Webster. A touring machine:Prototyping 3d mobile augmented reality systems for exploring the urbanenvironment. Personal Technologies, 1(4):208–217, 1997.[47] J. B. Gotow, K. Zienkiewicz, J. White, and D. C. Schmidt. Addressing challengeswith augmented reality applications on smartphones. In Mobile WirelessMiddleware, Operating Systems, and Applications, pages 129–143. Springer,2010.[48] D. Hardt. The oauth 2.0 authorization framework. URL: http://tools.ietf.org/html/rfc6749/, last checked in May 2014, 2012.[49] R. L. Hollaway. Registration error analysis for augmented reality. Precense:Teleoperators and Virtual Environments, 6(4):413–432, 1997.[50] T. Höllerer, S. Feiner, T. Terauchi, G. Rashid, and D. Hallaway. Exploring mars:developing indoor and outdoor user interfaces to a mobile augmented realitysystem. Computers & Graphics, 23(6):779–785, 1999.[51] S. Irawati, S. Green, M. Billinghurst, A. Duenser, and H. Ko. An evaluation ofan augmented reality multimodal interface using speech and paddle gestures.In Advances in Artificial Reality and Tele-Existence, pages 272–283. Springer,2006.[52] S. Julier, Y. Baillot, D. Brown, and M. Lanzagorta. Information filtering formobile augmented reality. IEEE Comput. Graph. Appl., 22(5):12–15, 2002.[53] H. Kato and M. Billinghurst. Marker tracking and hmd calibration for a videobasedaugmented reality conferencing system. In Proceedings of the 2nd IEEEand ACM International Workshop on Augmented Reality, 1999. (IWAR 1999),pages 85–94. IEEE, 1999.[54] H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, and K. Tachibana. Virtualobject manipulation on a table-top AR environment. In Proceedings of the IEEEand ACM International Symposium on Augmented Reality, 2000. (ISAR 2000),pages 111–119. IEEE, 2000.[55] E. Kruijf, J. E. Swan, and S. Feiner. Perceptual issues in augmented realityrevisited. In Proceedings of the 9th IEEE International Symposium on Mixedand Augmented Reality, 2010. (ISMAR 2010), pages 3–12. IEEE, 2010.[56] W. Lee, W. Woo, and J. Lee. Tarboard: Tangible augmented reality systemfor table-top game environment. In 2nd International Workshop on PervasiveGaming Applications, PerGames, volume 5, pages 2–6, 2005.[57] C. Lewis and J. Rieman. Task-centered user interface design - a practical introduction.URL: http://www.acm.org/perlman/uidesign.html, last checked inMay 2014, 1993.[58] F. Liarokapis, P. Petridis, P. F. Lister, and M. White. Multimedia augmentedreality interface for e-learning (marie). World Transactions of Engineering andTechnology Education, 1(2):173–176, 2002.[59] R. Likert. A technique for the measurement of attitudes. Archives of psychology,22(140):5–55, 1932.[60] S. Malik, C. McDonald, and G. Roth. Hand tracking for interactive patternbasedaugmented reality. In Proceedings of the International Symposium onMixed and Augmented Reality, 2002. (ISMAR 2002), pages 117–126. IEEE,2002.[61] B. Meiguins, S. Pinheiro, L. Almeida, P. Godinho, and A. Meiguins. Coordinatedand Multiple Views in Augmented Reality Environment. In 11th InternationalConference on Information Visualization, 2007. (IV 2007), pages 156–162, 2007.[62] B. A. Myers. A brief history of human-computer interaction technology. Interactions,5(2):44–54, 1998.[63] S. Na, M. Billinghurst, and W. Woo. Tmar: extension of a tabletop interfaceusing mobile augmented reality. In Transactions on edutainment I, pages 96–106.Springer, 2008.[64] J. Nielsen. Why you only need to test with 5 users. URL: http://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/, last checked inMay 2014, 2000.[65] T. Nilsen and J. Looser. Tankwar-tabletop war gaming in augmented reality.In 2nd International Workshop on Pervasive Gaming Applications, PerGames,pages 86–91. Citeseer, 2005.[66] G. Papagiannakis, G. Singh, and N. Magnenat-Thalmann. A survey of mobileand wireless technologies for augmented reality systems. Computer Animationand Virtual Worlds, 19(1):3–22, 2008.[67] G. Parra and E. Duval. More! a social discovery tool for researchers. In Proceedingsof EdMedia10: World Conference on Educational Multimedia, Hypermediaand Telecommunications, pages 561–569, 2010.[68] G. Parra, J. Klerkx, and E. Duval. More!: Mobile interaction with linked data.In Proceedings of the International Workshop on Data-Centric Interactions onthe Web, pages 37–47, 2011.[69] A. Pinz, M. Brandner, H. Ganster, A. Kusej, P. Lang, and M. Ribo. Hybridtracking for augmented reality. ÖGAI Journal, 21(1):17–24, 2002.[70] J. Rekimoto. Matrix: A realtime object identification and registration methodfor augmented reality. In Proceedings of the 3rd Asia Pacific Computer HumanInteraction, 1998., pages 63–68. IEEE, 1998.[71] J. P. Rolland, L. Davis, and Y. Baillot. A survey of tracking technology forvirtual environments. Fundamentals of wearable computers and augmentedreality, 1:67–112, 2001.[72] H. Slay, M. Phillips, R. Vernik, and B. Thomas. Interaction modes for augmentedreality visualization. Australian Symposium on Information Visualisation -Volume 9, pages 71–75, 2001.[73] B. H. Thomas and W. Piekarski. Glove based user interaction techniques foraugmented reality in an outdoor environment. Virtual Reality, 6(3):167–180,2002.[74] D. Wagner, T. Pintaric, F. Ledermann, and D. Schmalstieg. Towards massivelymulti-user augmented reality on handheld devices. In Pervasive Computing,pages 208–219. Springer, 2005.[75] D. Wagner and D. Schmalstieg. First steps towards handheld augmented reality.In 16th International Symposium on Wearable Computers, pages 127–137. IEEE,2003.[76] M. M. Waldrop. Science 2.0. Scientific American, 298(5):68–73, 2008.[77] C. Wongchokprasitti, P. Brusilovsky, and D. Parra-Santander. Conferencenavigator 2.0: community-based recommendation for academic conferences. InProceedings of the 1st Workshop Social Recommender Systems, 2010. (IUI 2010).ACM, 2010.[78] F. Zhou, H. B.-L. Duh, and M. Billinghurst. Trends in augmented realitytracking, interaction and display: A review of ten years of ismar. In Proceedingsof the 7th IEEE International Symposium on Mixed and Augmented Reality,2008. (ISMAR 2008), pages 193–202. IEEE, 2008.

Universiteit of Hogeschool
Master in de Ingenieurswetenschappen, Computerwetenschappen
Publicatiejaar
2014
Kernwoorden
@Thomas_DeMoor
Share this on: