Using Augmented Physical Objects driven by Semantic Web technology to bridge the gap between digital and physical world
"De kloof dichten tussen de digitale en fysieke wereld – een brug te ver?" door Ruben Thys
Noot: U staat op het punt een tekst over een infomaticathesis te lezen. Voor U wegvlucht naar makkelijkere lectuur, toch even dit: informatica kán er voor de mensen zijn. Net zoals iedereen kan autorijden zonder het fijne te weten van automechaniek, zo kan U deze tekst begrijpen en zou U van deze toepassing kunnen genieten zonder de zware theorie erachter ten volle te vatten.
Ondanks het bestaan van een boomvriendelijk digitaal alternatief, is de kans groot dat U dit op papier leest. Waarom? Wat zorgt ervoor dat kranten blijven verkopen?
Eén van de grootste charmes zal allicht uitgaan van de factor ‘gezelligheid’. Op zondag met z’n allen rond de tafel vechten om het boeiendste stukje papier is net iets socialer dan om de beurt de site van die krant checken. En wat zou de treinreiziger ’s ochtends zonder zijn metrokrantje?
Anderzijds maakt onze digitale wereld een steeds groter deel uit van ons leven. Naast mailen en bloggen, wordt er in de eindeloze informatiezee steeds vaker naar andere eilandjes gevaren: moeder –hoewel ze ‘niets van computers snapt’- zoekt een nieuw receptje op het internet, vader doet zijn betalingen online, zoonlief versiert via ebay goedkopere festivaltickets en dochter zit asociaal sociaal te wezen op MSN.
Het is dan ook niet meer dan logisch dat elke zichzelf respecterende krant een digitaal alternatief aanbiedt. Deze digitale versie is eigenlijk een soort kopie van de fysieke versie, zij het met extra’s zoals nóg meer Paris Hilton-nieuws, Youtube filmpjes én met de mogelijkheid om verder te surfen naar wat U nu écht interesseert. Het nadeel is dat de computerwereld toch wat artificieel blijft. Men moet zich immers achter een computerscherm begeven om taken in de digitale wereld uit te voeren. Zodra men zich hiervan verwijdert, gaat de hele digitale wereld als het ware op slot tot een volgende sessie. Er bestaat dus een barrière tussen de situaties waarin men de krant wil lezen (bv in de zetel) en de situaties waar er toegang tot de digitale wereld is (bv op de werkkamer). Ook vindt niet iedereen het aangenaam om uren naar een scherm te staren. Kortom, de digitale krant is nog niet ideaal.
Omgekeerd kan men stellen dat de oorspronkelijk in bits en bytes geproduceerde krant in zijn uiteindelijke verschijningsvorm niets meer is dan inkt op papier. Weg digitale meerwaarde.
Hoe U het ook bekijkt, de twee werelden staan naast elkaar en bieden verder geen enkele meerwaarde aan elkaar. De fysieke krant verliest zijn digitale info. De digitale krant verliest zijn papieren verschijningsvorm en alle charmes die daarbij horen. Er blijft dus een barrière bestaan tussen de fysieke en de digitale wereld. Een onoverbrugbare kloof, denkt U?
Zou het niet geweldig zijn als er een papieren krant bestond die ook over de uitgebreide info van het internet beschikte? En zou het, in de andere richting, ook niet handig zijn als de informatie in de krant onmiddellijk bruikbaar was voor digitale doeleindes (zoals een routekaart tonen, een persoonlijke blog aanvullen met informatie uit een artikel,...)? Vermoedt U trouwens ook niet dat een krant interessanter zou zijn als U, net als tijdens het surfen, zélf kon kiezen over welke onderwerpen U las?
Het integreren van deze twee werelden lijkt onbegonnen werk – of wil U een krant met x miljard geprinte internetpagina’s? -, maar in deze thesis werd het mogelijk gemaakt!
Het revolutionaire concept dat daarvoor wordt voorgesteld –en volledig uitgewerkt!-, kreeg de naam SemaNews mee. Qua uiterlijk lijkt SemaNews een gewone krant. Het enige verschil is dat er aan elk artikel een semacode[1] toegevoegd is.
Wat U echter niet ziet, is dat SemaNews nog veel meer is. Het is een geheel van technologieën die zorgen dat de kloof tussen de digitale en fysieke wereld gedicht wordt. Zo is de inhoud van de SemaNewskrant volledig personaliseerbaar. Het is perfect mogelijk over uw favoriete sport te lezen, ook als deze niét voetbal betreft. Ook kan U uw treinuren, ongelezen e-mails of –we noemen maar wat- het weerbericht in Hawai in uw krant krijgen. Kortom, uw krant wordt net zo interessant als het internet, maar U hoeft er niet voor achter een scherm te kruipen. Toch is SemaNews veel meer dan simpelweg het (via rss-feeds[2]) afdrukken van interessante informatie in krantlay-out.
SemaNews is net zo uniek omdat het een informatiesnelweg in twee richtingen creëert. Niet alleen wordt de digitale informatie fysiek, ook blijven in deze krant de inkten letters digitaal identificeerbaar!
Hoe kan een computer de krant lezen en begrijpen wat er staat?
Naast enkele techonologieën achter de schermen, komt hier de eerder vermelde semacode in het spel. Verdere benodigdheden zijn een gsm of pda met fotofunctie en een netwerk. Natuurlijk beschikt op dit moment niet iedereen hierover, maar SemaNews is dan ook een technologie om het leven van morgen beter te maken; het nieuws van gisteren leest immers niemand meer.
“Ok, maar wat heb ik daar nu aan,” denkt U nu misschien. Het antwoord is simpel: niet veel, maar heel veel. De digitale wereld kan immers ook naar U en uw zetel terugkoppelen en zo op uw gsm- of pda-scherm net die informatie tonen die U nodig hebt. Zo zou u na het lezen van dit artikel, dat geschreven is in het kader van de Vlaamse Scriptieprijs, een foto van bijhorende semacode kunnen nemen. Vervolgens verschijnen op uw scherm enkele relevante services[3] aangepast aan uw persoonlijke interesses en aan de inhoud van dit artikel. Een relevante service is hier bv de mogelijkheid om “18/12”, de finaledatum van de Scriptieprijs, toe te voegen aan uw online-agenda. Ook een wegbeschrijving naar “Gent”, de stad van de finale, en eventuele overnachtingsmogelijkheden daar zouden goede services zijn. Dat deze relevante services ook getoond worden, komt doordat de computer “18/12” en “Gent” niet langer ziet als woorden, maar interpreteert als datum en stad.
Services als een vertaaldienst worden hier automatisch als irrelevant beschouwd. Hierin schuilt de grote kracht van het SemaNews concept.
Vervolgens kiest U een gewenste service (vb “wegbeschrijving”) en wordt de juiste informatie getoond. Het is dus absoluut niet zo dat U –geholpen door de handige gsmtoestenborden- naar sites verwezen wordt en manueel dingen moet ingeven. Alles gaat automatisch, U moet slechts selecteren wat U wilt zien.
Als U zich nu wat overweldigd voelt, bedenk dan dat dit slechts het topje van de ijsberg is van wat er allemaal mogelijk is wanneer de digitale en fysieke wereld niet langer naast, maar in elkaar bestaan. Zo wordt in de thesis ook een supermarkt voorgesteld waarin de producten op uw boodschappenlijstje zo slim zijn dat ze U o.a. komen vertellen in welk rek ze staan, of er geen alternatieve promo is en hoeveel euro’s U gaat uitgeven.
Krant of shoppingbuddy, de overkoepelende idee is dezelfde: de kloof dichten tussen de fysieke en digitale wereld is niet langer een brug te ver, het is gewoon een brug verder!
[1] Een geavanceerde barcode, deze helpt om fysieke informatie terug digitaal te laten worden (zie verder)
[2] RSS-feeds maken het mogelijk om de inhoud van een webpagina’s te tonen zonder deze expliciet te bezoeken.
[3] Services zijn een soort van digitale diensten zoals bijvoorbeeld en routeplanner, een vertaalservice etc.
Bibliografie
1] Robert Adelmann, Marc Langheinrich, and Christian Floerkemeier. A toolkit for bar-coderecognition
and -resolving on camera phones – jump starting the internet of things. Workshop
Mobile and Embedded Interactive Systems (MEIS’06) at Informatik 2006, October 2006.
[2] ADM, Cisco Systems, Piper Rudnick, and Gray Cary. ‘rfid, klaar voor de grote doorbraak ?’. 2005.
[3] J¨urgen Bohn and Friedemann Mattern. Super-Distributed RFID Tag Infrastructures. In Panos
Markopoulos, Berry Eggen, Emile Aarts, and James Crowley, editors, Proc. 2nd European Symposium
on Ambient Intelligence (EUSAI 2004), number 3295 in LNCS, pages 1–12, Eindhoven, The
Netherlands, November 2004. Springer-Verlag.
[4] Gregor Broll, Sven Siorpaes, Enrico Rukzio, Massimo Paolucci, John Hamard, Matthias Wagner,
and Albrecht Schmidt. Supporting service interaction in the real world. percom, 0, 2006.
[5] Gregor Broll, Sven Siorpaes, Enrico Rukzio, Massimo Paolucci, John Hamard, Matthias Wagner,
and Albrecht Schmidt. Supporting mobile service usage through physical mobile interaction. percom,
0:262–271, 2007.
[6] George Coulouris, Jean Dollimore, and Tim Kindberg. Distributed systems (3rd edition): concepts
and design. Addison-Wesley Longman Publishing Co., Inc., Boston, MA, USA, 2001.
[7] NCR Retail Solutions Division. Physics of backscatter tags. 2005.
[8] Marias Giannis F., Papazafeiropoulos Giorgos, Priggouris Nikos, Hadjiefthymiades Stathes, and
Merakos Lazaros. An innovative gateway for indoor positioning. EURASIP Journal on Applied
Signal Processing, 2006:Article ID 81714, 10 pages, 2006.
[9] Schmid B. F. and Schmid-Isler. Konzepte von beat f. schmid ein ¨Uberblick. page 6, 2004.
[10] A. Ferscha, M. Hechinger, R. Mayrhofer, M. dos Santos Rocha, M. Franz, and R. Oberhauser. Digital
aura.
[11] Kenneth P. Fishkin, Thomas P. Moran, and Beverly L. Harrison. Embodied user interfaces: Towards
invisible user interfaces. In Proceedings of the IFIP TC2/TC13 WG2.7/WG13.4 Seventh
Working Conference on Engineering for Human-Computer Interaction, pages 1–18, Deventer, The
Netherlands, The Netherlands, 1999. Kluwer, B.V.
[12] Armando Fox, Nigel Davies, Eyal de Lara, Mirjana Spasojevic, and William Griswold. Real-world
ubicomp deployments: Lessons learned. IEEE Pervasive Computing, 5(3):21–23, 2006.
[13] Gatenby and David Arthur Gray. Galatea : personalized interaction with augmented objects. Massachusetts,
USA, 2005. MIT.
[14] Neil Gershenfeld, Ra Krikorian, and Danny Cohen. The internet of things. Scientific American,
291(4):76–81, October 2004.
[15] KD Gottschalk, S Graham, H Kreger, and J Snell. Introduction to web services architecture. IBM
Systems Journal, 2001.
[16] Beverly L. Harrison, Kenneth P. Fishkin, Anuj Gujar, Carlos Mochon, and Roy Want. Squeeze me,
hold me, tilt me! an exploration of manipulative user interfaces. In CHI ’98: Proceedings of the
SIGCHI conference on Human factors in computing systems, pages 17–24, New York, NY, USA,
1998. ACM Press/Addison-Wesley Publishing Co.
[17] Andreas Heß, Eddie Johnston, and Nicholas Kushmerick. Assam: A tool for semi-automatically
annotating semantic web services (draft). In Proceedings of the 3rd International Semantic Web
Conference (ISWC 2004), Hiroshima, Japan, 2004.
[18] Ishii Hiroshi and Ullmer Brygg. Tangible bits: towards seamless interfaces between people, bits and
atoms. In CHI ’97: Proceedings of the SIGCHI conference on Human factors in computing systems,
pages 234–241, New York, NY, USA, 1997. ACM Press.
[19] Lars Erik Holmquist, Friedemann Mattern, Bernt Schiele, Petteri Alahuhta, Michael Beigl, and Hans-
Werner Gellersen. Smart-its friends: A technique for users to easily establish connections between
smart artefacts. In UbiComp ’01: Proceedings of the 3rd international conference on Ubiquitous
Computing, pages 116–122, London, UK, 2001. Springer-Verlag.
[20] O. Kasten and M. Langheinrich. First experiences with bluetooth in the smart-its distributed sensor
network, 2001.
[21] Cory D. Kidd, Robert Orr, Gregory D. Abowd, Christopher G. Atkeson, Irfan A., Essa, Blair
MacIntyre, Elizabeth Mynatt, Thad E. Starner, and Wendy Newstetter. ‘easyliving: Ubiquitous
computing & the role of geometry’. 2000.
[22] Cory D. Kidd, Robert Orr, Gregory D. Abowd, Christopher G. Atkeson, Irfan A. Essa, Blair Mac-
Intyre, Elizabeth D. Mynatt, Thad Starner, and Wendy Newstetter. The aware home: A living
laboratory for ubiquitous computing research. In CoBuild ’99: Proceedings of the Second International
Workshop on Cooperative Buildings, Integrating Information, Organization, and Architecture,
pages 191–198, London, UK, 1999. Springer-Verlag.
[23] Naohiko Kohtake, Kenta Matsumiya, Kazunori Takashio, and Hideyuki Tokuda. Smart device collaboration
for ubiquitous computing environment. Fifth International Conference on Ubiquitous
Computing (UbiComp2003)Worksho on Multi-Device Interface for Ubiquitous Peripheral Interaction,
10 2003.
[24] Shin’ichi Konomi and George Roussos. Ubiquitous computing in the real world: lessons learnt from
large scale rfid deployments. Springer-Verlag London Limited, 2006.
[25] Matthias Kranz and Albrecht Schmidt. Prototyping smart objects for ubiquitous computing. In In
Proceedings of the International Workshop on Smart Object Systems in Conjunction with the Seventh
International Conference on Ubiquitous Computing, September 2005.
[26] Yves Lafon. Web Services Activity Statement. http://www.w3.org/2002/ws/Activity, 2002.
[27] Weiser Mark. The computer for the 21st century. Scientific American, September 1991.
[28] B M Matthews. Integration via meaning: Using the semantic web to deliver web services. pages
Article ID 81714, 10 pages, 2005.
[29] Negroponte Nicholas. Being Digital. January 1995.
[30] Thomas Nicolai, Florian Resatsch, and Daniel Michelis. The web of augmented physical objects.
In ICMB ’05: Proceedings of the International Conference on Mobile Business (ICMB’05), pages
340–346, Washington, DC, USA, 2005. IEEE Computer Society.
[31] Pavel V. Nikitin and K. V. S. Rao. Theory and measurement of backscattering from rfid tags. 2005.
[32] Ernest H. Page, Arnold Buss, Paul A. Fishwick, Kevin J. Healy, Richard E. Nance, and Ray J. Paul.
Web-based simulation: revolution or evolution? ACM Trans. Model. Comput. Simul., 10(1):3–17,
2000.
[33] Aabhas V Paliwal, Nabil Adam, and Christof Bornhovd. Semantic discovery and composition of
web services for rfid applications in border control. In 3rd International Semantic Web Conference,
ISWC’04 - Hiroshima, Japan, 2004.
[34] Massimo Paolucci, Katia Sycara, and Takahiro Kawamura. Delivering semantic web services. Technical
Report CMU-RI-TR-02-32, Robotics Institute, Carnegie Mellon University, Pittsburgh, PA,
May 2003.
[35] Ravi Pappu and ThingMacig LLC. ‘the physics of rfid’. 2003.
[36] Yvonne Rogers. Moving on from weiser’s vision of calm computing: Engaging ubicomp experiences.
Springer-Verlag Berlin Heidelberg, pages 404–421, 2006.
[37] M. Rohs. Real-world interaction with camera-phones, 2004.
[38] Albrecht Schmidt, Frank Siegemund, Michael Beigl, Stavros Antifakos, Florian Michahelles, and
Hans-Werner Gellersen. Mobile ad-hoc communication issues in ubiquitous computing – the smartits
experimentation platforms. In Proc. 8th Intl. Conference on Personal Wireless Communication
(PWC 2003), Springer-Verlag, LNCS 2775, pages 213–218, Venice, Italy, September 2003.
[39] M. Sheshagiri, N. Sadeh, and F. Gandon. Using semantic web services for context-aware mobile
applications. In MobiSys 2004 Workshop on Context Awareness, 2004.
[40] Ali A. Nazari Shirehjini and Felix Klar. 3dsim: rapid prototyping ambient intelligence. In sOc-
EUSAI ’05: Proceedings of the 2005 joint conference on Smart objects and ambient intelligence,
pages 303–307, New York, NY, USA, 2005. ACM Press.
[41] Sven Siorpaes, Gregor Broll, and Massimo Paolucci. Mobile interaction with the internet of things.
In Embedded Interaction Research Group, 2004.
[42] Evren Sirin, Bijan Parsia, and James Hendler. Filtering and selecting semantic web services with
interactive composition techniques. IEEE Intelligent Systems, 19(4):42–49, 2004.
[43] Kern Ste en, Braun Peter, and Rossak Wilhelm. MobiSoft: An Agent-Based Middleware for Social-
Mobile Applications. 2006.
[44] Martin R. Stytz, Terry Adams, Brian Garcia, Steven M. Sheasby, and Brian Zurita. Rapid prototyping
for distributed virtual environments. IEEE Softw., 14(5):83–92, 1997.
[45] Katia P. Sycara, Massimo Paolucci, Anupriya Ankolekar, and Naveen Srinivasan. Automated discovery,
interaction and composition of semantic web services. J. Web Sem., 1(1):27–46, 2003.
[46] Kristof Thys, Ruben Thys, Kris Luyten, and Karin Coninx. Photofoaf: A community building
service driven by socially-aware mobile imaging. smap, 0:97–102, 2006.
[47] Jo Vermeulen, Kris Luyten, and Karin Coninx. Tangible mashups: Exploiting links between the
physical and virtual world., 2007.
[48] Roy Want, Kenneth P. Fishkin, Anuj Gujar, and Beverly L. Harrison. Bridging physical and virtual
worlds with electronic tags. In CHI, pages 370–377, 1999.
[49] Mark Weiser. Ubiquitous computing (abstract). In CSC ’94: Proceedings of the 22nd annual ACM
computer science conference on Scaling up : meeting the challenge of complexity in real-world computing
applications, page 418, New York, NY, USA, 1994. ACM Press.
[50] Mark Weiser and John Seely Brown. The coming age of calm technolgy. pages 75–85, 1997.
[51] Pierre Wellner. The digitaldesk calculator: tangible manipulation on a desk top display. In UIST
’91: Proceedings of the 4th annual ACM symposium on User interface software and technology, pages
27–33, New York, NY, USA, 1991. ACM Press.
[52] Pierre Wellner. Interacting with paper on the digitaldesk. Commun. ACM, 36(7):87–96, 1993.
[53] PierreWellner, Wendy Mackay, and Rich Gold. Back to the real world. Commun. ACM, 36(7):24–27,
1993.
[54] Bao Xu and Wang Gang. Random sampling algorithm in rfid indoor location system. In DELTA ’06:
Proceedings of the Third IEEE International Workshop on Electronic Design, Test and Applications,
pages 168–176, Washington, DC, USA, 2006. IEEE Computer Society.
[55] Guang yao Jin, Xiao yi Lu, and Myong-Soon Park. An indoor localization mechanism using active
rfid tag. In SUTC (1), pages 40–43, 2006.
[56] Vasileios Zeimpekis, George M. Giaglis, and George Lekakos. A taxonomy of indoor and outdoor
positioning techniques for mobile location services. SIGecom Exch., 3(4):19–27, 2003.
