Ontwikkeling van een mobiel conversatiehulpprogramma op Google Android om de communicatie te verbeteren van dove en slechthorende kinderen
Ontwikkeling van een mobiel conversatiehulpprogramma op Google Android om de communicatie te verbeteren van dove en slechthorende kinderen
Kinderen en jongeren die doof of slechthorend zijn, beheersen de gesproken en geschreven taal niet zo goed. Bovendien kunnen hun vrienden en familieleden niet altijd met gebarentaal communiceren. In dit werk werd een communicatiehulp ontwikkeld op het besturingssysteem voor mobiele apparatuur van Google, Android, die deze hindernissen moet reduceren door tekst om te zetten naar relevante plaatjes en filmbestanden. Deze worden gevonden op onlinebronnen zoals Flickr, YouTube, Google Image Search en Vimeo. De teksten kunnen in het toestel ingegeven worden door middel van spraakherkenning en tekstherkenning of geselecteerd worden uit internetpagina’s of e-mail- en sms-berichten. Via verschillende methoden wordt geprobeerd de context uit een zin te halen zodat het juiste verduidelijkende materiaal gevonden kan worden. Na afloop van het project werd een uitgebreide praktijktest afgenomen in een doveninstelling om de bruikbaarheid van de applicatie te onderzoeken.
De verkoop van smartphones blijft fenomenaal stijgen. Steeds meer geïnteresseerden ontdekken de brede waaier aan functionaliteit van een dergelijk toestel. De dalende prijs ervan zorgt ervoor dat steeds meer mensen een smartphone aankopen. De toestellen worden steeds krachtiger en de mobiele bandbreedte wordt goedkoper en veel gemakkelijker beschikbaar, waardoor complexere applicaties voor deze toestellen ontworpen kunnen worden. Zo kunnen de smartphones in de toekomst ook meer en meer een hulp betekenen voor mensen met een taalachterstand.
Communicatie van dove of slechthorende kinderen met hun nabije omgeving loopt vaak niet optimaal. Ze vangen de gesproken communicatie onvoldoende op door hun auditieve beperking, ze beschikken over een beperkte taal en woordenschat om wat ze horen te verstaan. Het complexe taalaanbod van de omgeving wordt vaak niet begrepen. Daarnaast zien we dat gebarentaal vaak toegankelijker is, maar hier stoten we op het probleem dat de meeste ouders van dove en slechthorende kinderen zelf niet doof zijn en de gebarentaal dus niet als moedertaal gebruiken.
Tot nu toe zijn er nog geen volwaardige communicatiehulpmiddelen beschikbaar die deze problemen kunnen reduceren. Bepaalde bronnen geven nochtans aan dat doven bereid zijn om nieuwe technologie te gebruiken om de communicatie te verbeteren met horende personen. Verschillende auteurs verwijzen ook naar het belang van hulptechnologie om de communicatieproblemen te reduceren met dove personen.
In dit werk werd een communicatiehulp ontwikkeld op het besturingssysteem voor mobiele apparatuur van Google, Android, die deze hindernissen moet reduceren door tekst om te zetten naar relevante plaatjes en filmbestanden. Meer dan de helft van alle verkochte smartphones op dit moment draaien Android. Deze plaatjes en filmbestanden worden gevonden op onlinebronnen zoals Flickr, YouTube, Google Image Search en Vimeo.
De teksten kunnen in het toestel ingegeven worden door middel van spraakherkenning en tekstherkenning of geselecteerd worden uit internetpagina’s of e-mail- en sms-berichten. Via verschillende methoden wordt geprobeerd de context uit een zin te halen zodat het juiste verduidelijkende materiaal gevonden kan worden. Als extra hulp worden bij de afbeeldingen ook hints weergegeven, die meer informatie kunnen geven over de woorden die gebruikt zijn in de zin. Zo kunnen woorden verduidelijkt worden die niet direct visueel uitgelegd kunnen worden.
Tekstherkenning in het mobiel conversatiehulpprogramma kan gebruikt worden om teksten uit een folder of een boek in te geven. De gebruiker kan met de smartphone een foto nemen, waarna de tekst uit de foto gehaald wordt en verhelderd wordt. Hij kan die foto nemen van een informatiebord langs de weg, een slogan op een reclamefolder of een fragment uit een boek of stripverhaal. De spraakherkenning in de applicatie kan bijvoorbeeld gebruikt worden in een museum. Verklaringen bij kunstvoorwerpen worden soms enkel maar via een audio-guide aangeboden. De gebruiker kan fragmenten van die uitleg via spraakherkenning in het toestel inbrengen en visualiseren. Het maken van een selectie op een webpagina of uit een sms- of e-mailbericht zorgt er voor dat teksten op een snelle manier in de applicatie ingevoerd kunnen worden. De vereisten voor de voorgestelde applicatie zijn opgesteld in samenspraak met begeleiders van voorzieningen voor dove en slechthorende kinderen en jongeren. Samen met Emilie Van Dijck zijn in een later stadium gebruikersevaluaties afgenomen. Zo is de applicatie geëvalueerd door de doelgroep.
Emilie Van Dijck, student aan de KU Leuven, met een vooropleiding als logopedist-audioloog, moet een conceptueel model evalueren op vlak van usability. Ze werkt dus aan een analoog onderwerp, maar dan aan de niet- technische kant. Zij heeft de bevragingen opgesteld en aan de hand daarvan zijn de gebruikersevaluaties afgenomen. Een testing in Leuven werd uitgevoerd ter voorbereiding en ter inoefening van de ‘echte’ test met de doven. Er waren vier testpersonen en de test werd gelijkaardig uitgevoerd als de ‘echte’ test. De testpersonen waren normaalhorenden van ongeveer 24 jaar oud.
De resultaten van de test zijn op verschillende manieren vastgelegd. Er werd een camera geplaatst, er werden notities genomen, de testtoestellen hebben alles in een logbook bijgehouden, er waren testen met antwoordformulieren en na elke test was er een soort evaluatie die de kinderen moesten invullen. In die evaluatie stonden drie vragen: ik vind dit handig, ik vind dit leuk en ik zou dit wel kunnen gebruiken. Deze konden telkens beantwoord worden met: helemaal oneens, oneens, ik weet het niet, eens of helemaal eens.
Elke test had een andere manier van tekst invoeren in de applicatie. De bedoeling was om uit de resultaten van die evaluaties conclusies te kunnen maken over welke invoermethoden handig zijn en welke niet. Helaas was dat voor de kinderen niet altijd duidelijk en werden de keuzes meer bepaald door hoe mooi de afbeeldingen waren die ze terugkregen en hoe gemakkelijk ze de vraag vonden. Zo werden slechte punten gegeven bij een test waar gevoelige foto’s over huidirritaties stonden weergegeven en werden er goede punten gegeven als de vraag in korte tijd opgelost was. Omdat de kinderen niet konden horen, onvoldoende konden liplezen en zich via spraak niet verstaanbaar konden maken, werd alles wat verteld werd en wat de kinderen wilden vragen vertolkt met een tolk. Tijdens de testen waren ze over het algemeen positief over het programma. Ze vinden het aangenaam om mee te werken en zien er de bruikbaarheid wel van in.
De hoge aanschaffingsprijs van een Android-toestel, samen met de hoge prijs die betaald moet worden voor een mobiel abonnement schrikten de kinderen wel af. Begeleiders zouden de applicatie graag gebruiken tijdens hun lessen. Een databank zou vooraf gevuld kunnen worden met woorden en daaraan gekoppelde afbeeldingen waardoor de kinderen op een leuke manier extra informatie over de lessen kunnen opzoeken.
Over het algemeen wordt goed op de ontwikkeling van de applicatie gereageerd. Voor doven zijn nog niet zo veel verduidelijkende programma’s uitgebracht en men is zeer opgetogen dat er nagedacht wordt over oplossingen voor de problemen van de dove populatie. Hopelijk kan de applicatie die ontworpen werd in dit eindwerk, bijdragen tot de ontwikkeling van toekomstige, vergelijkbare projecten.
- Meier R. (2010). Professional Android 2 Application Development. In- dianapolis: Wiley Publishing, Inc.
- Slegers K. (Blog over dove kinderen in het GR@SP project)., Geraad- pleegd op 10 November 2010 via http://deafkidsingrasp.blogspot.com.
- Android Developers. Geraadpleegd op 19 april 2011 via http://developer.android.com.
- Draft scenario: Photo conversation. (e-mail naar K. Slegers), [online]. Beschikbare e-mail: karin.slegers@soc.kuleuven.
- Broekaert E. ,vav Hove G. (2007) Handboek bijzondere Orthopeda- gogiek. Antwerpen: Garant.
- Oralys Inc. Solution: Talk: Mobile Commu- nicator. Geraadpleegd op 21 april 2011 via http://www.oralys.ca/en/solutions/talk/mobile communicator.htm.
- Van den Bosch A., Busser G.J., Daelemans W., Canisius, S. An efficient memory-based morphosyntactic tagger and parser for Dutch. in Selected Papers of the 17th Computational Linguistics in the Nether- lands Meeting. Leuven: Belgi ̈e, 2007, p. 99-114.
- ABBYY Mobile OCR Engine is a Software Development Kit (SDK). Geraadpleegd op 22 april 2011 via http://www.abbyy.com/mobileocr.
- Daelemans W., Helmer S. (red.). Het Nederlands in taal- en spraaktechnologie: prioriteiten voor basisvoorzieningen. 2002.
- Application programming interface., Geraadpleegd op 20 April 2011 via http://nl.wikipedia.org/wiki/Application programming interface.
- Android-telefoons: overzicht van alle Android-smartphones. Geraad- pleegd op 20 april 2011 via http://www.androidplanet.nl/android- telefoons.
- GR@SP - Overzicht projecten. Geraadpleegd op 20 april 2011 via http://www.ibbt.be/nl/projecten/overzicht-projecten/p/detail/gr- at-sp.
- Centre que ́be ́cois de la de ́ficience auditive. Consultation sur les technologies de l’information: R ́esultats de sondage aupr`es des orga- nismes et des personnes sourdes et malentendantes. Michel Bri`ere and M ́edias Adapt ́es Communications, Montr ́eal, 1995, 15.
- Google Goggles. Geraadpleegd op 22 april 2011 via http://www.google.com/mobile/goggles.
- Dubuisson C., Daigle D.. Lecture, ́ecriture et surdite ́e: visions ac- tuelles et nouvelles perspectives Revue des sciences de l ́education XVII (1998), p. 229-234.
- API documentation IQEAPI v1.2.0 documentation. Geraadpleegd op 22 april 2011 via http://developer.iqengines.com/apidoc/current.
- Fortnum H., Marshall D.H., Bamford J.M., Sum- merfield A.Q.. . Hearing-impaired children in the UK: education setting and com- munication approach Deafness and Education International 4 (2002), p. 123-141.
- Fadi H.. Not another code blog: Google Gog- gles API. Geraadpleegd op 22 april 2011 via http://notanothercodeblog.blogspot.com/2011/02/google-goggles- api.html.
- Hotton M. . Le comit ́e sur les nouvelles technologies en d ́eficience auditive de lI.R.D.P.Q.: projet de recherche sur les appareils de t ́el ́ecommunications pour les personnes sourdes et malentendantes. Diff ́erences, Magazine de lInstitut de r ́eadaptation en d ́eficience phy- sique de Qu ́ebec 5 (2004), p. 32-38.
- Wireshark User’s Guide. Geraadpleegd op 22 april 2011 via http://www.wireshark.org/docs/wsug html chunked.
- T. Johnston. .W(h)ither the Deaf Community? Population, Genetics, and the Future of Australian Sign Language American Annals of the Deaf 148 (2004), p. 358-375.
- Google Goggles to Become App Platform. Geraadpleegd op 22 april 2011 via http://phandroid.com/2010/04/14/google-goggles-to-become- app-platform.
- Vincent C., Deaudelin I., Hotton M.. Pilot on Evaluating Social Participation Following the Use of an Assistive Technology Designed to Facilitate Face-to-Face Communication Between Deaf and Hearing Persons. Technology and Disability 19 (2007), p. 153-167.
- Google voegt Nederlandse spraakbesturing toe aan Android. Geraad- pleegd op 22 april 2011 via http://tweakers.net/nieuws/70584/google- voegt-nederlandse-spraakbesturing-toe-aan-android.html.
- Welkom bij OpenTaal. Geraadpleegd op 22 april 2011 via http://www.opentaal.org/.
- Multilingual dictionary, thesaurus, translation. Geraadpleegd op 22 april 2011 via http://lookwayup.com/free/dictionary.htm.
- On Google’s Unofficial Dictonary API. Geraadpleegd op 23 april 2011 via http://googlesystem.blogspot.com/2009/12/on-googles-unofficial- dictionary-api.html.
- Piek V., Bloksma L., Boersma P.. The Dutch Wordnet. Amster- dam: University of Amsterdam (1999).
- Thesaurus - Wikipedia. Geraadpleegd op 23 april 2011 via http://nl.wikipedia.org/wiki/Thesaurus.
- hunspell format of Hunspell dictionaries and af- fix files. Geraadpleegd op 23 april 2011 via http://ovh.dl.sourceforge.net/project/hunspell/Hunspell/Documentation/h….
- OpenTaal mailinglist. [online] Ingeschreven via http://opentaal.org/mailinglists.
- WikiWoordenboek:Info - WikiWoordenboek. Geraadpleegd op 23 april 2011 via http://nl.wiktionary.org/wiki/WikiWoordenboek:Info.
- MediaWiki API. Geraadpleegd op 23 april 2011 via http://nl.wiktionary.org/w/api.php.
- Gesture recognition. Geraadpleegd op 23 april 2011 via http://en.wikipedia.org/wiki/Gesture recognition.
- IT Wizard : Mezzofanti : Augmented reality through text-recognition.. Geraadpleegd op 25 april 2011 via http://www.itwizard.ro/mezzofanti- augmented-reality-through-text-recognition-146.html.
- tesseract-ocr - An OCR Engine that was developed at HP Labs between 1985 and 1995... and now at Google. - Google Project Hosting. Geraad- pleegd op 25 april 2011 via http://code.google.com/p/tesseract-ocr.
- Java OCR — Download Java OCR software for free at SourceForge.net. Geraadpleegd op 25 april 2011 via http://sourceforge.net/projects/javaocr.
- Understanding User Interface in Android - Part 3: More Views — mobiForge. Geraadpleegd op 25 april 2011 via http://mobiforge.com/designing/story/understandinguserinterface- androidpart3moreviews.
- rTAKI0329’s android : Google Image Search API android. Geraadpleegd op 25 april 2011 via http://rtaki.blogspot.com/2010/11/googleimage- searchapiandroid 28.html.
- Work in background: ProgressDialog and AsyncTask. Geraadpleegd op 25 april 2011 via http://itprojects.spb.ru/?p=150&lang=en.
- Android bitmap caching - Stack Overflow. Geraadpleegd op 25 april 2011 via http://stackoverflow.com/questions/4994496/androidbitmap- caching.
- Get all classes within a package [java] [introspection] [class] [package]. Geraadpleegd op 25 april 2011 via http://snippets.dzone.com/posts/show/4831.
- caching - Android Webview - Completely Clear the Ca- che - Stack Overflow. Geraadpleegd op 25 april 2011 via http://stackoverflow.com/questions/2465432/androidwebviewcom- pletelyclearthecache.
- WordNet - Wikipedia. Geraadpleegd op 25 april 2011 via http://nl.wikipedia.org/wiki/WordNet.
- Using your own SQLite database in Android applications — ReignDesign Blog. Geraadpleegd op 25 april 2011 via http://www.reigndesign.com/blog/using-your-own-sqlite-database- in-android-applications.
- Part-of-speech tagging. Geraadpleegd op 25 april 2011 via
- http://nl.wikipedia.org/wiki/Partofspeech tagging.
- Frog: Dutch morpho-syntactic analyzer and dependency parser. Geraad- pleegd op 25 april 2011 via http://ilk.uvt.nl/frog.
- Van Eynde F Part Of Speech tagging en lemmatisering van het cor- pus gesproken Nederlands. Leuven: Centrum voor Computerlingu ̈ıstiek (2004).
- Martens L. Home - Wireless & Cable (WiCa). Geraadpleegd op 25 april 2011 via http://www.wica.intec.ugent.be.
- Fevlado FAQ. Geraadpleegd op 25 april 2011 via http://www.fevlado.be/faq.aspx.
- Encoding - Protocol Buffers - Google Code. Geraad- pleegd op 10 mei 2011 via http://code.google.com/intl/nl- NL/apis/protocolbuffers/docs/encoding.html.
- JSON - Wikipedia. Geraadpleegd op 20 mei 2011 via http://nl.wikipedia.org/wiki/JSON.
- JSON. Geraadpleegd op 20 mei 2011 via http://json.org. [54] OAuth - Hueniverse. Geraadpleegd op 20 mei 2011 via
- http://hueniverse.com/oauth.
- OAuth Community site. Geraadpleegd op 20 mei 2011 via http://oauth.net/.
- How to Use Three-Legged OAuth - O’Reilly Answers. Geraadpleegd op 20 mei 2011 via http://answers.oreilly.com/topic/1381-how-to-use- three-legged-oauth.
- 2-legged OAuth for the OpenSocial REST API - Google’s In- ternet Identity Research. Geraadpleegd op 20 mei 2011 via http://sites.google.com/site/oauthgoog/2leggedoauth/2opensocialrestapi.
- WiseTREND OCR Cloud 2.0 - Online OCR Help. Geraadpleegd op 23 mei 2011 via http://www.wisetrend.com/WiseTREND Online OCR API v2.0.htm.
- OCR: van papier naar scherm — Kennislink. Geraadpleegd op 24 mei 2011 via http://www.kennislink.nl/publicaties/ocr-van-papier- naar-scherm.
- OCR Introduction. Geraadpleegd op 24 mei 2011 via http://www.dataid.com/aboutocr.htm.