In gesprek met robots
Beeld je in: je zit samen met 25 leeftijdsgenoten in de les Frans. Eén leerkracht staat vooraan in de klas, jullie moeten luisteren. Achter je klinkt gebabbel, naast je zit iemand te tekenen en je voelt je concentratie verdwijnen. En zo moet je dan een taal leren beheersen.
In klassiek onderwijs is er geen ruimte voor een conversatie met iemand die de taal beheerst, terwijl dat net de beste manier is om een taal te leren. Er zijn te weinig leerkrachten en lesuren voor één-op-één inoefenen met iedere leerling. Wat als leerkrachten hiervoor ondersteund worden door een vriendelijke robot, die niets liever doet dan met je in gesprek gaan? Dat trachtte Eva Verhelst te realiseren met haar masterproef.
Slim leren
Computers in de klas zijn niets nieuws. Leerlingen maken regelmatig gebruik van laptops en tablets, en leerkrachten worden al langer ondersteund door technologie. Ook thuis maken mensen gretig gebruik van apps als Duolingo om talen te leren. Deze apps zijn krachtig omdat ze de leerstof aanpassen aan het niveau van de leerling. Dat doen ze door een inschatting te maken van wat de leerling wel of niet goed kan, op basis van diens antwoorden, gestuurd door artificiële intelligentie. Onderzoek heeft aangetoond dat wanneer zo’n app een echt lichaam krijgt door middel van een vriendelijk uitziende robot, de leerlingen beter gemotiveerd zijn en ze hun concentratie er langer bij kunnen houden. Dit soort robots wordt sociale robots genoemd. Het interessante aan deze robots is dat je er mee kan communiceren zoals je met een medemens communiceert: gesproken taal, oogcontact, lichaamstaal en gebaren.
Mens tot mens
De mens heeft erg de neiging om overal gezichten te herkennen en emotie toe te schrijven waar mogelijk. Denk aan eenvoudige vormen die een lachend gezichtje vormen ;-) en treurwilgen die we treurig vinden omdat hun takken neerhangen. Deze sterke neiging kunnen we gebruiken om robots tot leven te toveren. Een voorbeeld daarvan is de Furhat-robot: een hoofd en schouders met een doorschijnend gelaat, waar van binnenuit een bewegend gezicht op geprojecteerd wordt. Met zijn vriendelijk voorkomen en slimme programmering moet deze robot maar één keer in je ogen kijken en je bent helemaal overtuigd dat het een sociaal wezen is.
Leerstof voor jou alleen
Eva ontwikkelde een app om woordenschat te leren met een sociale robot. De app houdt voortdurend bij wat je al kan en wat wat minder gaat, en ze past de inhoud van de oefeningen ook aan aan je interesses. In een klassieke les is dat laatste moeilijk, want de lesinhoud is op voorhand voorbereid. Eva’s systeem gebruikt generatieve artificiële intelligentie. Dat zijn modellen die tekst en afbeeldingen kunnen genereren op basis van tekstuele input. Denk je daarbij onmiddellijk aan ChatGPT? Dan heb je gelijk. Het slim combineren van verschillende van deze generatieve modellen, van de inschattingen van de kennis van de leerling en van de sociale robot leidt tot gepersonaliseerde, sociale lessen zonder onmogelijke inspanningen van de leerkracht.
Een visueel spel
De applicatie die Eva ontwikkelde heeft de vorm van een visueel spel. In dit spel worden de woorden die je inoefent steeds getoond in de vorm van een afbeelding. Zo kan iedereen het spel spelen, ongeacht je moedertaal. Tijdens het spel zegt de robot een zin in de taal die je leert. Naast de robot staat een scherm waarop enkele afbeeldingen getoond worden. Jij kiest de afbeelding die volgens jou het dichtst aansluit bij de gesproken zin, waarna je de relevante woorden te zien krijgt. Alle inhoud van deze applicatie wordt live gegenereerd: de gesproken tekst en de afbeeldingen die getoond worden. Zo past het spel zich steeds aan jouw kennis aan, en wordt het spel uitdagender naarmate je vordert.
Scores van leerlingen op meerkeuzetest voor en na het inoefenen met de robot.
Het spel is getest door de leerlingen van een klas van het 4de middelbaar. Ze oefenden gedurende tien minuten Spaanse woordjes samen met de robot. Ervoor en erna deden de leerlingen een meerkeuze-test. De gemiddelde score op de tests steeg van 14/20 voor het inoefenen met de robot tot 18,1/20 er na. Hieruit kan je concluderen dat de app er in slaagt de studenten woorden aan te leren, zelfs op een erg korte tijd.
De toekomst van robots in de klas
De app die Eva ontwikkelde is een eerste stap richting een wereld waar robots onze leerkrachten actief ondersteunen in de klas. De technologie is volop in ontwikkeling en verbetert aan een enorme snelheid: een project als deze masterproef was een jaar eerder nog niet mogelijk. Met komende ontwikkelingen zal het mogelijk worden om te evolueren van een duidelijk afgelijnd spel met volledig live gegenereerde inhoud naar open gesprekken met een robot, waar zowel de taal als de visuele ondersteuning nooit eerder geziene inhoud bevat. Zo kunnen leerkrachten voldoen aan de noden van elke leerling in de klas, door het nuttig aanpassen van technologie aan de sociale noden van de mens.
Bibliografie
Christoph Leiter, Ran Zhang, Yanran Chen, Jonas Belouadi, Daniil Larionov, Vivian Fresen, and Steffen Eger. Chatgpt: A meta-analysis after 2.5 months. arXiv preprint arXiv:2302.13795, 2023.
Cynthia Breazeal, Kerstin Dautenhahn, and Takayuki Kanda. Social robotics.
Springer handbook of robotics, pages 1935–1972, 2016.
Imola Katalin Nagy et al. In between language teaching methods: do we need (to know about) methods at all? Acta Universitatis Sapientiae, Philologica, 11(3):119–139, 2019.
Cynthia Breazeal. Designing sociable robots. MIT press, 2004.
Christoph Bartneck, Tony Belpaeme, Friederike Eyssel, Takayuki Kanda, Merel Keijsers, and Selma ˇSabanovi´c. Human-robot interaction: An introduction. CambridgeUniversity Press, 2020.
Cynthia Breazeal. Toward sociable robots. Robotics and autonomous systems, 42(3-4):167–175, 2003.
Adam Robaczewski, Julie Bouchard, Kevin Bouchard, and S´ebastien Gaboury. Socially assistive robots: The specific case of the nao. International Journal of Social Robotics, 13:795–831, 2021.
Amit Kumar Pandey and Rodolphe Gelin. A mass-produced sociable humanoid
robot: Pepper: The first machine of its kind. IEEE Robotics & Automation Magazine, 25(3):40–48, 2018.
Samer Al Moubayed, Jonas Beskow, Gabriel Skantze, and Bj¨orn Granstr¨om. Furhat: a back-projected human-like robot head for multiparty human-machine interaction. In Cognitive Behavioural Systems: COST 2102 International Training School, Dresden, Germany, February 21-26, 2011, Revised Selected Papers, pages 114–130. Springer, 2012.
https://furhatrobotics.com/. Accessed on May 24, 2023.
Tony Belpaeme, James Kennedy, Paul Baxter, Paul Vogt, Emiel EJ Krahmer, Stefan Kopp, Kirsten Bergmann, Paul Leseman, Aylin C K¨untay, Tilbe G¨oksun, et al. L2tor-second language tutoring using social robots. In Proceedings of the ICSR 2015 WONDER Workshop, 2015.
https://www.engineeredarts.co.uk/robot/ameca/. Accessed on May 24, 2023.
Sadeen Alharbi, Muna Alrazgan, Alanoud Alrashed, Turkiayh Alnomasi, Raghad Almojel, Rimah Alharbi, Saja Alharbi, Sahar Alturki, Fatimah Alshehri, and Maha Almojil. Automatic speech recognition: Systematic literature review. IEEE Access, 9:131858–131876, 2021.
James A Kulik and JD Fletcher. Effectiveness of intelligent tutoring systems: a meta-analytic review. Review of educational research, 86(1):42–78, 2016.
SA McLeod. What is the zone of proximal development? 2012.
Radek Pel´anek. Bayesian knowledge tracing, logistic models, and beyond: an overview of learner modeling techniques. User Modeling and User-Adapted Interaction, 27:313–350, 2017.
Thorsten Schodde, Kirsten Bergmann, and Stefan Kopp. Adaptive robot language tutoring based on bayesian knowledge tracing and predictive decision-making. In Proceedings of the 2017 ACM/IEEE International Conference on Human-Robot Interaction, pages 128–136, 2017.
Zachary Pardos, Yoav Bergner, Daniel Seaton, and David Pritchard. Adapting
bayesian knowledge tracing to a massive open online course in edx. In Educational Data Mining 2013. Citeseer, 2013.
Jussi Kasurinen and Uolevi Nikula. Estimating programming knowledge with
bayesian knowledge tracing. ACM SIGCSE Bulletin, 41(3):313–317, 2009.
Michael V Yudelson, Kenneth R Koedinger, and Geoffrey J Gordon. Individualized bayesian knowledge tracing models. In Artificial Intelligence in Education: 16th International Conference, AIED 2013, Memphis, TN, USA, July 9-13, 2013. Proceedings 16, pages 171–180. Springer, 2013.
Yumeng Qiu, Yingmei Qi, Hanyuan Lu, Zachary A Pardos, and Neil T Heffernan. Does time matter? modeling the effect of time with bayesian knowledge tracing. In EDM, pages 139–148, 2011.
Qi Liu, Shuanghong Shen, Zhenya Huang, Enhong Chen, and Yonghe Zheng. A survey of knowledge tracing. arXiv preprint arXiv:2105.15106, 2021.
Tony Belpaeme, James Kennedy, Aditi Ramachandran, Brian Scassellati, and Fumihide Tanaka. Social robots for education: A review. Science robotics, 3(21):eaat5954, 2018.
Omar Mubin, Catherine J Stevens, Suleman Shahid, Abdullah Al Mahmud, and Jian-Jie Dong. A review of the applicability of robots in education. Journal of Technology in Education and Learning, 1(209-0015):13, 2013.
Weijiao Huang, Khe Foon Hew, and Luke K Fryer. Chatbots for language learning— are they really useful? a systematic review of chatbot-supported language learning. Journal of Computer Assisted Learning, 38(1):237–257, 2022.
Natasha Randall. A survey of robot-assisted language learning (rall). ACM Transactions
on Human-Robot Interaction (THRI), 9(1):1–36, 2019.
Greg J Duncan, Chantelle J Dowsett, Amy Claessens, Katherine Magnuson, Aletha C Huston, Pamela Klebanov, Linda S Pagani, Leon Feinstein, Mimi Engel, Jeanne Brooks-Gunn, et al. School readiness and later achievement. Developmental psychology, 43(6):1428, 2007.
Dale Walker, Charles Greenwood, Betty Hart, and Judith Carta. Prediction of school outcomes based on early language production and socioeconomic factors. Child development, 65(2):606–621, 1994.
Tracy McKee Agostin and Sherry K Bain. Predicting early school success with developmental and social skills screeners. Psychology in the Schools, 34(3):219–228, 1997.
Olusola O Adesope, Tracy Lavin, Terri Thompson, and Charles Ungerleider. A systematic review and meta-analysis of the cognitive correlates of bilingualism. Review of educational research, 80(2):207–245, 2010.
Ellen Bialystok, Fergus IM Craik, and Morris Freedman. Bilingualism as a protection against the onset of symptoms of dementia. Neuropsychologia, 45(2):459–464, 2007.
Albert Saiz and Elena Zoido. Listening to what the world says: Bilingualism and earnings in the united states. Review of Economics and Statistics, 87(3):523–538, 2005.
Jacqueline Kory Westlund and Cynthia Breazeal. The interplay of robot language level with children’s language learning during storytelling. In Proceedings of the tenth annual ACM/IEEE international conference on human-robot interaction extended abstracts, pages 65–66, 2015.
Minoo Alemi, Ali Meghdari, and Maryam Ghazisaedy. Employing humanoid robots for teaching english language in iranian junior high-schools. International Journal of Humanoid Robotics, 11(03):1450022, 2014.
Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.
Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, 26, 2013.
Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pages 1532–1543, 2014.
Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the association for computational linguistics, 5:135–146, 2017.
Tomas Mikolov, Edouard Grave, Piotr Bojanowski, Christian Puhrsch, and Armand Joulin. Advances in pre-training distributed word representations. arXiv preprint arXiv:1712.09405, 2017.
Yoshua Bengio, R´ejean Ducharme, and Pascal Vincent. A neural probabilistic language model. Advances in neural information processing systems, 13, 2000.
Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017.
Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.
Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, 1(8):9, 2019.
Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, 33:1877–1901, 2020.
OpenAI. Gpt-4 technical report, 2023.
https://help.openai.com/en/articles/6825453-chatgpt-release-notes, 2022. Accessed on May 24, 2023.
https://openai.com/blog/chatgpt, 2022. Accessed on May 24, 2023.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pretraining of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.
Jorge Agnese, Jonathan Herrera, Haicheng Tao, and Xingquan Zhu. A survey and taxonomy of adversarial neural networks for text-to-image synthesis. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 10(4):e1345, 2020.
Avijit Ghosh and Genoveva Fossas. Can there be art without an artist? arXiv
preprint arXiv:2209.07667, 2022.
Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily L
Denton, Kamyar Ghasemipour, Raphael Gontijo Lopes, Burcu Karagol Ayan, Tim
Salimans, et al. Photorealistic text-to-image diffusion models with deep language
understanding. Advances in Neural Information Processing Systems, 35:36479–36494, 2022.
https://openai.com/product/dall-e-2. Accessed on May 24, 2023.
Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, and Ilya Sutskever. Zero-shot text-to-image generation, 2021.
Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models, 2022.
https://www.midjourney.com/home/. Accessed on May 24, 2023.
Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. Advances in neural information processing systems, 27, 2014.
Lo¨ıc Barrault, Ondˇrej Bojar, Marta R. Costa-juss`a, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias M¨uller, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2019 conference on machine translation (WMT19). In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pages 1–61, Florence, Italy, August 2019. Association for Computational Linguistics.
Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pages 311–318, 2002.
Abhishek Das, Satwik Kottur, Khushi Gupta, Avi Singh, Deshraj Yadav, Jos´e MF Moura, Devi Parikh, and Dhruv Batra. Visual dialog. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 326–335, 2017.
Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C Lawrence Zitnick, and Devi Parikh. Vqa: Visual question answering. In Proceedings of the IEEE international conference on computer vision, pages 2425–2433, 2015.
Wonjae Kim, Bokyung Son, and Ildoo Kim. Vilt: Vision-and-language transformer without convolution or region supervision. In International Conference on Machine Learning, pages 5583–5594. PMLR, 2021.
Alane Suhr, Stephanie Zhou, Ally Zhang, Iris Zhang, Huajun Bai, and Yoav Artzi. A corpus for reasoning about natural language grounded in photographs, 2019.
Unnat Jain, Svetlana Lazebnik, and Alexander G Schwing. Two can play this game: Visual dialog with discriminative question generation and answering. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5754–5763, 2018.
Abhishek Das, Satwik Kottur, Jos´e MF Moura, Stefan Lee, and Dhruv Batra. Learning cooperative visual dialog agents with deep reinforcement learning. In Proceedings of the IEEE international conference on computer vision, pages 2951–2960, 2017.
Luke Prodromou. From mother tongue to other tongue. Retrieved on August, 20:2007, 2002.
Manoj Kumar Yadav. Role of mother tongue in second language learning. International Journal of research, 1(11):572–582, 2014.
Rachel Harding. English for Everyone: Level 1: Beginner, Course Book. Dk Publishing, 2016.
Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 10684–10695, June 2022.
https://huggingface.co/runwayml/stable-diffusion-v1-5. Accessed on May 24, 2023.
Albert T Corbett and John R Anderson. Knowledge tracing: Modeling the acquisition of procedural knowledge. User modeling and user-adapted interaction, 4:253–278, 1994.
Brett van De Sande. Properties of the bayesian knowledge tracing model. Journal of Educational Data Mining, 5(2):1–10, 2013.
https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2. Accessed on May 24, 2023.
Victor U Thompson, Christo Panchev, and Michael Oakes. Performance evaluation of similarity measures on similar and dissimilar text retrieval. In 2015 7th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management (IC3K), volume 1, pages 577–584. IEEE, 2015.
https://huggingface.co/Helsinki-NLP/opus-mt-en-es. Accessed on May 24, 2023.
https://azure.microsoft.com/en-us/products/cognitive-services/translator. Accessed on May 24, 2023.
https://github.com/openai/gpt-3/tree/master/dataset statistics. Accessed on May 24, 2023.
https://prompthero.com/stable-diffusion-prompt-guide. Accessed on May 24, 2023.
https://docs.python.org/3/library/tkinter.html. Accessed on May 24, 2023.
