Development of a Brain Computer Interface for robotic hand in the context of neuroscientific research about agency and body ownership

Gil Lauwers
Brein-computer interfaces kunnen onze gedachten in acties omzetten. In die scriptie is zo een brein-computer interface ontwikkeld om een robothand te controleren en verbonden psychologische effecten te studeren.

Gebruik uw brein om een robothand te controleren

Wie droomt er niet van gedachtgestuurde toepassingen? Ingenieur Gil Lauwers ontwikkelde voor zijn master thesis een brein-computer interface om een robothand te controleren.

Je zit rustig tegenover een tafel waarop een robothand is geplaatst. Concentreer en visualiseer een beweging van je echte hand maar blijf stilzitten. Eerst blijft de robothand rustig, maar ineens starten de mechanische vingers te bewegen…

Mensen zijn altijd gefascineerd geweest voor het menselijk brein. Dit complex orgaan is opgebouwd uit miljarden neuronen die elektrische signalen produceren. Deze elektrische activiteit kan registreerd worden via elektroden. Die elektroden kunnen in de hersenen geïmplanteerd worden of op het hoofd geplaatst zijn. Geïmplanteerde elektroden geven betere signalen maar mensen zijn nog niet bereid voor dergelijke chirurgische ingrepen. De meeste apparaten gebruiken dus elektroden die met een speciale kap op het hoofd geplaatst bevestigd worden. Hiermee is het enkel mogelijk de elektrische signalen van grote groepen van neuronen te registreren. Inderdaad, deze signalen zijn zeer verzwakt door de schedel, huid en haar. Bovendien is het aantal elektroden zeer gering vergeleken met het aantal neuronen. Medische apparaten gebruiken bijvoorbeeld maximum honderden elektroden. Dit is vergelijkbaar met het gebruik van enkele microfoons, geplaatst buiten een kamer om de discussies van duizenden mensen binnen die kamer te registreren.

Daarom is het nodig deze gedigitaliseerde signalen met complexe algoritmen te analyseren. Die algoritmen zijn gebaseerd op AI-technieken. De implementatie van dergelijk leerprogramma is heel moeilijk maar in praktijk is de manier op welke die programma’s leren vergelijkbaar met de manier waarop mensen leren. Ouders kunnen bijvoorbeeld hun kind leren wat het verschil is tussen klein en groot door voorbeelden van beide categorieën te geven. Daarna kan het kind proberen zelf nieuwe dingen in de correcte categorie te classificeren op basis van de gekregen voorbeelden. Het algoritme dat G. Lauwers heeft geïmplementeerd werkt op dezelfde manier. Eerst worden de hersenensignalen die corresponderen met een mentale visualisatie van de grijpbeweging van de hand geregistreerd. Tegelijkertijd moeten de signalen tijdens rusttijden ook geregistreerd worden. Daarvoor moet je een training sessie ondergaan. Op een scherm worden de instructies gegeven om om rustig te blijven en om de grijpbeweging te visualiseren. Het algoritme gebruikt daarna de geregistreerde data om het verschil tussen beide categorieën te begrijpen. Als dit voorbij is kan het algoritme nieuwe data proberen te classificeren. De brein-computer interface is nu klaar om je gedachten in bewegingen van de robothand om te zetten.

Na een training sessie is de brein-computer interface klaar om je gedachten in bewegingen van de robothand om te zetten

De ontwikkelde methode werd eerst getest met openbare data. Inderdaad, bekende onderzoekcentra verstrekken data zodat verschillende algoritmen op dezelfde basis vergeleken kunnen worden. Brein-computer interface wedstrijden zijn zelfs georganiseerd op basis van die data. Nadat gelijkwaardige resultaten werden bereikt, werd de methode van G. Lauwers uitvoerig getest met 23 deelnemers, waarvan er 17 mensen erin geslaagd zijn om de robothand onder controle te krijgen. Controle betekent hier dat in de overgrote deel van de tijd, de robothand de beweging uitvoerde corresponderend met wat de persoon in gedachten had. Soms beweegt de robothand niet hoewel je je hard aan het concentreren bent, en soms beweegt de hand zonder dat je het wil.  Het classificeren van hersenensignalen is inderdaad niet zo gemakkelijk als het classificeren van grootte. In het onderzoek van G. Lauwers was die controle beperkt tot een twee klassen probleem: openen of sluiten. Dat is de kost voor het gebruik van niet geïmplanteerde elektroden en de noodzaak om de trainingstijd voor proefpersonen te beperken onder 30min.

Dit interdisciplinair onderzoekthema werd door de ‘Robotics & MultiBody Research Group’ van de Vrije Universiteit van Brussel en door de ‘Consciousness, Cognition & Computation Group’ van de Université Libre de Bruxelles ondersteund. De eerstgenoemde onderzoekgroep concentreert een grote deel van zijn onderzoekactiviteiten rond prosthesen en exoskeletons. De ontwikkeling van die brein-computer interface is een eerste stap op weg naar gedachtgestuurde prosthesen. In de toekomst zouden dergelijk prosthesen bijvoorbeeld door mensen met een verlamming bediend kunnen worden. De andere onderzoekgroep bestudeert onder andere psychologisch effecten verbonden met de controle van een kunsthand. De ontwikkelde technologie zal verder door de psychologen gebruikt worden voor diepere inzichten in die psychologische effecten zoals het gevoel van lichaamseigenheid. Wat op zijn beurt zal leiden tot de ontwikkeling van beter prosthesen.

Die toepassingen zijn maar een kleine glimp van wat mogelijk zal zijn in de toekomst. De interactie tussen de menselijke hersenen en de computers is inderdaad veelbelovend. De bekende entrepreneur Elon Musk heeft bijvoorbeeld dit jaar een nieuw bedrijf opgericht: Neuralink. De doelstelling van Neuralink is de ontwikkeling van apparaten die in het brein geimplanteerd zouden worden om onze hersenen met een computer te koppelen. Volgens Elon Musk zullen de eerste producten van Neuralink in 2021 op markt zijn.

 

Bibliografie

Al-ani, T., & Trad, D. (2010). Signal processing and classification approaches for brain-computer interface. INTECH Open Access Publisher.

Alimardani, M., Nishio, S., & Ishiguro, H. (2016). Removal of proprioception by bci raises a stronger body ownership illusion in control of a humanlike robot. Scientific Reports, 6.

Ang, K. K., Chin, Z. Y., Wang, C., Guan, C., & Zhang, H. (2012). Filter bank common spatial pattern algorithm on bci competition iv datasets 2a and 2b. Frontiers in Neuroscience, 6.

Ang, K. K., Chin, Z. Y., Zhang, H., & Guan, C. (2008). Filter bank common spatial pattern (fbcsp) in brain-computer interface. In Neural networks, 2008. ijcnn 2008.(ieee world congress on  computational intelligence). ieee international joint conference on (pp. 2390–2397).

Bandura, A. (2006). Toward a psychology of human agency. Perspectives on psychological science, 1(2), 164–180.

Berger, H. (1929). Über das elektrenkephalogramm des  menschen. European Archives of Psychiatry and Clinical Neuroscience, 87(1), 527–570.

Blankertz, B., Blankertz, B., Tomioka, R., Tomioka, R., Lemm, S., Lemm, S., . . . Müller, K.-R. (2008). Optimizing Spatial Filters for Robust EEG Single-Trial Analysis. Ieee Signal Processing Magazine, XX, 1–12. doi: 10.1109/MSP.2008.4408441

Blankertz, B., Lemm, S., Treder, M., Haufe, S., & Müller, K.-R. (2011). Singletrial analysis and classification of erp componentsâa tutorial. NeuroImage, 56(2), 814–825.

Blankertz, B., Müller, K.-R., Krusienski, D. J., Schalk, G., Wolpaw, J. R., Schlögl, A., . . . Birbaumer, N. (2006). The bci competition iii: Validating alternative approaches to actual bci problems. Neural Systems and Rehabilitation Engineering, IEEE  Transactions on, 14(2), 153–159.

Botvinick, M., Cohen, J., et al. (1998). Rubber hands’ feel’touch that eyes see. Nature, 391(6669), 756–756.

Braun, N., Emkes, R., Thorne, J. D., & Debener, S. (2016). Embodied neurofeedback with an anthropomorphic robotic hand. Scientific Reports, 6. 56

Buzsaki, G. (2006). Rhythms of the brain. Oxford University Press. Caspar, E. A., Christensen, J. F., Cleeremans, A., & Haggard, P. (2016). Coercion changes the sense of agency in the human brain. Current biology, 26(5), 585–592.

Caspar, E. A., Cleeremans, A., & Haggard, P. (2015). The  relationship between human agency and embodiment. Consciousness and cognition, 33, 226–236.

Caspar, E. A., De Beir, A., Da, P. A. M. D. S., Yernaux, F., Cleeremans, A., Vanderborght, B., et al. (2014). New frontiers in the rubber hand experiment: when a robotic hand becomes one’s own. Behavior research methods, 1–12.

Cincotti, F., Bianchi, L., Birch, G., Guger, C., Mellinger, J., Scherer, R., . . . Schalk, G. (2006). Bci meeting 2005-workshop on technology: hardware and software. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 14(2), 128–131.

De Beir, A., Caspar, E., Yernaux, F., Da Saldanha da Gama, P. M., Vanderborght, B., & Cleermans, A. (2014). Developing new frontiers in the rubber hand illusion: Design of an open source robotic hand to better understand prosthetics. In Robot and human interactive communication, 2014 ro-man: The 23rd ieee international symposium on (pp. 905–910).

Delorme, A., & Makeig, S. (2004). Eeglab: an open source toolbox for analysis of single-trial eeg dynamics including independent component analysis. Journal of neuroscience methods, 134(1), 9–21.

Durka, P., Kus, R., Zygierewicz, J., Michalska, M., Milanowski, P., Łabecki, M., . . . Kruszynski, M. (2012). User-centered design of brain-computer interfaces: Openbci. pl and bci appliance. Bulletin of the Polish Academy of Sciences: Technical Sciences, 60(3), 427–431.

Evans, N., Gale, S., Schurger, A., & Blanke, O. (2015). Visual Feedback Dominates the Sense of Agency for Brain-Machine Actions. PloS one, 10(6), e0130019. Retrieved from http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0130019 doi: 10.1371/journal.pone.0130019

Fatourechi, M., Bashashati, A., Ward, R. K., & Birch, G. E. (2007). Emg and eog artifacts in brain computer interface systems: A survey. Clinical neurophysiology, 118(3), 480–494.

Gallagher, S. (2000). Philosophical conceptions of the self: implications for cognitive science. Trends in cognitive sciences, 4(1), 14–21.

Grozea, C., Voinescu, C. D., & Fazli, S. (2011). Bristle-sensors low-cost flexible passive dry eeg electrodes for neurofeedback and bci applications. Journal of neural engineering, 8(2), 025008.

Hagemann, D., Naumann, E., & Thayer, J. F. (2001). The quest for the eeg 57 reference revisited: a glance from brain asymmetry research. Psychophysiology, 38(5), 847–857.

Haggard, P., Clark, S., & Kalogeras, J. (2002). Voluntary action and conscious awareness. Nature neuroscience, 5(4), 382.

Hjorth, B. (1975). An on-line transformation of eeg scalp potentials into orthogonal source derivations. Electroencephalography and clinical neurophysiology,
39(5), 526–530.

Kothe, C. A., & Makeig, S. (2013). Bcilab: a platform for brain–computer interface development. Journal of neural engineering, 10(5), 056014.

Leeb, R., Brunner, C., Müller-Putz, G., Schlögl, A., & Pfurtscheller, G. (2008). Bci competition 2008–graz data set b. Graz University of Technology, Austria.

Lopez-Gordo, M., Sanchez-Morillo, D., & Valle, F. P. (2014). Dry eeg electrodes. Sensors, 14(7), 12847–12870.

Lotte, F. (2012). On the need for alternative feedback training approaches for bci. In Berlin brain-computer interface workshop.

Lotte, F., Congedo, M., Lécuyer, A., & Lamarche, F. (2007). A review of classification algorithms for eeg-based brain–computer interfaces. Journal of neural engineering, 4.

Lotte, F., & Jeunet, C. (2015). Towards improved bci based on human learning principles. In Brain-computer interface (bci), 2015 3rd international winter conference on (pp. 1–4).

Moore, J. W. (2016). What is the sense of agency and why does it matter? Frontiers in Psychology, 7.

Müller-Gerking, J., Pfurtscheller, G., & Flyvbjerg, H. (1999). Designing optimal spatial filters for single-trial eeg classification in a movement task. Clinical neurophysiology, 110(5), 787–798.

Nijboer, F., van de Laar, B., Gerritsen, S., Nijholt, A., & Poel, M. (2015). Usability of three electroencephalogram headsets for brain–computer interfaces: a within subject comparison. Interacting with computers, iwv023.

Oostenveld, R., Fries, P., Maris, E., & Schoffelen, J.-M. (2011). Fieldtrip: open source software for advanced analysis of meg, eeg, and invasive electrophysiological data. Computational intelligence and neuroscience, 2011, 1.

Pfurtscheller, G., & Da Silva, F. L. (1999). Event-related eeg/meg synchronization and desynchronization: basic principles. Clinical neurophysiology, 110(11), 1842–1857.

Pineda, J. A., Allison, B., & Vankov, A. (2000). The effects of self-movement, observation, and imagination on/spl mu/rhythms and readiness potentials (rp’s): toward a brain-computer interface (bci). IEEE Transactions on Rehabilitation Engineering, 8(2), 219–222. 58

Renard, Y., Lotte, F., Gibert, G., Congedo, M., Maby, E., Delannoy, V., . . . Lécuyer, A. (2010). Openvibe: An open-source software platform to design, test, and use brain–computer interfaces in real and virtual environments. Presence: teleoperators and virtual environments, 19(1), 35–53.

Schlögl, A., & Brunner, C. (2008). Biosig: a free and open source software library for bci research. Computer, 41(10).

Schlogl, A., Kronegg, J., Huggins, J., & Mason, S. (2007). 19 evaluation criteria for bci research. Toward brain-computer interfacing.

Shimada, S., Fukuda, K., & Hiraki, K. (2009). Rubber hand illusion under delayed visual feedback. PloS one, 4(7), e6185.

Subha, D. P., Joseph, P. K., Acharya, R., & Lim, C. M. (2010). Eeg signal analysis: a survey. Journal of medical systems, 34(2), 195–212.

Suryotrisongko, H., & Samopa, F. (2015). Evaluating openbci spiderclaw v1 headwear’s electrodes placements for brain-computer interface (bci) motor imagery application. Procedia Computer Science, 72, 398–405.

Tangermann, M., Müller, K.-R., Aertsen, A., Birbaumer, N., Braun, C., Brunner, C., . . . others (2012). Review of the bci competition iv. Frontiers in neuroscience, 6.

Tomioka, R., Dornhege, G., Nolte, G., Blankertz, B., Aihara, K., & Müller, K.-R. (2006). Spectrally weighted common spatial pattern algorithm for single trial eeg classification. Dept. Math. Eng., Univ. Tokyo, Tokyo, Japan, Tech. Rep, 40.

Tompkins, W. J. (1993). Biomedical digital signal processing. Editorial Prentice Hall.

Vaughan, T. M., Heetderks, W., Trejo, L., Rymer, W., Weinrich, M., Moore, M., . . . others (2003). Brain-computer interface technology: a review of the second international meeting.

Vaughan, T. M., & Wolpaw, J. R. (2011). Special issue containing contributions from the fourth international brain–computer interface meeting. Journal of neural engineering, 8(2), 020201.

Wolpaw, J. R., Birbaumer, N., Heetderks, W. J., McFarland, D. J., Peckham, P. H., Schalk, G., . . . others (2000). Brain-computer interface technology: a review of the first international meeting. IEEE transactions on rehabilitation engineering, 8(2), 164–173.

Universiteit of Hogeschool
Electro-mechanical Engineering - option Mechatronics-Construction
Publicatiejaar
2017
Promotor(en)
Prof. Dr. Ir. Bram Vanderborght; Prof. Dr. Ir. Dirk Lefeber
Kernwoorden
Share this on: