Single Trial Classification for Mobile BCI: a Multiway Kernel Approach
H2 { margin-bottom: 0.21cm; }H2.western { font-family: "Arial",sans-serif; font-size: 14pt; font-style: italic; }H2.cjk { font-family: "Droid Sans Fallback"; font-size: 14pt; font-style: italic; }H2.ctl { font-family: "Lohit Hindi"; font-size: 14pt; font-style: italic; }H1 { margin-bottom: 0.21cm; }H1.western { font-family: "Arial",sans-serif; font-size: 16pt; }H1.cjk { font-family: "Droid Sans Fallback"; font-size: 16pt; }H1.ctl { font-family: "Lohit Hindi"; font-size: 16pt; }P { margin-bottom: 0.21cm; }
Brein en computer: een perfecte match?
Stel u voor: bij een doktersbezoek krijgt u te horen dat u aan een ziekte lijdt waarbij uw spieren langzaam afsterven. Of: een auto-ongeluk kluistert u in gedeeltelijk verlamde toestand aan uw bed. Toch, uw wil om te bewegen en te communiceren is niet verdwenen – in gedachten kan u zelfs alles nog. Kan een computersysteem hierbij helpen?
Hersenactiviteit meten
De hersenen kunnen beschouwd worden als een netwerk van verbindingen, georganiseerd in verschillende functionele gebieden. Hersenactiviteit creëert een elektrische spanning tussen die gebieden en zelfs tussen individuele hersencellen. Door die spanningen te meten, kunnen we dus een idee krijgen van wat er zich in de hersenen afspeelt. Vaak gebruikt men hiervoor EEG (elektro-encefalografie), waarbij elektrodes op de schedel worden geplaatst voor een ruwe meting van de elektrische signalen. De bedrading van de elektroden naar de computer maakt het systeem echter onhandig om te gebruiken, zeker als de gebruiker nog tot bewegen in staat is. Daarom is het beter een draadloos systeem te gebruiken. Onderzoek toont aan dat het dan moeilijker is om signalen van goede kwaliteit te krijgen, maar deze studie bevestigt dat de kwaliteit toch vergelijkbaar kan zijn indien de juiste hardware en gegevensverwerking gebruikt worden.
Een brein-computerinterface
Activiteit kunnen meten volstaat uiteraard niet. De computer en de hersenen hebben ook een gemeenschappelijke taal nodig, die samen met de hardware de zogenaamde interface vormt. Deze studie gebruikt daarom een tristimulus oddball paradigma. Hierbij krijgt de gebruiker drie tonen met verschillende toonhoogte voorgeschoteld. De hoofdtoon wordt zeer regelmatig weergegeven, een keer per seconde. Af en toe wordt ze echter willekeurig vervangen door een van de andere twee tonen. Als de gebruiker dus een van die twee hoort, is dat een onverwachte en zeldzame gebeurtenis. Bij zo'n gebeurtenis reageren de hersenen op een heel specifieke manier, die men de P300 noemt. Het is immers een Positieve verandering van de spanning ongeveer 300ms na het horen van de stimulus.
Dit verschijnsel treedt op bij beide zeldzame stimuli. Het is een nuttige vaststelling dat de grootte van het effect afhankelijk is van de aandacht van de gebruiker. Met andere woorden: de gebruiker kan kiezen welk effect het grootst is door zich te concentreren op die bepaalde toonhoogte.
De figuur toont dit verschijnsel heel duidelijk. De reactie van de hersenen is normaal gezien heel zwak doordat ook andere hersenactiviteit tegelijk wordt gemeten. In extreme gevallen zoals tijdens het knipperen met de ogen is de P300 soms zelfs niet te zien door de signaalverstoring. Praktische toepassingen die al bestaan baseren zich daarom meestal niet op een enkele poging van de gebruiker om een toon te selecteren (een single trial). In plaats daarvan identificeert men de keuze via het gemiddelde signaal over een aantal pogingen. Niet-relevante activiteit is bij iedere single trial verschillend en wordt daardoor afgevlakt, terwijl de P300 steeds aanwezig is en dus versterkt wordt. Deze studie toont aan dat werken met single trials toch mogelijk is. Het grote voordeel hierbij is dat er een snellere keuze mogelijk is: bij een gemiddelde moet men immers meerdere keren dezelfde selectie maken voor een keuze.
Hersensignalen zijn gestructureerd
De gemeten spanningen variëren niet willekeurig. In de eerste plaats hebben ze een logisch tijdsverloop. We weten bijvoorbeeld dat de P300 ongeveer 300ms na de stimulus optreedt en minder dan 500ms duurt. De spanning heeft dus een tijdsstructuur zodat we ze niet continu moeten bekijken, maar ons kunnen beperken tot het regelmatig opmeten rond het moment van de P300. Doordat we meten met een frequentie van 128Hz en een venster van 1s gebruiken, verkrijgen we voor elke mogelijke keuze een rij van 128 getallen, die men een vector noemt.
Er is ook een ruimtelijke structuur omdat we meerdere elektrodes gebruiken. Sommige hersendelen produceren een sterkere reactie dan andere. Dit leidt tot een sterkere P300 in alle elektrodes die daar in de buurt zitten en een minder duidelijke P300 verder weg. Deze structuur is moeilijk te tonen met vectoren, we gebruiken hiervoor getallenroosters (matrices) of zelfs getallenkubussen (tensors). In deze studie gebruiken we verschillende soorten vectoren en tensors om de tijds- en ruimtestructuur van de data vast te leggen en we bepalen welke de effectiefste is.
Hoe herkent de computer de keuze van de gebruiker?
Dus, de gebruiker is aangesloten via elektrodes. De computer krijgt de opgemeten reacties op een zeldzame toon aangeboden als een vector of tensor en moet beslissen of de gebruiker zich daarop concentreerde of niet.
Een dergelijk probleem wordt aangepakt met Machine Learning. Het principe is gelijkaardig aan de manier waarop mensen types objecten herkennen: met genoeg voorbeelden weten we hoe iets eruit ziet. Nieuwe objecten kunnen we daarna herkennen doordat ze lijken op wat we al kennen.
Een van de cruciale punten is dus de keuze van een maat voor de gelijkaardigheid van de vectoren of tensors, een zogenaamde kernel. Afstand is een eenvoudig voorbeeld: twee punten lijken op elkaar als ze dicht bij elkaar liggen. Vooral bij tensors is het echter minder eenvoudig te zeggen wanneer ze op elkaar lijken. Deze studie test daarom een kernel die een abstractere vorm van wiskundige gelijkenis definieert tussen tensors om te bepalen of dit voordeliger is dan het gebruik van een eenvoudige gelijkenis van vectoren.
Waarvoor dient dit nu?
Een brein-computerinterface heeft vele toepassingen. We kunnen ze inzetten voor het spellen van woorden of het bewegen van een muiscursor bij mensen die lijden aan spierziektes (bv ALS) of verlamming. Een ander voorbeeld van ondersteunend gebruik is het aansturen van een gemotoriseerde rolstoel.
Daarnaast zijn er nog tal van andere mogelijkheden, met name in de entertainmentindustrie: spelen als Pong en zelfs World of Warcraft zijn al met de hersenen aangestuurd.
Een quasi-symbiose van mens en computer zullen we nog niet meteen morgen over straat zien wandelen. Toch kan het gebruik van draadloze EEG voor single trials, gecombineerd met gestructureerde datavoorstellingen en kernels, de kloof tussen het brein en de machine alweer een stapje kleiner maken. Is dit een wonderbaarlijke of net een angstaanjagende vaststelling? De keuze is aan u.
Bibliografie
[Alhaddad et al., 2012] Alhaddad, M. J., Kamel, M., Malibary, H., Thabit, K., Dahlwi, F., and Hadi, A. (2012). P300 Speller Efficiency with Common Average Reference. In Proceedings of the 3rd International Conference on Autonomous and Intelligent Systems, AIS’12, pages 234–241. Springer-Verlag.
[Allison and Neuper, 2010] Allison, B. Z. and Neuper, C. (2010). Could anyone use a BCI? In Brain-Computer Interfaces: Applying our Minds to Human-Computer Interaction, chapter 3. Springer.
[Benyon, 2010] Benyon, D. (2010). Designing Interactive Systems. Peason Education Ltd, 2nd edition.
[Brouwer and Van Erp, 2010] Brouwer, A.-M. and Van Erp, J. B. F. (2010). A tactile P300 brain-computer interface. Frontiers in Neuroscience, 4(19).
[Bufalari et al., 2007] Bufalari, S., Cincotti, F., Babiloni, F., Giuliani, L., Marciani, M., and Mattia, D. (2007). EEG patterns during motor imagery based volitional control of a brain computer interface. International Journal of Bioelectromagnetism, 9(4):214–219.
[Chen et al., 2011] Chen, M., Guan, J., and Liu, H. (2011). Enabling Fast Brain-Computer Interaction by Single-Trial Extraction of Visual Evoked Potentials. Journal of Medical Systems, 35(5):1323–1331.
[Cincotti et al., 2008] Cincotti, F., Mattia, D., Aloise, F., Bufalari, S., Schalk, G., Oriolo, G., Cherubini, A., Marciani, M. G., and Babiloni, F. (2008). Non-invasive brain-computer interface system: Towards its application as assistive technology. Brain Research Bulletin, (75):796–803.
[Clausen, 2009] Clausen, J. (2009). Man, machine and in between. Nature, 457(7233):1080–1081.
[Craelius, 2002] Craelius, W. (2002). The bionic man: restoring mobility. Science, 295(5557):1018–21.
[Cristianini et al., 2002] Cristianini, N., Kandola, J., Elisseeff, A., and Shawe-Taylor, J. (2002). On kernel-target alignment. In Advances in Neural Information Processing Systems 14, pages 367–373. MIT Press.
[Daly et al., 2010] Daly, I., Williams, N., Nasuto, S. J., Warwick, K., and Saddy, D. (2010). Single Trial BCI Operation via Wackermann Parameters. In Proceedings of the Machine Learning Signal processing conference, pages 409–415.
[De Clercq et al., 2006] De Clercq, W., Vergult, A., Vanrumste, B., Van Paesschen, W., and Van Huffel, S. (2006). Canonical Correlation Analysis Applied to Remove Muscle Artifacts from the Electroencephalogram. IEEE Transactions on Biomededical Engineering, 53(12):2583–2587.
[De Vos et al., 2013a] De Vos, M., Gandras, K., and Debener, S. (2013a). Towards a truly mobile auditory brain-computer interface: Exploring the P300 to take away. International Journal of Psychophysiology.
[De Vos et al., 2013b] De Vos, M., Kroesen, M., Emkes, R., and Debener, S. (2013b). P300 spelling with a small, wireless and mobile EEG amplifier: comparing performance to a traditional lab amplifier. Technical report, ESAT-SISTA, KULeuven.
[Debener et al., 2012] Debener, S., Minow, F., Emkes, R., Gandras, K., and De Vos, M. (2012). How about taking a low-cost, small, and wireless EEG for a walk? Psychophysiology, 49(11):1617–1621.
[Delorme and Makeig, 2004] Delorme, A. and Makeig, S. (2004). EEGLAB: An open source toolbox for analysis of single-trial EEG dynamics including independent component analysis. Journal of Neuroscience Methods, 134(1):9–21.
[Dupont, 2012] Dupont, P. (2012). INGI2262: Support Vector Machines. Lecture notes of the UCL course ‘Machine Learning: Classification and Evaluation’.
[Elbert et al., 1980] Elbert, T., Rockstroh, B., Lutzenberger, W., and Birbaumer, N. (1980). Biofeedback of slow cortical potentials. I. Electroencephalography and Clinical Neurophysiology, 48(3):293–301.
[Farwell and Donchin, 1988] Farwell, L. A. and Donchin, E. (1988). Talking off the top of your head: Toward a mental prosthesis utilizing event-related brain potentials. Electroencephalography and Clinical Neurophysiology, 70:510–523.
[Gabor, 1946] Gabor, D. (1946). Theory of Communication. Journal of the Institution of Electrical Engineers, 93(26):429–457.
[Gargiulo et al., 2008] Gargiulo, G., Bifulco, P., Calvo, R. A., Cesarelli, M., Jin, C. T., and van Schaik, A. (2008). A mobile EEG system with dry electrodes. Biomedical Circuits and Systems Conference, pages 273–276.
[Graimann et al., 2010] Graimann, B., Allison, B., and Pfurtscheller, G. (2010). Brain-Computer Interfaces: A Gentle Introduction. In BRAIN-COMPUTER INTERFACES: Revolutionizing Human-Computer Interaction, chapter 1. Springer.
[Halder et al., 2010] Halder, S., Rea, M., Andreoni, R., Nijboer, F., Hammer, E. M., Kleih, S. C., Birbaumer, N., and Kuebler, A. (2010). An auditory oddball brain-computer interface for binary choices. Clinical Neurophysiology, 121:516–523.
[Hansen and Jensen, 1998] Hansen, P. C. and Jensen, S. H. (1998). FIR filter representations of reduced-rank noise reduction. IEEE Transactions on Signal Processing, 46(6):1737–1741.
[Haselager et al., 2009] Haselager, P., Vlek, R., Hill, J., and Nijboer, F. (2009). A note on ethical aspects of BCI. Neural Networks, 22(9):1352–1357.
[Hunyadi et al., 2013] Hunyadi, B., Signoretto, M., Debener, S., Huffel, S. V., and Vos, M. D. (2013). Classification of structured EEG Tensors using Nuclear Norm Regularization: Improving P300 Classification. In International Workshop on Pattern Recognition in Neuroimaging (PRNI), pages 98–101. IEEE.
[Huysmans, 2013] Huysmans, L. (2013). Improving single-trial classification in mobile bci. Master’s thesis, KU Leuven.
[Hyvärinen and Oja, 2000] Hyvärinen, A. and Oja, E. (2000). Independent Component Analysis: Algorithms and Applications. Neural Networks, 13(4-5):411–430.
[Jackson and Mappus, 2010] Jackson, M. M. and Mappus, R. (2010). Applications for Brain-Computer Interfaces. In Brain-Computer Interfaces: Applying our Minds to Human-Computer Interaction, chapter 1. Springer.
[Kaufmann et al., 2013] Kaufmann, T., Herweg, A., and Kübler, A. (2013). Tactually-evoked event-related potentials for BCI-based wheelchair control in a virtual environment. In Proceedings of the Fifth International Brain Computer Interface Meeting.
[Krusienski and Schalk, 2004] Krusienski, D. and Schalk, G. (2004). Wadsworth BCI dataset (P300 evoked potentials). BCI Competition III Challenge https://www.bbci.de/competition/iii/#data_set_ii, last visited Februari 7, 2014.
[Kuhn and Tucker, 1950] Kuhn, H. W. and Tucker, A. W. (1950). Nonlinear Programming. In Neyman, J., editor, Proceedings of the 2nd Berkeley Symposium on Mathematical Statistics and Probability, pages 481–492. University of California Press, Berkeley, CA, USA.
[Li and Zhang, 2010] Li, J. and Zhang, L. (2010). Regularized tensor discriminant analysis for single trial EEG classification in BCI. Pattern Recognition Letters, 31:619–628.
[Liu and Motoda, 2008] Liu, H. and Motoda, H., editors (2008). Computational Methods of Feature Selection. Chapman & Hall.
[Liu et al., 2013] Liu, N.-H., Chiang, C.-Y., and Hsu, H.-M. (2013). Improving Driver Alertness through Music Selection using a Mobile EEG to Detect Brainwaves. Sensors, 13(7):8199–8221.
[Lotte et al., 2007] Lotte, F., Congedo, M., Lécuyer, A., Lamarche, F., and Arnaldi, B. (2007). A review of classification algorithms for EEG-based brain-computer interfaces. Journal of Neural Engineering, 4.
[Mainsah et al., 2013] Mainsah, B. O., Collins, L. M., Colwell, K., and Throckmorton, C. S. (2013). Improving Dynamic Data Collection in P300 Spellers with a Language Model. In Proceedings of the Fifth International Brain Computer Interface Meeting.
[Mallat and Zhang, 1993] Mallat, S. and Zhang, Z. (1993). Matching Pursuit with Time-Frequency Dictionaries. IEEE Transactions on Signal Processing, 41:3397–3415.
[Müller-Putz et al., 2005] Müller-Putz, G. R., Scherer, R., Brauneis, C., and Pfurtscheller, G. (2005). Steady-state visual evoked potential (ssvep)-based communication: impact of harmonic frequency components. Journal of Neural Engineering, 2(4).
[Nasehi and Pourghassem, 2011a] Nasehi, S. and Pourghassem, H. (2011a). A new Feature Dimensionally Reduction Approach Based on General Tensor Discriminant Analysis in EEG Signal Classification. International Conference on Intelligent Computation and Bio-Medical Instrumentation, 0:188–191.
[Nasehi and Pourghassem, 2011b] Nasehi, S. and Pourghassem, H. (2011b). Real-Time Seizure Detection based on EEG and ECG Fused Features using Gabor Functions. International Conference on Intelligent Computation and Bio-Medical Instrumentation, 0:204–207.
[Nijboer and Broermann, 2010] Nijboer, F. and Broermann, U. (2010). Brain-Computer Interfaces for Communication and Control in Locked-in Patients. In BRAIN-COMPUTER INTERFACES: Revolutionizing Human-Computer Interaction, chapter 11. Springer.
[Onishi et al., 2012] Onishi, A., Phan, A. H., Matsuoka, K., and Cichocki, A. (2012).Tensor classification for P300-based brain computer interface. In ICASSP, pages 581–584. IEEE.
[Owen et al., 2006] Owen, A. M., Coleman, M. R., Boly, M., Davis, M. H., Laureys, S., and Pickard, J. D. (2006). Detecting Awareness in the Vegetative State. Science, 313(5792):1402.
[Phan and Cichocki, 2010] Phan, A. and Cichocki, A. (2010). Tensor Decompositions for Feature Extraction and Classification of High Dimensional Datasets. Nonlinear Theory and Its Applications, IEICE, 1:37–68.
[Purves et al., 2004] Purves, D., Augustine, G. J., Fitzpatrick, D., Hall, W. C., La Mantia, A.-S., McNamara, J. O., and Williams, S. M., editors (2004). Neuroscience. inauer Associates Inc., 3rd edition.
[Scherer et al., 2012] Scherer, R., Proll, M., Allison, B., and Muller-Putz, G. R. (2012). New Input Modalities for Modern Game Design and Virtual Embodiment. In Proceedings of the 2012 IEEE Virtual Reality, VR ’12, pages 163–164. IEEE Computer Society.
[Schettini et al., 2013] Schettini, F., Riccio, A., Simione, L., Liberati, G., Caruso, M., Calabrese, B., Ielpo, N., Palumbo, A., Frasca, V., Mecella, M., Amato, F., Pizzimenti, A., Inghilleri, M., Mattia, D., and Cincotti, F. (2013). The Brindisys Project: Brain Computer Interfaces as Assistive Technology for People with ALS. In Proceedings of the Fifth International Brain Computer Interface Meeting.
[Signoretto, 2011] Signoretto, M. (2011). Kernels and Tensors for Structured Data Modelling. PhD thesis, KULeuven.
[Signoretto et al., 2011] Signoretto, M., Lathauwer, L. D., and Suykens, J. A. (2011). A kernel-based framework to tensorial data analysis. Neural Networks, 24(8):861–874.
[Signoretto et al., 2012] Signoretto, M., Olivetti, E., Lathauwer, L. D., and Suykens, J. A. K. (2012). Classification of Multichannel Signals with Cumulant-based Kernels. IEEE Transactions on Signal Processing, 60(5):2304–2314.
[Soussou and Berger, 2008] Soussou, W. V. and Berger, T. W. (2008). Cognitive and Emotional Neuroprostheses. In Brain-Computer Interfaces: An International Assessment of Research and Development Trends, chapter 8. Springer.
[Suykens and Vandewalle, 1999] Suykens, J. A. K. and Vandewalle, J. (1999). Least Squares Support Vector Machine Classifiers. Neural Process. Lett., 9(3):293–300.
[Swinnen, 2013] Swinnen, W. (2013). Improving single-trial classification in mobile BCI: learning from multi-way arrays. Master’s thesis, KU Leuven.
[Tamburrini, 2009] Tamburrini, G. (2009). Brain to Computer Communication: Ethical Perspectives on Interaction Models. Neuroethics, 2(3):137–149.
[Tan and Nijholt, 2010] Tan, D. and Nijholt, A. (2010). Brain-Computer Interfaces and Human-Computer Interaction. In Brain-Computer Interfaces: Applying our Minds to Human-Computer Interaction, chapter 1. Springer.
[Thurlings et al., 2010] Thurlings, M. E., van Erp, J. B. F., Brouwer, A.-M., and Werkhoven, P. J. (2010). EEG-based Navigation from a Human Factors Perspective. In Brain-Computer Interfaces: Applying our Minds to Human-Computer Interaction, chapter 5. Springer.
[Vapnik, 1995] Vapnik, V. N. (1995). The Nature of Statistical Learning Theory. Springer-Verlag New York, Inc.
[Viola et al., 2009] Viola, F. C., Thorne, J., Edmonds, B., Schneider, T., Eichele, T., and Debener, S. (2009). Semi-automatic identification of independent components representing EEG artifact. Clinical Neurophysiology, 120(5):868 – 877.
[Wexler and Raz, 1990] Wexler, J. and Raz, S. (1990). Discrete Gabor Expansions. Signal Processing, 21(3):207–220.
[Wolpaw et al., 2002] Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., and Vaughan, T. M. (2002). Brain-computer interfaces for communication and control. Clinical Neurophysiology, 113(6):767–791.
[Xia et al., 2013] Xia, B., Yang, J., and Cheng, C. (2013). A Motor Imagery Based Asynchronous BCI Speller. In Proceedings of the Fifth International Brain Computer Interface Meeting.
[Zhao et al., 2013] Zhao, Q., Zhou, G., Adali, T., Zhang, L., and Cichocki, A. (2013). Kernelization of Tensor-Based Models for Multiway Data Analysis. IEEE Signal Processing Magazine, 30(4):137–148.
[Zou et al., 2007] Zou, K. H., O’Malley, A. J., and Mauri, L. (2007). Receiver-Operating Characteristic Analysis for Evaluating Diagnostic Tests and Predictive Models. 115.
