Luistert de volgende wearable naar onze hersenen?
Beeldt u zich eens in dat u dingen kan besturen met uw gedachten. Misschien kan dit in de toekomst wel met een wearable die u op uw hoofd draagt en naar uw hersenen luistert om te bepalen wat u wil doen. Voor velen misschien een leuk nieuw gadget, maar voor mensen die verlamd raakten na een wervelletsel zou het veel kunnen betekenen op het vlak van zelfstandigheid. In mijn masterproef onderzocht ik daarom of nieuwe, slimme algoritmes dit mogelijk kunnen maken.
Computers leren luisteren naar ons brein
Na een letsel aan de wervelkolom bestaat de kans dat er verlamming optreedt. Afhankelijk van de plaats van het letsel, is het voor de patiënt niet meer mogelijk om zelfstandig te bewegen, of zelfs te spreken. Nochtans is bij deze patiënten vaak de hersenfunctie die deze spieren aanstuurt nog intact.
Door elektrodes op het hoofd te plaatsen kunnen de signalen die onze hersenen produceren worden opgevangen – zoals bij een antenne – en vervolgens worden omgezet in elektrische signalen. Deze techniek noemen we elektro-encefalografie of kortweg EEG.
Elk van onze ledematen wordt bestuurd door een bepaald deel van onze hersenen. Wanneer we met een lidmaat aan de ene kant van ons lichaam een beweging maken of ons inbeelden dat we die zullen maken, worden de breinsignalen van de overeenkomstige hersenregio aan de tegenovergestelde kant zwakker, terwijl die aan dezelfde kant sterker worden. Een computer kan leren om deze patronen te herkennen in de opgenomen breinsignalen en zo een voorspelling te maken over met welke kant de patiënt de beweging (ingebeeld) maakte, bijvoorbeeld een linker- of rechterhandbeweging. Zulk computersysteem noemen we een brein-computer interface.
Hoewel bij wervelletselpatiënten bepaalde spieren niet meer verbonden zijn met de hersenen, is de hersenfunctie vaak onbeschadigd en kan een brein-computerinterface bij hen worden ingezet voor het besturen van bijvoorbeeld een rolstoel of spraakcomputer. Hierdoor krijgt de patiënt opnieuw een deel van diens zelfstandigheid terug.
Van het lab naar het dagelijkse leven
Meestal worden de EEG-elektrodes vastgemaakt aan een muts die ervoor zorgt dat ze op de juiste plek blijven zitten. Maar deze muts is zeer oncomfortabel en moet bovendien geregeld opnieuw worden geplaatst om de kwaliteit van de signalen optimaal te houden. Dit maakt deze aanpak ongeschikt voor de toepassing hierboven beschreven, waarin de gebruiker het apparaat voor langere tijd draagt.
Het vastmaken van de elektrodes aan een muts zorgt ervoor dat die steeds op de juiste plaats blijven zitten (foto: Chris Hope, CC BY 2.0, via Wikimedia Commons)
Wetenschappers hebben daarom een alternatieve aanpak voorgesteld waarin er gebruik wordt gemaakt van een draadloos netwerk van kleine sensormodules die bijvoorbeeld op het hoofd van de patiënt kunnen worden geplakt doordat ze zo licht zijn. Elke module beschikt dan over een aantal EEG-elektrodes en kan draadloos communiceren met de andere modules in het netwerk.
Om de hierboven beschreven patronen in onze hersensignalen te kunnen herkennen, moeten er signalen worden opgenomen van verschillende delen van onze hersenen en met elkaar worden vergeleken. Daarom moeten er meerdere sensormodules worden geplaatst, verspreid over het hoofd van de patiënt, en moeten de modules hun signalen doorsturen naar elkaar zodat deze kunnen worden vergeleken.
Deze signalen worden echter sterk gedempt door het hoofd, waardoor deze communicatie erg energieverslindend is. Verder is om de modules zo klein mogelijk te houden, ook de batterijcapaciteit beperkt. De benodigde communicatie tussen de modules gebruikt dan ook teveel energie om een redelijke batterijduur te hebben.
Daarom ontwikkelde ik in mijn masterproef een systeem om de hersensignalen te interpreteren met zo’n draadloos netwerk waarbij de modules samenwerken door middel van slimme algoritmes. Ik onderzocht ook of dat dan de voorgestelde aanpak mogelijk zou kunnen maken en welke performance er dan verwacht kan worden van zulke systemen. Er werd daarbij gekeken naar twee performance-aspecten: de accuraatheid van de voorspellingen en de energieconsumptie. Beide zijn cruciale factoren die bepalen of het systeem praktisch haalbaar is.
Methodes
Om een inschatting te kunnen maken van de energieconsumptie, ontwikkelde ik wiskundige modellen. Die modellen geven op basis van enkele parameters zoals o.a. het aantal modules en het aantal elektrodes per module, een wiskundige benadering van de werkelijke energieconsumptie.
Om de accuraatheid te bepalen, werd data van een EEG-sensornetwerk geëmuleerd op basis van traditionele EEG-data die eerder werd opgenomen bij proefpersonen. Dit wordt dan gebruikt in het ontwikkelde systeem waarna de accuraatheid van de resulterende voorspellingen wordt bepaald.
Resultaten
Met deze methodes werd vervolgens de energieconsumptie en accuraatheid bepaald van netwerken met verschillende groottes, waarbij de grootte bepaald is door het aantal modules. Hieruit bleek dat een relatief klein netwerk de beste accuraatheid behaalde. Dat is enerzijds goed nieuws, want zo moeten er minder modules bevestigd worden en is het systeem dus makkelijker en comfortabeler in gebruik.
Anderzijds bleek echter wel uit de experimenten dat voor kleine netwerken, de onderlinge communicatie die nodig is voor de samenwerking tussen de modules, de voordelen van de slimme algoritmes teniet deed wat betreft de energieconsumptie. De slimme algoritmes leverden voor deze toepassing dan ook geen verbetering op in energieverbruik ten opzichte van het eenvoudige algoritme. Uit dit onderzoek blijkt dat om het gebruik van een EEG-sensornetwerk mogelijk te maken voor deze toepassing, de focus in de toekomst zal moeten gelegd worden op het ontwikkelen van eenvoudigere algoritmes. De modellen en systemen die ontwikkeld werden in deze masterproef kunnen dan opnieuw worden gebruikt om die nieuwe, simpelere algoritmen te evalueren.
Bij experimenten op grotere netwerken, zijn de voordelen wel duidelijk zichtbaar. De slimme algoritmes die gebruikt werden, blijken dus ideaal voor toepassingen die gebruik maken van zulke grotere netwerken, zoals bijvoorbeeld voor het monitoren van epilepsiepatiënten ter voorbereiding op een operatie. Dat zou het voor de patiënt comfortabeler maken en bovendien toelaten om monitoring bij de patiënt thuis mogelijk te maken.
Zowel voor toepassingen met kleine als grote netwerken hebben EEG-sensornetwerken nog veel potentieel. Verder onderzoek is echter nog nodig voordat deze systemen een realiteit kunnen worden, waartoe de modellen en systemen uit deze masterproef een basis kunnen vormen.
Bibliografie
[1] A. Berk, C. A. Kaiser, H. Lodish, A. Amon, H. Ploegh, A. Bretscher, M. Krieger,
and K. C. Martin, “Ch. 22: Cells of the Nervous System,” in Molecular Cell
Biology. Macmillan Learning, Apr. 2016, pp. 1025–1077.
[2] G. L. Holmes and R. Khazipov, “Basic Neurophysiology and the Cortical Basis
of EEG,” in The Clinical Neurophysiology Primer, A. S. Blum and S. B. Rutkove,
Eds. Totowa, NJ: Humana Press, 2007, pp. 19–33.
[3] BruceBlaus, “An illustration depicting a neuron.” Jun. 2017.
[4] T. Sheerman-Chase, “EEG Brain Scan,” Oct. 2012.
[5] B. Blankertz, R. Tomioka, S. Lemm, M. Kawanabe, and K.-r. Muller, “Optimizing
Spatial filters for Robust EEG Single-Trial Analysis,” IEEE Signal
Processing Magazine, vol. 25, no. 1, pp. 41–56, 2008.
[6] R. Tomioka, J. Hill, B. Blankertz, and K. Aihara, “Adapting Spatial Filtering
Methods for Nonstationary BCIs,” in 2006 Workshop on Information-Based
Induction Sciences (IBIS2006), Osaka, Japan, Nov. 2006, p. 6.
[7] S. Sun and C. Zhang, “Adaptive feature extraction for EEG signal classification,”
Medical & Biological Engineering & Computing, vol. 44, no. 10, pp. 931–935,
Oct. 2006.
[8] P. Shenoy, M. Krauledat, B. Blankertz, R. P. N. Rao, and K.-R. Müller, “Towards
adaptive classification for BCI,” Journal of Neural Engineering, vol. 3, no. 1,
pp. R13–R23, Mar. 2006.
[9] J. R. Wolpaw and C. B. Boulay, “Brain Signals for Brain–Computer Interfaces,”
in Brain-Computer Interfaces: Revolutionizing Human-Computer Interaction,
ser. The Frontiers Collection, B. Graimann, G. Pfurtscheller, and B. Allison,
Eds. Berlin, Heidelberg: Springer, 2010, pp. 29–46.
[10] B. Graimann, B. Allison, and G. Pfurtscheller, Eds., Brain-Computer Interfaces:
Revolutionizing Human-Computer Interaction, ser. The Frontiers Collection.
Berlin Heidelberg: Springer-Verlag, 2010.
[11] G. Pfurtscheller and C. Neuper, “Dynamics of Sensorimotor Oscillations in a
Motor Task,” in Brain-Computer Interfaces: Revolutionizing Human-Computer
Interaction, ser. The Frontiers Collection, B. Graimann, G. Pfurtscheller, and
B. Allison, Eds. Berlin, Heidelberg: Springer, 2010, pp. 47–64.
[12] B. Blankertz, M. Tangermann, C. Vidaurre, T. Dickhaus, C. Sannelli, F. Popescu,
S. Fazli, M. Danóczy, G. Curio, and K.-R. Müller, “Detecting Mental States
by Machine Learning Techniques: The Berlin Brain–Computer Interface,” in
Brain-Computer Interfaces: Revolutionizing Human-Computer Interaction, ser.
The Frontiers Collection, B. Graimann, G. Pfurtscheller, and B. Allison, Eds.
Berlin, Heidelberg: Springer, 2010, pp. 113–135.
[13] J. R. Wolpaw, N. Birbaumer, D. J. McFarland, G. Pfurtscheller, and T. M.
Vaughan, “Brain–computer interfaces for communication and control,” Clinical
Neurophysiology, p. 25, 2002.
[14] A. Bertrand, “Distributed Signal Processing for Wireless EEG Sensor Networks,”
IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 23,
no. 6, pp. 923–935, Nov. 2015.
[15] A. Tiwari and A. Chaturvedi, “A Novel Channel Selection Method for BCI
Classification Using Dynamic Channel Relevance,” IEEE Access, vol. 9, pp.
126 698–126 716, 2021.
[16] A. M. Narayanan and A. Bertrand, “Analysis of Miniaturization Effects and
Channel Selection Strategies for EEG Sensor Networks With Application to
Auditory Attention Detection,” IEEE Transactions on Biomedical Engineering,
vol. 67, no. 1, pp. 234–244, Jan. 2020.
[17] A. Mundanad Narayanan, R. Zink, and A. Bertrand, “EEG miniaturization
limits for stimulus decoding with EEG sensor networks,” Journal of Neural
Engineering, vol. 18, no. 5, p. 056042, Oct. 2021.
[18] J. Dan, S. Geirnaert, and A. Bertrand, “Grouped variable selection for generalized
eigenvalue problems,” Signal Processing, vol. 195, p. 108476, Jun. 2022.
[19] T. Alotaiby, F. E. A. El-Samie, S. A. Alshebeili, and I. Ahmad, “A review of
channel selection algorithms for EEG signal processing,” EURASIP Journal on
Advances in Signal Processing, vol. 2015, no. 1, p. 66, Aug. 2015.
[20] A. Bertrand and M. Moonen, “Distributed adaptive generalized eigenvector
estimation of a sensor signal covariance matrix pair in a fully connected sensor
network,” Signal Processing, vol. 106, pp. 209–214, Jan. 2015.
[21] C. A. Musluoglu and A. Bertrand, “A Unified Framework for Distributed Signal
and Feature Fusion Problems,” pp. 1–15.
[22] A. Bertrand, “Selected Topics in Biomedical Signal Processing: Part 1: Datadriven
filter design for biomedical sensory arrays.”
[23] B. Blankertz, K.-R. Muller, D. Krusienski, G. Schalk, J. Wolpaw, A. Schlogl,
G. Pfurtscheller, J. Millan, M. Schroder, and N. Birbaumer, “The BCI competition
III: Validating alternative approaches to actual BCI problems,” IEEE
Transactions on Neural Systems and Rehabilitation Engineering, vol. 14, no. 2,
pp. 153–159, Jun. 2006.
[24] M. Tangermann, K.-R. Müller, A. Aertsen, N. Birbaumer, C. Braun, C. Brunner,
R. Leeb, C. Mehring, K. Miller, G. Mueller-Putz, G. Nolte, G. Pfurtscheller,
H. Preissl, G. Schalk, A. Schlögl, C. Vidaurre, S. Waldert, and B. Blankertz,
“Review of the BCI Competition IV,” Frontiers in Neuroscience, vol. 6, p. 55,
2012.
[25] T. T. Ngo, M. Bellalij, and Y. Saad, “The Trace Ratio Optimization Problem,”
SIAM Review, vol. 54, no. 3, pp. 545–569, Jan. 2012.
[26] S. Yan and X. Tang, “Trace Quotient Problems Revisited,” in Computer Vision
– ECCV 2006, A. Leonardis, H. Bischof, and A. Pinz, Eds. Berlin, Heidelberg:
Springer Berlin Heidelberg, 2006, vol. 3952, pp. 232–244.
[27] Y. Jia, F. Nie, and C. Zhang, “Trace Ratio Problem Revisited,” IEEE Transactions
on Neural Networks, vol. 20, no. 4, pp. 729–735, Apr. 2009.
[28] H. Wang, S. Yan, D. Xu, X. Tang, and T. Huang, “Trace Ratio vs. Ratio Trace
for Dimensionality Reduction,” in 2007 IEEE Conference on Computer Vision
and Pattern Recognition, Jun. 2007, pp. 1–8.
[29] S. Lemm, B. Blankertz, G. Curio, and K.-R. Muller, “Spatio-spectral filters
for improving the classification of single trial EEG,” IEEE Transactions on
Biomedical Engineering, vol. 52, no. 9, pp. 1541–1548, Sep. 2005.
[30] A. Yuksel and T. Olmez, “Filter Bank Common Spatio-Spectral Patterns for
Motor Imagery Classification,” in Information Technology in Bio- and Medical
Informatics, M. E. Renda, M. Bursa, A. Holzinger, and S. Khuri, Eds. Cham:
Springer International Publishing, 2016, vol. 9832, pp. 69–84.
[31] S. Geirnaert, T. Francart, and A. Bertrand, “Fast EEG-Based Decoding Of
The Directional Focus Of Auditory Attention Using Common Spatial Patterns,”
IEEE Transactions on Biomedical Engineering, vol. 68, no. 5, pp. 1557–1568,
May 2021.
[32] K. K. Ang, Z. Y. Chin, C. Wang, C. Guan, and H. Zhang, “Filter Bank
Common Spatial Pattern Algorithm on BCI Competition IV Datasets 2a and
2b,” Frontiers in Neuroscience, vol. 6, p. 39, 2012.
[33] W. Samek, C. Vidaurre, K.-R. Müller, and M. Kawanabe, “Stationary common
spatial patterns for brain–computer interfacing,” Journal of Neural Engineering,
vol. 9, no. 2, p. 026013, Feb. 2012.
[34] A. Meinel, F. Lotte, and M. Tangermann, “Tikhonov Regularization Enhances
Eeg-Based Spatial Filtering For Single-Trial Regression,” in Proceedings Of The
7Th Graz Brain-Computer Interface Conference 2017. Graz University Of
Technology, Austria: Verlag der Technischen Universität Graz, Sep. 2017.
[35] F. Lotte and C. Guan, “Regularizing Common Spatial Patterns to Improve
BCI Designs: Unified Theory and New Algorithms,” IEEE Transactions on
Biomedical Engineering, vol. 58, no. 2, pp. 355–362, Feb. 2011.
[36] T. Hastie, R. Tibshirani, and J. Friedman, The Elements of Statistical Learning:
Data Mining, Inference, and Prediction, Second Edition, 2nd ed., ser. Springer
Series in Statistics. New York: Springer-Verlag, 2009.
[37] K.-R. Muller, C. Anderson, and G. Birch, “Linear and nonlinear methods
for brain-computer interfaces,” IEEE Transactions on Neural Systems and
Rehabilitation Engineering, vol. 11, no. 2, pp. 165–169, Jun. 2003.
[38] “Linear discriminant analysis, explained · Xiaozhou’s Notes.”
[39] C. M. Bishop, Pattern Recognition and Machine Learning, ser. Information
Science and Statistics. New York: Springer, 2006.
[40] J. Szurley, A. Bertrand, and M. Moonen, “Distributed adaptive node-specific
signal estimation in heterogeneous and mixed-topology wireless sensor networks,”
Signal Processing, vol. 117, pp. 44–60, Dec. 2015.
[41] J. Wellmer, F. von der Groeben, U. Klarmann, C. Weber, C. E. Elger, H. Urbach,
H. Clusmann, and M. von Lehe, “Risks and benefits of invasive epilepsy surgery
workup with implanted subdural and depth electrodes,” Epilepsia, vol. 53, no. 8,
pp. 1322–1332, 2012.
[42] S. M. Lawrence, J. O. Larsen, K. W. Horch, R. Riso, and T. Sinkjær, “Long-term
biocompatibility of implanted polymer-based intrafascicular electrodes,” Journal
of Biomedical Materials Research, vol. 63, no. 5, pp. 501–506, 2002.
[43] C. Marin and E. Fernandez, “Biocompatibility of intracortical microelectrodes:
Current status and future prospects,” Frontiers in Neuroengineering, vol. 3,
2010.
[44] B. Braem, B. Latre, I. Moerman, C. Blondia, E. Reusens, W. Joseph, L. Martens,
and P. Demeester, “The Need for Cooperation and Relaying in Short-Range
High Path Loss Sensor Networks,” in 2007 International Conference on Sensor
Technologies and Applications (SENSORCOMM 2007), Oct. 2007, pp. 566–571.
[45] R. Cahn, Wide Area Network Design: Concepts and Tools for Optimization.
Morgan Kaufmann, May 1998.
[46] C. A. Musluoglu and A. Bertrand, “Distributed Adaptive Trace Ratio Optimization
in Wireless Sensor Networks,” IEEE Transactions on Signal Processing,
vol. 69, pp. 3653–3670, 2021.
[47] C. A. Musluoglu, M. Moonen, and A. Bertrand, “Improved tracking for the
distributed signal fusion optimization algorithm in a fully connected wireless
sensor network (in press),” in 2022 30th European Signal Processing Conference
(EUSIPCO), Belgrade, Serbia, Sep. 2022.
[48] A. Bertrand and M. Moonen, “Distributed adaptive estimation of covariance
matrix eigenvectors in wireless sensor networks with application to distributed
PCA,” Signal Processing, vol. 104, pp. 120–135, Nov. 2014.
[49] D. P. Arbenz, “Lecture Notes on Solving Large Scale Eigenvalue Problems,” p.
265.
[50] T. Zasowski, G. Meyer, F. Althaus, and A. Wittneben, “Propagation effects
in UWB body area networks,” in 2005 IEEE International Conference on
Ultra-Wideband, Sep. 2005, pp. 16–21.
[51] W. Joseph, B. Braem, E. Reusens, B. Latre, L. Martens, I. Moerman, and
C. Blondia, “Design of Energy Efficient Topologies for Wireless On-Body Channel,”
in 17th European Wireless 2011 - Sustainable Wireless Technologies, Apr.
2011, pp. 1–7.
[52] D. Bresnahan and Y. Li, “Investigation of Creeping Wave Propagation Around
the Human Head at ISM Frequencies,” IEEE Antennas and Wireless Propagation
Letters, vol. 16, pp. 2767–2770, 2017.
[53] A. Mundanad Narayanan, “Miniaturization Effects and Node Placement for
Neural Decoding in EEG Sensor Networks,” Ph.D. dissertation, Faculty of
Engineering Science, KU Leuven, Leuven, Belgium, 2021.
[54] S. Galal and M. Horowitz, “Energy-Efficient Floating-Point Unit Design,” IEEE
Transactions on Computers, vol. 60, no. 7, pp. 913–922, Jul. 2011.
[55] “Datasheet: nRF2401 - Single chip 2.4 GHz Transceiver,” Jun. 2004.
