EEG-based Auditory Attention Detection with Neurofeedback Training at Home

Stijn Proesmans
Detecteren van auditieve attentie (AAD) o.b.v EEG en de stimulus-reconstruction approach. Daarnaast bestudeerden we de effecten van Neurofeedback op de performantie van het AAD systeem. Kernwoorden: EEG, AAD, BCI, Machine Learning.

Een hoorapparaat dat weet wat je wil horen… en het is je brein dat het vertelt

 

Heb je op een feestje wel eens moeite om je gesprekspartner te verstaan? Na enkele keren vragen om te herhalen, knik je dan maar ja of lach je eens, in de hoop dat de situatie niet te gênant wordt. Technologie die in ontwikkeling is aan de onderzoeksgroep STADIUS aan de KU Leuven zou hier in de toekomst wel eens een oplossing voor kunnen bieden.

The Cocktail Party Problem

Ons brein heeft de opmerkelijke capaciteit om op één spreker te kunnen focussen, in een omgeving van meerdere sprekers. Eén grote warmoes van geluid en informatie bereikt onze oren en toch is ons brein in staat de informatie van één geluidsbron eruit te filteren. Het is nog altijd niet volledig duidelijk hoe ons brein dit complex luisterprobleem oplost, wat in 1953 werd beschreven als the Cocktail Party Problem door neuroloog Colin Cherry.

Gehoorproblemen

Toch zijn er situaties waarin je brein het moeilijk heeft. Er is dan bijvoorbeeld te veel gelijkaardig achtergrondgeluid of je hebt moeite je te concentreren op één verhaal. Daarnaast is het mogelijk dat je gehoor doorheen de jaren al wat is achteruitgegaan. Eén van de grootste klachten bij patiënten met gehoorverlies is inderdaad het niet kunnen verstaan van spraak in de aanwezigheid van achtergrondgeluid of ruis. Het probleem zit hem niet in het horen, maar in het luisteren. Een klassiek hoorapparaat dat alle geluiden in de ruimte versterkt, biedt in dat geval geen oplossing. Modernere hoorapparaten die ruis kunnen onderscheiden van spraak, of deze die enkel de geluidsbronnen binnen het  gezichtsveld versterken (“directionele hoorapparaten”), zijn dan weer niet geschikt voor een omgeving met meerdere sprekers op korte afstand.

Idealiter zou het hoorapparaat te weten komen waarnaar je wil luisteren om dan enkel dié geluidsbron te versterken. Dit is exact wat men probeert te achterhalen in het onderzoeksdomein van de auditieve aandachtsdetectie (AAD).

Detecteren van je auditieve aandacht (“waar je naar wil luisteren”)

In auditieve aandachtsdetectie meet men je hersenactiviteit om te achterhalen naar welke geluidsbron je luistert; aan welke bron je je auditieve aandacht schenkt. De elektrische activiteit van de hersenen wordt gemeten via elektrodes. Die kunnen intern onder de schedel zijn aangebracht of kunnen zich bevinden in een headset die op de schedel wordt vastgedrukt. Een computer is dan in staat deze hersensignalen te interpreteren en te achterhalen naar welke geluidsbron je luistert. Deze informatie wordt doorgespeeld aan het hoorapparaat dat uiteindelijk de juiste spreker versterkt en het achtergrondgeluid verzwakt.

Recent onderzoek heeft uitgewezen dat, in een omgeving met twee sprekers, de juiste spreker kan worden gedetecteerd in 80% tot 90% van de gevallen. Subjecten werden blootgesteld aan het geluid van twee verschillende sprekers die tegelijkertijd hun eigen verhaal vertelden. De subjecten luisterden naar één van beide sprekers terwijl hun hersenactiviteit werd gemeten. De strategie die werd toegepast is die van de stimulus-reconstructie: o.b.v. de gemeten hersensignalen werd een spraaksignaal gereconstrueerd, dat werd vergeleken met de twee spraaksignalen waaraan het subject werd blootgesteld. Wat bleek is dat deze reconstructie typisch meer leek op het spraaksignaal waarnaar de aandacht ging, dan op het spraaksignaal dat werd genegeerd. De spraak van de persoon waarnaar geluisterd wordt is dus dominant aanwezig in het brein.

Alvorens deze technologie kan gebruikt worden in het dagelijks leven zijn er evenwel nog een aantal verbeteringen nodig. Zo werden de hersensignalen gemeten met een headset van 128 elektrodes en had de computer een meettijd van 60 seconden nodig om een beslissing te maken. Bovendien werden de experimenten uitgevoerd in een gecontroleerde labo-omgeving zonder kans op afleiding van onverwachte visuele en/of auditieve bronnen. Voor praktische doeleinden zouden zowel het aantal elektrodes als de beslissingstijd gereduceerd moeten worden.  

In onze studie, getiteld “EEG-based Auditory Attention Detection with Neurofeedback Training at Home”, bouwden we verder op de bestaande ontwikkelingen in auditieve aandachtsdetectie. We slaagden erin de beslissingstijd van het systeem te reduceren tot 10 seconden, terwijl de accuraatheid rond de 80% bleef. Hersenactiviteit werd gemeten met een headset van slechts 24 elektrodes, die gemakkelijk in een kap, muts of pet kan verwerkt worden. Bovendien vonden de metingen plaats bij het subject thuis – een realistische omgeving waar afleiding van onverwachte visuele en/of auditieve bronnen mogelijk is.

Verder stelden we vast dat de accuraatheid van het systeem afhankelijk was van het subject dat gemeten werd. Ieders brein is anders en bepaalde factoren zoals schedeldikte, ouderdom en attentieproblemen kunnen een invloed hebben op het gemak waarmee de computer de hersensignalen kan interpreteren. In ons onderzoek gingen we na of men getraind kan worden om duidelijkere hersensignalen te genereren. Eén subject kreeg visuele feedback over de accuraatheid van de detectie; het ander subject niet. De visuele feedback leek de accuraatheid te verhogen, waarmee we dus konden aantonen dat niet enkel de technologie moet verbeteren, maar ook de subjecten getraind moeten worden om beter te leren werken met de technologie.

Onze studie geeft een volledig overzicht van de meest recente ontwikkelingen in het domein van de auditieve aandachtsdetectie. Daarnaast maken we een grote sprong richting de toepassing van deze technologie in het dagelijks leven. Zo kan er uitgekeken worden naar de dag waarop je enkel hoort wat je wil horen.

Bibliografie

[1] J. A. O’Sullivan, A. J. Power, N. Mesgarani, S. Rajaram, J. J. Foxe, B. G.

Shinn-Cunningham, M. Slaney, S. A. Shamma, and E. C. Lalor, “Attentional

selection in a cocktail party environment can be decoded from single-trial eeg,”

Cerebral Cortex, vol. 25, no. 7, pp. 1697–1706, 2015.

[2] B. Mirkovic, S. Debener, M. Jaeger, and M. De Vos, “Decoding the attended

speech stream with multi-channel eeg: implications for online, daily-life applications,”

Journal of Neural Engineering, vol. 12, no. 4, p. 9, 2015.

[3] N. Das, W. Biesmans, A. Bertrand, and T. Francart, “The effect of head-related

filtering and ear-specific decoding bias on auditory attention detection,” Journal

of Neural Engineering, vol. 13, no. 5, p. 9, 2016.

[4] W. Biesmans, N. Das, T. Francart, and A. Bertrand, “Auditory-inspired speech

envelope extraction methods for improved eeg-based auditory attention detection

in a cocktail party scenario,” Ieee Transactions on Neural Systems and

Rehabilitation Engineering, vol. 25, no. 5, pp. 402–412, 2017.

[5] A. Aroudi, B. Mirkovic, M. De Vos, S. Doclo, and Ieee, “Auditory attention

decoding with eeg recordings using noisy acoustic reference signals,” in IEEE

International Conference on Acoustics, Speech, and Signal Processing, International

Conference on Acoustics Speech and Signal Processing ICASSP, (NEW

YORK), pp. 694–698, Ieee, 2016.

[6] B. Mirkovic, M. G. Bleichner, M. De Vos, and S. Debener, “Target speaker

detection with concealed eeg around the ear,” Frontiers in Neuroscience, vol. 10,

p. 11, 2016.

[7] S. Van Eyndhoven, T. Francart, and A. Bertrand, “Eeg-informed attended

speaker extraction from recorded speech mixtures with application in neurosteered

hearing prostheses,” Ieee Transactions on Biomedical Engineering, vol. 64,

no. 5, pp. 1045–1056, 2017.

[8] S. A. Fuglsang, T. Dau, and J. Hjortkjær, “Noise-robust cortical tracking of

attended speech in real-world acoustic scenes,” NeuroImage, 2017.

[9] R. Zink, A. Baptist, A. Bertrand, S. Van Huffel, and M. De Vos, “Online

detection of auditory attention in a neurofeedback application,” in Proc. 8th

International Workshop on Biosignal Interpretation, no. accepted, 2016.

 [10] C. Cherry and J. A. Bowles, “Contribution to a study of the cocktail party

problem,” Journal of the Acoustical Society of America, vol. 32, no. 7, pp. 884–

884, 1960.

[11] E. M. Kaya and M. Elhilali, “Modelling auditory attention,” Philosophical

Transactions of the Royal Society B-Biological Sciences, vol. 372, no. 1714, p. 10,

2017.

[12] S. J. Aiken and T. W. Picton, “Human cortical responses to the speech envelope,”

Ear and Hearing, vol. 29, no. 2, pp. 139–157, 2008.

[13] N. Mesgarani and E. F. Chang, “Selective cortical representation of attended

speaker in multi-talker speech perception,” Nature, vol. 485, no. 7397, pp. 233–

U118, 2012.

[14] N. Ding and J. Z. Simon, “Emergence of neural encoding of auditory objects

while listening to competing speakers,” Proceedings of the National Academy

of Sciences of the United States of America, vol. 109, no. 29, pp. 11854–11859,

2012.

[15] J. Z. Simon, “The encoding of auditory objects in auditory cortex: Insights from

magnetoencephalography,” International Journal of Psychophysiology, vol. 95,

no. 2, pp. 184–190, 2015.

[16] M. Haghighi, M. Moghadamfalahi, M. Akcakaya, and D. Erdogmus, “Eegassisted

modulation of sound sources in the auditory scene,” arXiv preprint

arXiv:1612.00703, 2016.

 

[17] E. Alickovic, T. Lunner, F. Gustafsson, and Ieee, “A system identification

approach to determining listening attention from eeg signals,” in 24th European

Signal Processing Conference (EUSIPCO), European Signal Processing

Conference, (NEW YORK), pp. 31–35, Ieee, 2016.

[18] S. Akram, A. Presacco, J. Z. Simon, S. A. Shamma, and B. Babadi, “Robust

decoding of selective auditory attention from meg in a competing-speaker

environment via state-space modeling,” Neuroimage, vol. 124, pp. 906–917, 2016.

[19] C. Neuper and G. Pfurtscheller, Neurofeedback Training for BCI Control, pp. 65–

78. Frontiers Collection, Berlin: Springer-Verlag Berlin, 2010.

[20] S. Enriquez-Geppert, R. J. Huster, and C. S. Herrmann, “Eeg-neurofeedback

as a tool to modulate cognition and behavior: A review tutorial,” Frontiers in

Human Neuroscience, vol. 11, p. 19, 2017.

[21] J. Rogala, K. Jurewicz, K. Paluch, E. Kublik, R. Cetnarski, and A. Wrobel,

“The do’s and don’ts of neurofeedback training: A review of the controlled

studies using healthy adults,” Frontiers in Human Neuroscience, vol. 10, p. 12,

2016.

 [22] R. Sitaram, T. Ros, L. Stoeckel, S. Haller, F. Scharnowski, J. Lewis-Peacock,

N. Weiskopf, M. L. Blefari, M. Rana, E. Oblak, N. Birbaumer, and J. Sulzer,

“Closed-loop brain training: the science of neurofeedback,” Nature Reviews

Neuroscience, vol. 18, no. 2, pp. 86–100, 2017.

[23] H. Marzbani, H. R. Marateb, and M. Mansourian, “Methodological note: Neurofeedback:

A comprehensive review on system design, methodology and clinical

applications,” Basic and Clinical Neuroscience, vol. 7, no. 2, pp. 143–158, 2016.

[24] C. Zich, M. De Vos, C. Kranczioch, and S. Debener, “Wireless eeg with individualized

channel layout enables efficient motor imagery training,” Clinical

Neurophysiology, vol. 126, no. 4, pp. 698–710, 2015.

[25] C. Zich, C. Schweinitz, S. Debener, C. Kranczioch, and Ieee, “Multimodal evaluation

of motor imagery training supported by mobile eeg at home: A case report,”

in IEEE International Conference on Systems, Man, and Cybernetics (SMC),

IEEE International Conference on Systems Man and Cybernetics Conference

Proceedings, (LOS ALAMITOS), pp. 3181–3186, Ieee Computer Soc, 2015.

[26] M. O. Krucoff, S. Rahimpour, M. W. Slutzky, V. R. Edgerton, and D. A. Turner,

“Enhancing nervous system recovery through neurobiologics, neural interface

training, and neurorehabilitation,” Frontiers in Neuroscience, vol. 10, p. 23,

2016.

[27] M. Arns, S. de Ridder, U. Strehl, M. Breteler, and A. Coenen, “Efficacy of

neurofeedback treatment in adhd: the effects on inattention, impulsivity and

hyperactivity: a meta-analysis,” Clinical Eeg and Neuroscience, vol. 40, no. 3,

pp. 180–189, 2009.

[28] M. B. Sterman and T. Egner, “Foundation and practice of neurofeedback for

the treatment of epilepsy,” Applied Psychophysiology and Biofeedback, vol. 31,

no. 1, pp. 21–35, 2006.

[29] M. S. Shin, H. Jeon, M. Kim, T. Hwang, S. J. Oh, M. Hwangbo, and K. J. Kim,

“Effects of smart-tablet-based neurofeedback training on cognitive function in

children with attention problems,” Journal of Child Neurology, vol. 31, no. 6,

pp. 750–760, 2016.

[30] H. J. Hwang, K. Kwon, and C. H. Im, “Neurofeedback-based motor imagery

training for brain-computer interface (bci),” Journal of Neuroscience Methods,

vol. 179, no. 1, pp. 150–156, 2009.

[31] G. Pfurtscheller and C. Neuper, “Motor imagery and direct brain-computer

communication,” Proceedings of the Ieee, vol. 89, no. 7, pp. 1123–1134, 2001.

[32] G. Pfurtscheller, C. Neuper, G. R. Muller, B. Obermaier, G. Krausz, A. Schlogl,

R. Scherer, B. Graimann, C. Keinrath, D. Skliris, M. Wortz, G. Supp, and

C. Schrank, “Graz-bci: State of the art and clinical applications,” Ieee Transactions

on Neural Systems and Rehabilitation Engineering, vol. 11, no. 2, pp. 177–

180, 2003.

[33] G. Pfurtscheller, C. Brunner, R. Leeb, R. Scherer, G. R. Muller-Putz, and

C. Neuper, The Graz Brain-Computer Interface, pp. 79–96. Frontiers Collection,

Berlin: Springer-Verlag Berlin, 2010.

[34] S. S. Yoo, J. H. Lee, H. O’Leary, V. Lee, S. E. Choo, and F. A. Jolesz, “Functional

magnetic resonance imaging-mediated learning of increased activity in auditory

areas,” Neuroreport, vol. 18, no. 18, pp. 1915–1920, 2007.

[35] R. Milner, M. Lewandowska, M. Ganc, K. Ciesla, I. Niedzialek, and H. Skarzynski,

“Slow cortical potential neurofeedback in chronic tinnitus therapy: A case

report,” Applied Psychophysiology and Biofeedback, vol. 41, no. 2, pp. 225–249,

2016.

[36] C. Jeunet, B. N’Kaoua, and F. Lotte, Advances in user-training for mentalimagery-

based BCI control: Psychological and cognitive factors and their neural

correlates, vol. 228 of Progress in Brain Research, pp. 3–35. Amsterdam: Elsevier

Science Bv, 2016.

[37] C. Jeunet, B. N’Kaoua, S. Subramanian, M. Hachet, and F. Lotte, “Predicting

mental imagery-based bci performance from personality, cognitive profile and

neurophysiological patterns,” Plos One, vol. 10, no. 12, p. 21, 2015.

[38] M. Wostmann, B. Herrmann, B. Maess, and J. Obleser, “Spatiotemporal dynamics

of auditory attention synchronize with speech,” Proceedings of the National

Academy of Sciences of the United States of America, vol. 113, no. 14, pp. 3873–

3878, 2016.

[39] Y. Y. Gao, Q. Wang, Y. Ding, C. M. Wang, H. F. Li, X. H. Wu, T. S. Qu,

and L. Li, “Selective attention enhances beta-band cortical oscillation to speech

under "cocktail-party" listening conditions,” Frontiers in Human Neuroscience,

vol. 11, p. 10, 2017.

[40] W. Noble, N. S. Jensen, G. Naylor, N. Bhullar, and M. A. Akeroyd, “A short

form of the speech, spatial and qualities of hearing scale suitable for clinical

use: The ssq12,” International Journal of Audiology, vol. 52, no. 6, pp. 409–412,

2013.

[41] R. Bauer, M. Vukelic, and A. Gharabaghi, “What is the optimal task difficulty

for reinforcement learning of brain self-regulation?,” Clinical Neurophysiology,

vol. 127, no. 9, pp. 3033–3041, 2016.

[42] J. M. Gottselig, G. Hofer-Tinguely, A. A. Borbely, S. J. Regel, H. P. Landolt,

J. V. Retey, and P. Achermann, “Sleep and rest facilitate auditory learning,”

Neuroscience, vol. 127, no. 3, pp. 557–561, 2004.

 [43] M. Hiscock and M. Kinsbourne, “Attention and the right-ear advantage: What

is the connection?,” Brain and Cognition, vol. 76, no. 2, pp. 263–275, 2011.

[44] E. B. Petersen, M. Wostmann, J. Obleser, and T. Lunner, “Neural tracking of

attended versus ignored speech is differentially affected by hearing loss,” Journal

of Neurophysiology, vol. 117, no. 1, pp. 18–27, 2017.

[45] C. E. Shannon and W. Weaver, “The mathematical theory of communication,”

2002.

[46] N. Koolen, K. Jansen, J. Vervisch, V. Matic, M. De Vos, G. Naulaers, and

S. Van Huffel, “Line length as a robust method to detect high-activity events: Automated

burst detection in premature eeg recordings,” Clinical Neurophysiology,

vol. 125, no. 10, pp. 1985–1994, 2014.

[47] I. Antoniadou, G. Manson, N. Dervilis, T. Barszcz, W. J. Staszewski, and

K. Worden, “Use of the teager-kaiser energy operator for condition monitoring

of a wind turbine gearbox,” Proceedings of International Conference on Noise and

Vibration Engineering (Isma2012) / International Conference on Uncertainty in

Structural Dynamics (Usd2012), pp. 4255–4268, 2012.

[48] S. Halder, M. Rea, R. Andreoni, F. Nijboer, E. M. Hammer, S. C. Kleih,

N. Birbaumer, and A. Kubler, “An auditory oddball brain-computer interface

for binary choices,” Clinical Neurophysiology, vol. 121, no. 4, pp. 516–523, 2010.

[49] D. W. Kim, H. J. Hwang, J. H. Lim, Y. H. Lee, K. Y. Jung, and C. H. Im,

“Classification of selective attention to auditory stimuli: Toward vision-free

brain-computer interfacing,” Journal of Neuroscience Methods, vol. 197, no. 1,

pp. 180–185, 2011.

[50] D. J. Mitchell, N. McNaughton, D. Flanagan, and I. J. Kirk, “Frontal-midline

theta from the perspective of hippocampal quot;thetaquot;,” Progress in Neurobiology,

vol. 86, no. 3, pp. 156–185, 2008.

[51] K. Inanaga, “Frontal midline theta rhythm and mental activity,” Psychiatry

and Clinical Neurosciences, vol. 52, no. 6, pp. 555–566, 1998.

[52] T. Demiralp and E. Basar, “Theta-rhythmicities following expected visual and

auditory targets,” International Journal of Psychophysiology, vol. 13, no. 2,

pp. 147–160, 1992.

Universiteit of Hogeschool
Master of Biomedical Engineering
Publicatiejaar
2017
Promotor
Prof.dr.ir. Sabine Van Huffel