Een hoorapparaat dat weet wat je wil horen… en het is je brein dat het vertelt
Heb je op een feestje wel eens moeite om je gesprekspartner te verstaan? Na enkele keren vragen om te herhalen, knik je dan maar ja of lach je eens, in de hoop dat de situatie niet te gênant wordt. Technologie die in ontwikkeling is aan de onderzoeksgroep STADIUS aan de KU Leuven zou hier in de toekomst wel eens een oplossing voor kunnen bieden.
The Cocktail Party Problem
Ons brein heeft de opmerkelijke capaciteit om op één spreker te kunnen focussen, in een omgeving van meerdere sprekers. Eén grote warmoes van geluid en informatie bereikt onze oren en toch is ons brein in staat de informatie van één geluidsbron eruit te filteren. Het is nog altijd niet volledig duidelijk hoe ons brein dit complex luisterprobleem oplost, wat in 1953 werd beschreven als the Cocktail Party Problem door neuroloog Colin Cherry.
Gehoorproblemen
Toch zijn er situaties waarin je brein het moeilijk heeft. Er is dan bijvoorbeeld te veel gelijkaardig achtergrondgeluid of je hebt moeite je te concentreren op één verhaal. Daarnaast is het mogelijk dat je gehoor doorheen de jaren al wat is achteruitgegaan. Eén van de grootste klachten bij patiënten met gehoorverlies is inderdaad het niet kunnen verstaan van spraak in de aanwezigheid van achtergrondgeluid of ruis. Het probleem zit hem niet in het horen, maar in het luisteren. Een klassiek hoorapparaat dat alle geluiden in de ruimte versterkt, biedt in dat geval geen oplossing. Modernere hoorapparaten die ruis kunnen onderscheiden van spraak, of deze die enkel de geluidsbronnen binnen het gezichtsveld versterken (“directionele hoorapparaten”), zijn dan weer niet geschikt voor een omgeving met meerdere sprekers op korte afstand.
Idealiter zou het hoorapparaat te weten komen waarnaar je wil luisteren om dan enkel dié geluidsbron te versterken. Dit is exact wat men probeert te achterhalen in het onderzoeksdomein van de auditieve aandachtsdetectie (AAD).
Detecteren van je auditieve aandacht (“waar je naar wil luisteren”)
In auditieve aandachtsdetectie meet men je hersenactiviteit om te achterhalen naar welke geluidsbron je luistert; aan welke bron je je auditieve aandacht schenkt. De elektrische activiteit van de hersenen wordt gemeten via elektrodes. Die kunnen intern onder de schedel zijn aangebracht of kunnen zich bevinden in een headset die op de schedel wordt vastgedrukt. Een computer is dan in staat deze hersensignalen te interpreteren en te achterhalen naar welke geluidsbron je luistert. Deze informatie wordt doorgespeeld aan het hoorapparaat dat uiteindelijk de juiste spreker versterkt en het achtergrondgeluid verzwakt.
Recent onderzoek heeft uitgewezen dat, in een omgeving met twee sprekers, de juiste spreker kan worden gedetecteerd in 80% tot 90% van de gevallen. Subjecten werden blootgesteld aan het geluid van twee verschillende sprekers die tegelijkertijd hun eigen verhaal vertelden. De subjecten luisterden naar één van beide sprekers terwijl hun hersenactiviteit werd gemeten. De strategie die werd toegepast is die van de stimulus-reconstructie: o.b.v. de gemeten hersensignalen werd een spraaksignaal gereconstrueerd, dat werd vergeleken met de twee spraaksignalen waaraan het subject werd blootgesteld. Wat bleek is dat deze reconstructie typisch meer leek op het spraaksignaal waarnaar de aandacht ging, dan op het spraaksignaal dat werd genegeerd. De spraak van de persoon waarnaar geluisterd wordt is dus dominant aanwezig in het brein.
Alvorens deze technologie kan gebruikt worden in het dagelijks leven zijn er evenwel nog een aantal verbeteringen nodig. Zo werden de hersensignalen gemeten met een headset van 128 elektrodes en had de computer een meettijd van 60 seconden nodig om een beslissing te maken. Bovendien werden de experimenten uitgevoerd in een gecontroleerde labo-omgeving zonder kans op afleiding van onverwachte visuele en/of auditieve bronnen. Voor praktische doeleinden zouden zowel het aantal elektrodes als de beslissingstijd gereduceerd moeten worden.
In onze studie, getiteld “EEG-based Auditory Attention Detection with Neurofeedback Training at Home”, bouwden we verder op de bestaande ontwikkelingen in auditieve aandachtsdetectie. We slaagden erin de beslissingstijd van het systeem te reduceren tot 10 seconden, terwijl de accuraatheid rond de 80% bleef. Hersenactiviteit werd gemeten met een headset van slechts 24 elektrodes, die gemakkelijk in een kap, muts of pet kan verwerkt worden. Bovendien vonden de metingen plaats bij het subject thuis – een realistische omgeving waar afleiding van onverwachte visuele en/of auditieve bronnen mogelijk is.
Verder stelden we vast dat de accuraatheid van het systeem afhankelijk was van het subject dat gemeten werd. Ieders brein is anders en bepaalde factoren zoals schedeldikte, ouderdom en attentieproblemen kunnen een invloed hebben op het gemak waarmee de computer de hersensignalen kan interpreteren. In ons onderzoek gingen we na of men getraind kan worden om duidelijkere hersensignalen te genereren. Eén subject kreeg visuele feedback over de accuraatheid van de detectie; het ander subject niet. De visuele feedback leek de accuraatheid te verhogen, waarmee we dus konden aantonen dat niet enkel de technologie moet verbeteren, maar ook de subjecten getraind moeten worden om beter te leren werken met de technologie.
Onze studie geeft een volledig overzicht van de meest recente ontwikkelingen in het domein van de auditieve aandachtsdetectie. Daarnaast maken we een grote sprong richting de toepassing van deze technologie in het dagelijks leven. Zo kan er uitgekeken worden naar de dag waarop je enkel hoort wat je wil horen.
Bibliografie
[1] J. A. O’Sullivan, A. J. Power, N. Mesgarani, S. Rajaram, J. J. Foxe, B. G.
Shinn-Cunningham, M. Slaney, S. A. Shamma, and E. C. Lalor, “Attentional
selection in a cocktail party environment can be decoded from single-trial eeg,”
Cerebral Cortex, vol. 25, no. 7, pp. 1697–1706, 2015.
[2] B. Mirkovic, S. Debener, M. Jaeger, and M. De Vos, “Decoding the attended
speech stream with multi-channel eeg: implications for online, daily-life applications,”
Journal of Neural Engineering, vol. 12, no. 4, p. 9, 2015.
[3] N. Das, W. Biesmans, A. Bertrand, and T. Francart, “The effect of head-related
filtering and ear-specific decoding bias on auditory attention detection,” Journal
of Neural Engineering, vol. 13, no. 5, p. 9, 2016.
[4] W. Biesmans, N. Das, T. Francart, and A. Bertrand, “Auditory-inspired speech
envelope extraction methods for improved eeg-based auditory attention detection
in a cocktail party scenario,” Ieee Transactions on Neural Systems and
Rehabilitation Engineering, vol. 25, no. 5, pp. 402–412, 2017.
[5] A. Aroudi, B. Mirkovic, M. De Vos, S. Doclo, and Ieee, “Auditory attention
decoding with eeg recordings using noisy acoustic reference signals,” in IEEE
International Conference on Acoustics, Speech, and Signal Processing, International
Conference on Acoustics Speech and Signal Processing ICASSP, (NEW
YORK), pp. 694–698, Ieee, 2016.
[6] B. Mirkovic, M. G. Bleichner, M. De Vos, and S. Debener, “Target speaker
detection with concealed eeg around the ear,” Frontiers in Neuroscience, vol. 10,
p. 11, 2016.
[7] S. Van Eyndhoven, T. Francart, and A. Bertrand, “Eeg-informed attended
speaker extraction from recorded speech mixtures with application in neurosteered
hearing prostheses,” Ieee Transactions on Biomedical Engineering, vol. 64,
no. 5, pp. 1045–1056, 2017.
[8] S. A. Fuglsang, T. Dau, and J. Hjortkjær, “Noise-robust cortical tracking of
attended speech in real-world acoustic scenes,” NeuroImage, 2017.
[9] R. Zink, A. Baptist, A. Bertrand, S. Van Huffel, and M. De Vos, “Online
detection of auditory attention in a neurofeedback application,” in Proc. 8th
International Workshop on Biosignal Interpretation, no. accepted, 2016.
[10] C. Cherry and J. A. Bowles, “Contribution to a study of the cocktail party
problem,” Journal of the Acoustical Society of America, vol. 32, no. 7, pp. 884–
884, 1960.
[11] E. M. Kaya and M. Elhilali, “Modelling auditory attention,” Philosophical
Transactions of the Royal Society B-Biological Sciences, vol. 372, no. 1714, p. 10,
2017.
[12] S. J. Aiken and T. W. Picton, “Human cortical responses to the speech envelope,”
Ear and Hearing, vol. 29, no. 2, pp. 139–157, 2008.
[13] N. Mesgarani and E. F. Chang, “Selective cortical representation of attended
speaker in multi-talker speech perception,” Nature, vol. 485, no. 7397, pp. 233–
U118, 2012.
[14] N. Ding and J. Z. Simon, “Emergence of neural encoding of auditory objects
while listening to competing speakers,” Proceedings of the National Academy
of Sciences of the United States of America, vol. 109, no. 29, pp. 11854–11859,
2012.
[15] J. Z. Simon, “The encoding of auditory objects in auditory cortex: Insights from
magnetoencephalography,” International Journal of Psychophysiology, vol. 95,
no. 2, pp. 184–190, 2015.
[16] M. Haghighi, M. Moghadamfalahi, M. Akcakaya, and D. Erdogmus, “Eegassisted
modulation of sound sources in the auditory scene,” arXiv preprint
arXiv:1612.00703, 2016.
[17] E. Alickovic, T. Lunner, F. Gustafsson, and Ieee, “A system identification
approach to determining listening attention from eeg signals,” in 24th European
Signal Processing Conference (EUSIPCO), European Signal Processing
Conference, (NEW YORK), pp. 31–35, Ieee, 2016.
[18] S. Akram, A. Presacco, J. Z. Simon, S. A. Shamma, and B. Babadi, “Robust
decoding of selective auditory attention from meg in a competing-speaker
environment via state-space modeling,” Neuroimage, vol. 124, pp. 906–917, 2016.
[19] C. Neuper and G. Pfurtscheller, Neurofeedback Training for BCI Control, pp. 65–
78. Frontiers Collection, Berlin: Springer-Verlag Berlin, 2010.
[20] S. Enriquez-Geppert, R. J. Huster, and C. S. Herrmann, “Eeg-neurofeedback
as a tool to modulate cognition and behavior: A review tutorial,” Frontiers in
Human Neuroscience, vol. 11, p. 19, 2017.
[21] J. Rogala, K. Jurewicz, K. Paluch, E. Kublik, R. Cetnarski, and A. Wrobel,
“The do’s and don’ts of neurofeedback training: A review of the controlled
studies using healthy adults,” Frontiers in Human Neuroscience, vol. 10, p. 12,
2016.
[22] R. Sitaram, T. Ros, L. Stoeckel, S. Haller, F. Scharnowski, J. Lewis-Peacock,
N. Weiskopf, M. L. Blefari, M. Rana, E. Oblak, N. Birbaumer, and J. Sulzer,
“Closed-loop brain training: the science of neurofeedback,” Nature Reviews
Neuroscience, vol. 18, no. 2, pp. 86–100, 2017.
[23] H. Marzbani, H. R. Marateb, and M. Mansourian, “Methodological note: Neurofeedback:
A comprehensive review on system design, methodology and clinical
applications,” Basic and Clinical Neuroscience, vol. 7, no. 2, pp. 143–158, 2016.
[24] C. Zich, M. De Vos, C. Kranczioch, and S. Debener, “Wireless eeg with individualized
channel layout enables efficient motor imagery training,” Clinical
Neurophysiology, vol. 126, no. 4, pp. 698–710, 2015.
[25] C. Zich, C. Schweinitz, S. Debener, C. Kranczioch, and Ieee, “Multimodal evaluation
of motor imagery training supported by mobile eeg at home: A case report,”
in IEEE International Conference on Systems, Man, and Cybernetics (SMC),
IEEE International Conference on Systems Man and Cybernetics Conference
Proceedings, (LOS ALAMITOS), pp. 3181–3186, Ieee Computer Soc, 2015.
[26] M. O. Krucoff, S. Rahimpour, M. W. Slutzky, V. R. Edgerton, and D. A. Turner,
“Enhancing nervous system recovery through neurobiologics, neural interface
training, and neurorehabilitation,” Frontiers in Neuroscience, vol. 10, p. 23,
2016.
[27] M. Arns, S. de Ridder, U. Strehl, M. Breteler, and A. Coenen, “Efficacy of
neurofeedback treatment in adhd: the effects on inattention, impulsivity and
hyperactivity: a meta-analysis,” Clinical Eeg and Neuroscience, vol. 40, no. 3,
pp. 180–189, 2009.
[28] M. B. Sterman and T. Egner, “Foundation and practice of neurofeedback for
the treatment of epilepsy,” Applied Psychophysiology and Biofeedback, vol. 31,
no. 1, pp. 21–35, 2006.
[29] M. S. Shin, H. Jeon, M. Kim, T. Hwang, S. J. Oh, M. Hwangbo, and K. J. Kim,
“Effects of smart-tablet-based neurofeedback training on cognitive function in
children with attention problems,” Journal of Child Neurology, vol. 31, no. 6,
pp. 750–760, 2016.
[30] H. J. Hwang, K. Kwon, and C. H. Im, “Neurofeedback-based motor imagery
training for brain-computer interface (bci),” Journal of Neuroscience Methods,
vol. 179, no. 1, pp. 150–156, 2009.
[31] G. Pfurtscheller and C. Neuper, “Motor imagery and direct brain-computer
communication,” Proceedings of the Ieee, vol. 89, no. 7, pp. 1123–1134, 2001.
[32] G. Pfurtscheller, C. Neuper, G. R. Muller, B. Obermaier, G. Krausz, A. Schlogl,
R. Scherer, B. Graimann, C. Keinrath, D. Skliris, M. Wortz, G. Supp, and
C. Schrank, “Graz-bci: State of the art and clinical applications,” Ieee Transactions
on Neural Systems and Rehabilitation Engineering, vol. 11, no. 2, pp. 177–
180, 2003.
[33] G. Pfurtscheller, C. Brunner, R. Leeb, R. Scherer, G. R. Muller-Putz, and
C. Neuper, The Graz Brain-Computer Interface, pp. 79–96. Frontiers Collection,
Berlin: Springer-Verlag Berlin, 2010.
[34] S. S. Yoo, J. H. Lee, H. O’Leary, V. Lee, S. E. Choo, and F. A. Jolesz, “Functional
magnetic resonance imaging-mediated learning of increased activity in auditory
areas,” Neuroreport, vol. 18, no. 18, pp. 1915–1920, 2007.
[35] R. Milner, M. Lewandowska, M. Ganc, K. Ciesla, I. Niedzialek, and H. Skarzynski,
“Slow cortical potential neurofeedback in chronic tinnitus therapy: A case
report,” Applied Psychophysiology and Biofeedback, vol. 41, no. 2, pp. 225–249,
2016.
[36] C. Jeunet, B. N’Kaoua, and F. Lotte, Advances in user-training for mentalimagery-
based BCI control: Psychological and cognitive factors and their neural
correlates, vol. 228 of Progress in Brain Research, pp. 3–35. Amsterdam: Elsevier
Science Bv, 2016.
[37] C. Jeunet, B. N’Kaoua, S. Subramanian, M. Hachet, and F. Lotte, “Predicting
mental imagery-based bci performance from personality, cognitive profile and
neurophysiological patterns,” Plos One, vol. 10, no. 12, p. 21, 2015.
[38] M. Wostmann, B. Herrmann, B. Maess, and J. Obleser, “Spatiotemporal dynamics
of auditory attention synchronize with speech,” Proceedings of the National
Academy of Sciences of the United States of America, vol. 113, no. 14, pp. 3873–
3878, 2016.
[39] Y. Y. Gao, Q. Wang, Y. Ding, C. M. Wang, H. F. Li, X. H. Wu, T. S. Qu,
and L. Li, “Selective attention enhances beta-band cortical oscillation to speech
under "cocktail-party" listening conditions,” Frontiers in Human Neuroscience,
vol. 11, p. 10, 2017.
[40] W. Noble, N. S. Jensen, G. Naylor, N. Bhullar, and M. A. Akeroyd, “A short
form of the speech, spatial and qualities of hearing scale suitable for clinical
use: The ssq12,” International Journal of Audiology, vol. 52, no. 6, pp. 409–412,
2013.
[41] R. Bauer, M. Vukelic, and A. Gharabaghi, “What is the optimal task difficulty
for reinforcement learning of brain self-regulation?,” Clinical Neurophysiology,
vol. 127, no. 9, pp. 3033–3041, 2016.
[42] J. M. Gottselig, G. Hofer-Tinguely, A. A. Borbely, S. J. Regel, H. P. Landolt,
J. V. Retey, and P. Achermann, “Sleep and rest facilitate auditory learning,”
Neuroscience, vol. 127, no. 3, pp. 557–561, 2004.
[43] M. Hiscock and M. Kinsbourne, “Attention and the right-ear advantage: What
is the connection?,” Brain and Cognition, vol. 76, no. 2, pp. 263–275, 2011.
[44] E. B. Petersen, M. Wostmann, J. Obleser, and T. Lunner, “Neural tracking of
attended versus ignored speech is differentially affected by hearing loss,” Journal
of Neurophysiology, vol. 117, no. 1, pp. 18–27, 2017.
[45] C. E. Shannon and W. Weaver, “The mathematical theory of communication,”
2002.
[46] N. Koolen, K. Jansen, J. Vervisch, V. Matic, M. De Vos, G. Naulaers, and
S. Van Huffel, “Line length as a robust method to detect high-activity events: Automated
burst detection in premature eeg recordings,” Clinical Neurophysiology,
vol. 125, no. 10, pp. 1985–1994, 2014.
[47] I. Antoniadou, G. Manson, N. Dervilis, T. Barszcz, W. J. Staszewski, and
K. Worden, “Use of the teager-kaiser energy operator for condition monitoring
of a wind turbine gearbox,” Proceedings of International Conference on Noise and
Vibration Engineering (Isma2012) / International Conference on Uncertainty in
Structural Dynamics (Usd2012), pp. 4255–4268, 2012.
[48] S. Halder, M. Rea, R. Andreoni, F. Nijboer, E. M. Hammer, S. C. Kleih,
N. Birbaumer, and A. Kubler, “An auditory oddball brain-computer interface
for binary choices,” Clinical Neurophysiology, vol. 121, no. 4, pp. 516–523, 2010.
[49] D. W. Kim, H. J. Hwang, J. H. Lim, Y. H. Lee, K. Y. Jung, and C. H. Im,
“Classification of selective attention to auditory stimuli: Toward vision-free
brain-computer interfacing,” Journal of Neuroscience Methods, vol. 197, no. 1,
pp. 180–185, 2011.
[50] D. J. Mitchell, N. McNaughton, D. Flanagan, and I. J. Kirk, “Frontal-midline
theta from the perspective of hippocampal quot;thetaquot;,” Progress in Neurobiology,
vol. 86, no. 3, pp. 156–185, 2008.
[51] K. Inanaga, “Frontal midline theta rhythm and mental activity,” Psychiatry
and Clinical Neurosciences, vol. 52, no. 6, pp. 555–566, 1998.
[52] T. Demiralp and E. Basar, “Theta-rhythmicities following expected visual and
auditory targets,” International Journal of Psychophysiology, vol. 13, no. 2,
pp. 147–160, 1992.
