Zijn jouw muziekgedachten te kraken? Reconstructie van beluisterde en ingebeelde muziek uit hersenactiviteit

‘Is dit realiteit, of slechts fantasie?’ Freddie Mercury zong er al over in 1975. Misschien spoken de volgende lijnen van dit legendarische lied nu door je hoofd. Een privéconcert in jouw brein dat alleen jij kan horen... Maar wat zou je doen als ik je vertel dat ik jouw ‘muziekgedachten’ kan raden?

Het muzikale brein

Heb je ooit al eens nagedacht wat voor een prachtig en complex proces muziek in onze hersenen opwekt? We kunnen een lied meezingen of meespelen op een instrument, of zin krijgen om te dansen. Onze stemming kan erdoor veranderen of het kan ons doen herinneren aan dat éne moment in ons leven. Zelfs zonder externe geluidsbron kunnen we ons perfect inbeelden hoe ons lievelingslied klinkt op de radio! Misschien blijft het nummer wel in je gedachten spelen, als een echte oorwurm, vaak tot vervelens toe...

Muziek wekt veel verschillende reacties op in ons brein, daardoor weten we dat een groot aantal gebieden in de hersenen actief zijn tijdens het beluisteren en inbeelden van muziek. Hoe al deze hersengebieden precies samenwerken tijdens het beluisteren of bedenken van een specifiek lied, is echter nog niet geweten. Die kennis zou tot allerlei toepassingen leiden waarbij we ons helemaal in sciencefiction films wanen. Wanneer je de volgende keer muziek beluistert of je een lied inbeeldt, stel jezelf dan de volgende vraag: zou het mogelijk zijn om vanuit jouw hersenactiviteit een lied te reconstrueren? Meer nog, zouden we jouw ‘muziekgedachten’ kunnen lezen en zeggen welk lied je aan het beluisteren/bedenken bent?

Er was eens een gekke muts...

Om dit te onderzoeken, is er allereerst een manier nodig om de muziekactiviteit te meten. Die activiteit bestaat uit de werking van onze neuronen, die via elektrische signalen - of ionenstromen - met elkaar communiceren. Deze ionenstromen zijn meetbaar, bijvoorbeeld via een elektro-encefalogram (EEG). Dit toestel bestaat uit talrijke elektroden die door middel van een soort muts op het hoofd geplaatst worden, om hersensignalen synchroon doorheen de tijd kunnen meten op verschillende locaties.

Op die manier luisteren proefpersonen in dit onderzoek naar afgespeelde liedjes of beelden ze zich liedjes in. De muziekkeuze is daarbij zeer gevarieerd: van kinderliedjes tot orkestwerken, met songteksten of puur instrumentaal... Bij elk van deze liedjes wordt de hersenactiviteit van de personen op alle elektrodelocaties geregistreerd.

Van hersenactiviteit naar liedje

Hoe reconstrueren we hier nu het beluisterde/ingebeelde lied uit?

Allereerst wordt bepaald welke kenmerken van een lied er precies gereconstrueerd dienen te worden. Daarbij wordt elk lied vanuit een complex audiosignaal omgezet naar een vereenvoudigde vorm met lage frequenties. Ook bij de EEG metingen worden verder alleen dezelfde lage frequenties gebruikt.

Daarna wordt er voor ieder liedje en proefpersoon een model opgesteld. Dit betekent dat de  metingen op alle locaties met elkaar gecombineerd worden, waarbij elke meting een ander gewicht – of belang – krijgt. Deze gewichten zijn op voorhand bepaald, door middel van machine learning. Machine learning laat een computer leren zoals een mens dat doet: door te trainen op voorbeelden, in dit geval andere beluisterde liedjes. Uiteindelijk leidt dit model tot één enkel signaal doorheen de tijd: de reconstructie van het overeenkomstige liedje, dat ideaal gezien zo goed mogelijk lijkt op het originele lied.

Wanneer we deze gereconstrueerde liedjes vergelijken met de originele voor het beluisteren van muziek, merken we voor deze techniek een algemeen goed resultaat op. Voor zo’n complex orgaan als de hersenen is het bijzonder dat goede resultaten gevonden worden met een simpele combinatie van signalen. Deze reconstructies leiden verder ook tot een verrassende resultaat qua muziektype: zo wordt volledig instrumentale muziek algemeen beter gereconstrueerd dan liedjes met een songtekst.

Voor ingebeelde muziek is het eerste resultaat echter niet goed, om twee redenen. Ten eerste zijn er veel mogelijkheden om ‘fouten’ – bijvoorbeeld qua tempo – te maken tijdens het inbeelden van muziek. Dit is echter een zeer complex probleem waarvan de oplossing niet voor de hand ligt. Daarnaast is het mogelijk dat proefpersonen pas op een later tijdstip van de metingen zich een lied beginnen in te beelden, waardoor een deel van de metingen onbruikbaar wordt. Door het startpunt van de metingen in het model te verleggen, worden ingebeelde liedjes gereconstrueerd die een significante gelijkenis vertonen met de originele muziek, wat een volledig nieuw resultaat in het onderzoek naar muziek en het brein oplevert.

Zijn jouw muziekgedachten te kraken?

Op basis van deze muziekreconstructies kunnen we raden welk liedje deze proefpersonen in gedachten hebben.

De methode die daarvoor gebruikt wordt kan gezien worden als een ‘stille’ versie van populaire apps zoals ‘Shazam’ op kleine schaal, maar dan voor het brein. De gereconstrueerde liedjes worden vergeleken met de gehele databank van alle originele liedjes die beluisterd/ingebeeld zijn, waarbij we een ‘match’ aanduiden met het meest vergelijkbare liedje. Zo kan een liedje geraden worden, puur gebaseerd op muzikale hersenactiviteit, zowel voor beluisterde als ingebeelde muziek. Daarnaast kunnen deze liedjes ook geklasseerd worden volgens muziektype (songteksten,instrumentaal...).

Uit dit onderzoek is aangetoond dat beluisterde/ingebeelde liedjes kunnen gereconstrueerd worden vanuit de hersenactiviteit van proefpersonen. Meer nog, met deze reconstructies kunnen we naast beluisterde, ook ingebeelde liedjes raden! Deze nieuwe resultaten van dit onderzoek werden in samenwerking met de mentor en promotor van deze thesis ingediend voor publicatie.

‘Is dit realiteit, of slechts fantasie?’ Misschien zijn futuristische toepassingen dan toch niet zo veraf meer...