Neurowissenschaftler können Songs aus der Gehirnaktivität rekonstruieren

2008 und 2015 wurde die Gehirnaktivität von 29 Patienten aufgezeichnet, die sich einer Epilepsieoperation unterziehen mussten. Während der Operation wurden den Patienten die Ohrstöpsel entfernt und ihnen der Song «Another Brick in the Wall, Part 1» von Pink Floyd vorgespielt. Die Forscher zeichneten die elektrische Aktivität von Hirnregionen auf, die auf Eigenschaften der Musik abgestimmt sind, wie Ton, Rhythmus, Harmonie und Worte.

Nun wurden diese Aufzeichnungen erneut mit neuer KI-Technik analysiert, um ein digitales Modell des Songs zu erstellen. Das Modell war in der Lage, den Song mit einer Genauigkeit von 80% zu rekonstruieren. Die Forscher konnten auch die musikalischen Elemente des Songs, wie Rhythmus, Betonung und Akzent, identifizieren. Ausserdem wurde bestätigt, dass die rechte Seite des Gehirns stärker auf Musik eingestellt ist als die linke Seite.

Hören Sie hier den rekonstuktierten Song «Another Brick in the wall» von Pink Floyd

Die Studie zeigt, dass es möglich ist, Gehirnwellen aufzuzeichnen und zu übersetzen, um die musikalischen Elemente der Sprache sowie die Silben zu erfassen.




Diese musikalischen Elemente, die so genannte Prosodie, tragen eine Bedeutung, die die Worte allein nicht vermitteln. Da diese intrakraniellen Elektroenzephalographie-Aufzeichnungen (iEEG) nur von der Oberfläche des Gehirns aus gemacht werden können - so nah wie man an die Hörzentren herankommt -, wird in absehbarer Zeit niemand die Lieder in Ihrem Kopf belauschen. Aber das ist ein technisches Problem.

In jüngster Zeit haben andere Forscher die Arbeit viel weiter vorangetrieben. In einer Studie an der UC San Francisco wurden Signale aus dem motorischen Bereich des Gehirns aufgezeichnet, der mit Kiefer-, Lippen- und Zungenbewegungen verbunden ist, um die von einem gelähmten Patienten beabsichtigte Sprache zu rekonstruieren, wobei die Wörter auf einem Computerbildschirm angezeigt wurden.

In dieser Arbeit, über die 2021 berichtet wurde, wurde künstliche Intelligenz eingesetzt, um die Gehirnaufzeichnungen eines Patienten zu interpretieren, der versuchte, einen Satz aus 50 Wörtern zu sprechen.

Während sich diese Technik als erfolgreich erwiess, deutet die neue Studie darauf hin, dass die Aufzeichnung aus den Hörregionen des Gehirns, wo alle Aspekte des Schalls verarbeitet werden, andere Aspekte der Sprache erfassen kann, die für die menschliche Kommunikation wichtig sind.

Die Forscher glauben, dass ihre Studie neue Wege zur Verbesserung der Kommunikation bei Menschen mit Sprachstörungen eröffnen könnte. Menschen mit Sprachstörungen haben oft Schwierigkeiten, flüssig und verständlich zu sprechen, wie man am Beispiel von Stephan Hawkins und seinem Sprachcomputer sehen kann. Die Forscher glauben, dass ihre Technik verwendet werden könnte, um die Prosodie der Sprache zu verbessern, was zu einer klareren und verständlicheren Sprache führen könnte.

Die Studie ist ein wichtiger Schritt in Richtung eines besseren Verständnisses der Funktionsweise des Gehirns bei der Verarbeitung von Musik. Die Forscher glauben, dass ihre Arbeit dazu beitragen könnte, neue Technologien zu entwickeln, die Menschen mit Behinderungen helfen können, sich besser zu kommunizieren.

Die Studie wurde in der Zeitschrift PLOS Biology veröffentlicht.