Direkt zum Inhalt

Maschinelles Gedankenlesen: Gehörtes aus Hirnsignalen rekonstruiert

Spektrogramm

Mit einem Programm, das die Gehirnaktivität im Hörkortex in den ursprünglich gehörten Klang zurückübersetzt, sind Wissenschaftler der Verarbeitung gesprochener Sprache auf der Spur. Das Verfahren der Forscher um Brian Pasley funktioniert bereits so gut, dass sich das Wort erkennen lässt, das sie ihrem Probanden vorsprachen.

Für ihre derzeitige Studie hatten sich die Wissenschaftler der University of California in Berkeley an Freiwillige gewandt, denen eine Gehirn-OP im Bereich des linken Schläfenlappens bevorstand und deren Schädel daher für genauere Untersuchungen geöffnet werden musste. Der Grund: Um an die nötigen Daten zu gelangen, mussten Pasley und Kollegen dünne Elektroden direkt auf der Kortexoberfläche ihrer 15 Patienten befestigen. Mit ihnen registrierten sie die elektrischen Signale der Nervenzellen, während die Probanden einsilbige Wörter hörten. Dann ließen sie den Computer lernen, aus dem Aktivierungsmuster auf die klangliche Gestalt des Ausgangsworts zurückzuschließen.

© Brian Pasley, UC Berkeley
Rekonstruierte Wörter
Die Wörter "Waldo", "structure", "doubt" und "property" jeweils im Original, in der Rekonstruktion mit Hilfe eines linearen Modells und mit Hilfe eines nichtlinearen Modells (hierbei werden Frequenzveränderungen berücksichtigt): Für menschliches Empfinden klingt die lineare Rekonstruktion besser, bei einer akustischen Analyse schneidet jedoch Modell 2 besser ab.

Wie Pasley und Kollegen erläutern, sei ein solches Verfahren für Hirnforscher vor allem deshalb interessant, weil es ihnen etwas über die Art verrate, wie die Areale der Hörwahrnehmung Informationen kodieren und weiterverarbeiten. Ihr Mustererkennungsprogramm kann nämlich nur dann richtig funktionieren, wenn sie mit ihren Annahmen über den zu Grunde liegenden Kode richtig lagen.

So zeigte sich beispielsweise, dass die Neurone in den untersuchten Arealen nicht nur auf die reine Frequenzverteilung spezialisiert sind, die einen Gesamtklang ausmachen. Vielmehr spiegelt die Nervenzellaktivität auch schnelle Frequenzveränderungen wider, wie sie für Sprachlaute typisch sind. Als die Wissenschaftler den Computer danach suchen ließen, ob in den Hirnaktivitätsmustern solche Frequenzverschiebungen kodiert sind, erhielten sie merklich genauere Rekonstruktionen.

Noch zählen die Experimente eher zur Grundlagenforschung, meinen die Wissenschaftler. Eines Tages könnte ein ähnliches System jedoch auch Patienten zugutekommen, die auf Grund einer Krankheit die Fähigkeit zum Sprechen verloren haben: Da innerer Monolog vermutlich dieselben Hirnareale aktiviert, die die Forscher jetzt im Fokus hatten, könnte ein weiterentwickeltes Rekonstruktionsprogramm den Patienten eine Stimme zurückgeben. Dazu wird es allerdings auch nötig sein, die Hirnaktivitätsmuster auf einem weniger invasiven Weg zu erfassen.

Schreiben Sie uns!

Beitrag schreiben

Wir freuen uns über Ihre Beiträge zu unseren Artikeln und wünschen Ihnen viel Spaß beim Gedankenaustausch auf unseren Seiten! Bitte beachten Sie dabei unsere Kommentarrichtlinien.

Tragen Sie bitte nur Relevantes zum Thema des jeweiligen Artikels vor, und wahren Sie einen respektvollen Umgangston. Die Redaktion behält sich vor, Zuschriften nicht zu veröffentlichen und Ihre Kommentare redaktionell zu bearbeiten. Die Zuschriften können daher leider nicht immer sofort veröffentlicht werden. Bitte geben Sie einen Namen an und Ihren Zuschriften stets eine aussagekräftige Überschrift, damit bei Onlinediskussionen andere Teilnehmende sich leichter auf Ihre Beiträge beziehen können. Ausgewählte Zuschriften können ohne separate Rücksprache auch in unseren gedruckten und digitalen Magazinen veröffentlicht werden. Vielen Dank!

Partnerinhalte

Bitte erlauben Sie Javascript, um die volle Funktionalität von Spektrum.de zu erhalten.