Direkt zum Inhalt

Wahrnehmung: Wie Hören und Sehen im Gehirn zusammengehen

Heidelberg. Unsere Sinne funktionieren nicht wie separate Informationskanäle, sondern als eng verflochtenes Netzwerk. Was wir hören, hängt stark davon ab, was wir gleichzeitig sehen.
Die 5 Sinne

In den 1970er Jahren standen FBI-Agenten vor dem Problem, dass ihre Überwachungskamera zwei Verdächtige im Gespräch zeigten – nur leider ohne Ton. Da fiel ihnen ein, dass eine gehörlose Mitarbeiterin sich trotz ihrer Behinderung mit den Kollegen verständigen konnte, solange sie deren Mund sah. Wie erwartet deutete die Gehörlose den Dialog der Verdächtigen ohne weiteres: Die beiden waren dabei, illegale Glücksspiele zu organisieren. So begann die Karriere der ersten FBI-Expertin für Lippenlesen.

Mit dieser Anekdote illustriert der Psychologe Lawrence D. Rosenblum von der University of California in Riverside die so genannte multisensorische Sprachwahrnehmung. Gehörlose perfektionieren diese Fertigkeit, weil sie von Geburt an auf sie angewiesen sind, doch unbewusst verfügen wir alle über das gleiche Talent. Wir verstehen schlechter, was jemand sagt, wenn wir seine Lippen nicht sehen können – vor allem bei lauter Umgebung oder wenn jemand mit starkem Akzent spricht. Früh lernen wir, Gesprochenes nicht nur mit den Ohren, sondern auch mit den Augen wahrzunehmen. Deshalb brauchen blinde Kinder oft überdurchschnittlich lange, um gewisse Feinheiten des Sprechens zu lernen. Routinemäßig kombinieren wir die Worte, die wir auf den Lippen des Anderen sehen, mit den Worten, die wir hören.

Wie Rosenblum in der Januar-Ausgabe von Spektrum der Wissenschaft berichtet, hat sich durch die Erforschung der multisensorischen Sprachwahrnehmung unser Bild von der Arbeitsweise des Gehirns radikal gewandelt. Neurowissenschaftler meinten früher, das Gehirn bestehe wie ein Schweizer Taschenmesser aus separaten Modulen, die für unterschiedliche Sinne zuständig seien. Gemäß dem neuen Bild förderte die Evolution vielmehr die Wechselwirkung aller Sinne: Die sensorischen Regionen des Gehirns sind neuronal vernetzt.

Visuelle und akustische Eindrücke können sogar den Geschmack verändern. Besonders verblüffend ist, dass Orangensaft nach Kirsche schmeckt, wenn er rot gefärbt wird, und umgekehrt. Kaugeräusche, die man Versuchspersonen beim Probieren von Kartoffelchips vorspielt, beeinflussen das Geschmackserlebnis von Frische und Knusprigkeit. Das multisenorische Modell unterstreicht die unglaubliche Plastizität unseres Gehirns: Es kann die Hauptfunktion eines Areals quasi umschalten, wenn der Zustrom von Sinnesdaten auch nur kurz unterbrochen oder eingeschränkt wird. Zum Beispiel haben Hirnforscher in den vergangenen Jahren bestätigt, dass die Sehrinde einer Person, der nur eineinhalb Stunden lang die Augen verbunden werden, auf Tasteindrücke zu reagieren beginnt. Tatsächlich steigt dabei auch die Empfindlichkeit des Tastsinns. Ähnlich wirkt Kurzsichtigkeit: Oft verbessert sie das Gehör und die räumliche Orientierung.

Generell kommt eine gegenseitige Hilfestellung der Sinne viel häufiger vor als früher angenommen. Diese Erkenntnis nützt bereits heute Gehörlosen. So hat sich gezeigt, dass ein Cochleaimplantat schlechter funktioniert, wenn das Gehirn schon allzu lange Zeit hatte, den vernachlässigten auditiven Kortex auf andere Wahrnehmungsformen wie Sehen und Fühlen umzuprogrammieren. Darum empfehlen Experten, gehörlos geborene Kinder möglichst früh mit Cochleaimplantaten auszustatten. Danach sollen die kleinen Patienten Filmszenen mit Sprechenden betrachten, damit sie lernen, die Lippenbewegungen mit der gehörten Sprache zusammenzuführen.

Auch Techniker, die Geräte zur Gesichts- und Spracherkennung entwickeln, profitieren von der Erforschung der multisensorischen Wahrnehmung. Spracherkennungssysteme versagen oft schon bei mäßigem Hintergrundlärm. Wenn man solchen Programmen beibringt, Aufnahmen von Mundbewegungen zu analysieren, arbeiten sie viel genauer; die Methode funktioniert bereits mit den in Smartphones und Laptops installierten Kameras.

Abdruck honorarfrei bei Quellenangabe: Spektrum der Wissenschaft, Januar 2014
Ein Beleg wird erbeten.

Schreiben Sie uns!

Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.

Partnerinhalte