Was passiert beim Lippenlesen im Gehirn?
Salzburger Forscher fanden heraus, dass Visuelles in akustische Signale umgewandelt wird.
SALZBURG. Jeder kennt die Situation: Bei einer lauten Party können wir einem Gespräch besser folgen, wenn wir das Gesicht unseres Gesprächspartners und allem voran seine Lippenbewegungen betrachten. Aber was genau passiert beim Lippenlesen im Gehirn?
Damit beschäftigt sich ein Team von Wissenschaftern der Physiologischen Psychologie um Anne Hauswald an der Universität Salzburg. Aufgrund der bedeutenden Rückschlüsse für Sprachverarbeitung bei hörgeschädigten Individuen kooperiert das Team zudem mit der HNO-Klinik in den Salzburger Universitätskliniken.
In einer Studie, die kürzlich in der renommierten Zeitschrift „Current Biology“veröffentlicht wurde, haben sich die Salzburger unter anderem gefragt, in welcher Form visuelle Informationen beim Lippenlesen verarbeitet werden. Dazu wurde an einer Gruppe von 24 Teilnehmern eine Magnetenzephalographie, eine Messung der magnetischen Aktivität des Gehirns, durchgeführt, während ih- nen Videos mit Lippenbewegungen ohne Ton vorgespielt wurden. Die Lippenbewegungen wurden dabei vorwärts und zum Vergleich auch rückwärts abgespielt.
Die Forscher fanden heraus, dass bereits auf der Ebene des sogenannten visuellen Kortex die visuellen Informationen in ein akustisches Format umgewandelt werden – allerdings nur bei vorwärts abgespielten Videos. Dies ist insofern bahnbrechend, als der visuelle Kortex – eine Region, die nach gängiger Meinung rein auf visuelle Reize reagieren sollte – für Sprachverständlichkeit empfänglich ist und mit einem Transformationsprozess reagiert: „Bei Beobachtung natürlicher Lip- penbewegungen fügt also der visuelle Kortex die ,akustische Hülle‘ hinzu, selbst wenn sie gänzlich im Signal fehlt“, erklärt Anne Hauswald.
In einem künftigen vom FWF unterstützten Projekt sollen auch Personen untersucht werden, die ihr Gehör verloren haben. Diese Forschung kann Folgen für die Rehabilitation nach Cochlea-Implantaten haben. Bei diesen Hörprothesen wird der Hörnerv direkt stimuliert und das geschädigte Innenohr umgangen. Die Salzburger Forscher vermuten, dass die von ihnen entdeckten Prozesse bei der Rehabilitation eine entscheidende Rolle spielen könnten.