Augsburger Allgemeine (Ausgabe Stadt)
Wenn der Computer Gebärdensprache spricht
Neue Technologie soll Text automatisch in Gebärden übersetzt
Weltweit gibt es etwa 70 Millionen gehörlose Menschen. Für viele von ihnen ist Textsprache eine Fremdsprache. Sie bedienen sich stattdessen der Gebärdensprache. Auch für sie eröffnen sich durch die Digitalisierung viele neue Möglichkeiten. Denn barrierefreie digitale Kommunikation für Menschen mit Behinderung vereinfacht deren Alltag und gewährleistet ihre gesellschaftliche Teilhabe.
In dem vom Bundesministerium für Bildung und Forschung geförderten Projekt arbeiten sechs Partner aus Forschung und Entwicklung unter der Leitung der Firma Charamel und der Beteiligung der Universität Augsburg an einem echtzeitgesteuerten 3D-gebärdensprach-avatar, der deutsche Texte automatisch in Gebärdensprache übersetzt. Im Projekt entsteht eine völlig neuartige Gebärdenanimationsmethode für 3D-avatare: Sie kombiniert solche des maschinellen Lernens mit regel-basierten Synthesemethoden, die Text in Gebärden abbildet. Zeitliche und räumliche Abhängigkeiten
der komplexen Gebärdenelemente werden dabei sehr genau aufgelöst. Damit wird eine qualitativ hochwertige, realistische Darstellung eines 3D-gebärdensprach-avatars erreicht. Entsprechende Angebote ermöglichen gehörlosen und hörbehinderten Menschen eine umfassendere gesellschaftliche Teilhabe und eine stärkere Integration in die „Digitale Gesellschaft“. Die Ergebnisse des Projektes werden gemeinsam mit der Gehörlosen-zielgruppe evaluiert und im Anwendungsfeld
Reiseinformation und -service mit assoziierten Partnern erprobt.
Augsburger Technologie im Einsatz
Im Projekt werden neue maschinelle Lernverfahren entwickelt, um Texte automatisch in Gebärdensprache für den 3D-avatar zu übersetzen. Als Trainingsmaterial für das maschinelle Lernverfahren werden schätzungsweise mehrere 10000 Datenpaare bestehend aus einem Text und der dazu korrespondierenden Übersetzung in Gebärdensprache benötigt. Die Aufbereitung und Codierung dieser Daten durch den Menschen ist mit einem immensen Zeitaufwand verbunden.
Dieser Aufwand wird durch eine teils automatische Codierung mit dem am Augsburger Lehrstuhl für Human-centered Multimedia entwickelten „Nova“-werkzeug erheblich reduziert. „Wir freuen uns sehr, dass wir mit unserer Technologie in Augsburg dazu beitragen können, digitale Medien für Gebärdensprachler schneller zugänglich zu machen“, meint die Augsburger Informatikerin Prof. Dr. Elisabeth André.
Ihr Lehrstuhl für Humancentered Multimedia an der Universität Augsburg hat sich auf internationaler Ebene als Experte für Forschung und Entwicklung an der Schnittstelle von Künstlicher Intelligenz und Mensch-maschine Interaktion etabliert.