Sehen und Hören in Einklang bringen

Medientechnologie. Forscher der FH St. Pölten vereinen für die Datenauswertung unseren Seh- und Hörsinn. Um Muster, Fehler oder Abhängigkeiten zu erkennen, sollen Inhalte grafisch und auditiv aufbereitet werden.

Ein Bild sagt mehr als tausend Daten. Das ist vielen klar: Unsere Sinne sind nicht dafür gemacht, in einem Haufen Daten Muster und Abhängigkeiten zu erkennen. Deswegen erstellen wir Grafiken und Statistiken, um Messergebnisse sinnvoll zu erfassen. Der Fachbereich dahinter heißt Visualisierung. Weil man aber nicht nur sehen, sondern auch hören kann, gibt es auch die Sonifikation, also das Fachgebiet, das Muster in Datenbergen hörbar macht.

„Wir wissen alle, dass die Menge und Komplexität von Daten ständig steigen und es nicht reicht, diese nur zu speichern: Wir müssen sie verstehen und analysieren können“, sagt Wolfgang Aigner, Leiter des Instituts für Creative Media Technologies an der FH St. Pölten. Sein aktuelles Forschungsprojekt SoniVis – finanziert vom Wissenschaftsfonds FWF – kombiniert erstmals das Sehen und Hören und vereint zwei Forschungsrichtungen. „Die Visualisierung hat dabei die längste Tradition: Es wird am häufigsten unser Sehsinn verwendet, um Muster in Daten zu erkennen.“Die jüngere Forschungsrichtung ist die Sonifikation, obwohl der Hörsinn ein gleichfalls effizienter Kanal ist, um Inhalte oder Fehler zu bemerken. „Ein einfaches Beispiel für Sonifikation sind Parksensoren beim Auto“, sagt Aigner. Das Piepsen ändert sich abhängig vom Abstand zur Umgebung: Die Töne der Sonifikation geben also Information weiter, und zwar mehr als ein simpler Signalton am Computer, der die Ankunft eines E-Mails meldet.

Bilder und Geräusche zugleich

An der FH St. Pölten wird schon lang in beiden Fachbereichen geforscht. Aber wie überall auf der Welt haben sich die Sonifikationsund Visualisierungsforscher bisher selten zusammengetan. „Beide Richtungen haben ihre eigenen Terminologien, Modelle und Anwendungen“, sagt Aigner.

Das neue Projekt der Grundlagenforschung soll eine audiovisuelle Darstellung schaffen, also Sehen und Hören integrieren – wie man es etwa von Ultraschall-Untersuchungen des Blutflusses kennt: Da erkennen Mediziner sowohl an den Bildern als auch an den Geräuschen, wie der Zustand des Körpers ist.

„Wir beginnen mit zeitorientierten Daten“, sagt Aigner. Das sind Messergebnisse in Zeitreihen, wie man derzeit etwa Grafiken mit Coronafällen über die Zeit betrachtet. „Der medizinische Bereich ist eines der Anwendungsgebiete, die uns interessieren.“Ein bestehendes Beispiel aus der Sonifikation ist etwa die Ganganalyse von Patienten, die an der FH St. Pölten erforscht wird. Neue Therapiemethoden machen die Kräfte, die zwischen Fuß und Boden bei jedem Schritt auftreten, hörbar: Der Patient bekommt den Klang des Gangs drahtlos im Kopfhörer eingespielt und kann Gehfehler erkennen und ausbessern.

Zudem kooperieren die Forscher mit industriellen Unternehmen, wobei auch Daten hör- und sichtbar gemacht werden. „In jeder Produktion können erfahrene Mitarbeiter an Geräuschen erkennen, ob eine Maschine oder ein Motor fehlerfrei läuft“, sagt Aigner. Eine Idee ist nun, in lauten Produktionshallen den Mitarbeitern die Ergebnisse der Sonifikation direkt in die Kopfhörer einzuspielen, die sie als Lärmschutz sowieso tragen, und dies mit Visualisierungen auf Bildschirmen zu kombinieren.