Orchesterprobe im virtuellen Konzertsaal

Zu authentischen Erlebnissen in virtuellen Welten gehören nicht nur gut aufbereitete visuelle, sondern auch akustische Eindrücke. Ein EU-Forschungsprojekt kümmert sich um die richtige Berechnung der Raumklänge.

In der Entwicklung virtueller Realitäten hat man sich bisher vor allem darum bemüht, die visuelle Illusion perfekt zu machen. Mithilfe von VR-Brillen kann man unheimliche Spukschlösser durchwandern oder abenteuerliche Hochschaubahnen jenseits jeglicher physikalischen Realität befahren. Doch was ist eigentlich mit der Akustik? Natürlich wird auch in aktuellen Anwendungen eine passende Geräuschkulisse im richtigen Moment ans Ohr gebracht. Aber was wäre dafür notwendig, einen Musiker mittels VR-Ausrüstung in einem Orchester mitspielen zu lassen, ein ganzes Orchester über virtuelle Realität miteinander zu vernetzen oder auch nur einem Zuhörer ein hochqualitatives Konzerterlebnis im virtuellen Raum zugänglich zu machen?

Das sind einige der Fragen, über die ein internationales Forscherteam im Projekt VRACE (Virtual Reality Audio for Cyber Environments) Gedanken macht. Das Projekt, das im Marie-Curie-Programm für Innovative Trainingsnetzwerke der EU gefördert wird, bringt 17 internationale Partner zusammen – neben Unternehmen wie dem VR-Brillen-Anbieter Oculus und dem Akustiktechniker Sennheiser sind Universitäten und Forschungseinrichtungen in Deutschland, Finnland, den Niederlanden Frankreich oder Großbritannien darunter.

15 Doktorarbeiten

Koordinator ist das Institut für musikalische Akustik – Wiener Klangstil der Universität für Musik und darstellende Kunst Wien (MDW); daneben ist in Österreich noch die TU Wien an Bord. Die Projektpartner rekrutierten im Herbst 2019 insgesamt 15 junge Forschende – vier davon sind aus Österreich –, die im Rahmen von VRACE ihre Doktorarbeit schreiben und ungelöste technische Fragen für die Verbesserung von Audio im Virtual-Reality-Bereich lösen sollen. „Unser letztes derartiges Projekt, das Forscher der Fahrzeug-, der Psycho- und der musikalischen Akustik zusammengebracht hat, zeigte, dass diese Initiativen viel bringen“, sagt Wilfried Kausel, Leiter des Instituts für musikalische Akustik des MDW. „Die Netzwerke, die dabei geformt werden, bestehen langfristig weiter.“

Die Doktoranden kümmern sich um recht unterschiedliche Teilaspekte aus der Grundlagen- wie der angewandten Forschung. Diese reichen von der Berechnung sich bewegender Geräuschquellen in Außenbereichen über die räumliche Modellierung des Klangs von Musikinstrumenten bis zum richtigen Timing zwischen visuellen und akustischen Inhalten in einer VR-Umgebung.

Was ist nun zu beachten, wenn man ein Orchester in die virtuelle Welt verfrachten möchte, wie es eines der Forschungsziele ist? „Wenn man sich in einem Konzertsaal bewegt oder nur den Kopf dreht, verändert sich auch der Klang. Diese Veränderungen muss man in der VR-Welt nachbilden, um ein immersives Erlebnis zu schaffen, das den künstlichen Charakter der virtuellen Realität vergessen lässt“, betont Kausel. Das räumliche Schallfeld, das eine Pauke erzeugt, ihr Standort im Raum, wie sie Schall abstrahlt und wie er sich mit anderen Schallfelder mischt und überlagert – all das muss berechnet werden und in Relation zu Standort und Ausrichtung des Zuhörers im virtuellen Raum ans Ohr geliefert werden.

Auch für die Akustik muss also letztendlich ein 3D-Raum simuliert werden, in dem Klangfelder samt ihrer spezifischen Eigenschaften verortet werden. Ein verteiltes Virtual-Reality-Orchesterspiel sei so laut Klausel zumindest über begrenzte Entfernungen, beispielsweise innerhalb Europas, denkbar. Werden die Daten über zu weite Strecken – etwa über Satellit oder Überseekabel – verschickt, wird die Latenz zu groß, um sinnvoll zusammen musizieren zu können.

Hoher Rechenaufwand

Der Rechenaufwand bei akustischen Simulationen erreicht ähnliche Ausmaße wie bei visuellen Daten. So wie beim sogenannten Raytracing der Weg von Lichtstrahlen durch den Raum simuliert wird, kann auch die Ausbreitung von Wellenfeldern simuliert werden. Während eine Lichtbeugung für die menschliche Wahrnehmung meist keine Rolle spiele, mache es aber sehr wohl einen Unterschied, wenn ein Wellenfeld um eine Säule fließt, erläutert Kausel. Mindernd auf den Rechenaufwand wirke immerhin, dass das menschliche Hörvermögen keine sehr hochauflösende Akustik wahrnimmt. „Eines der Forschungsthemen ist, wie gut die räumliche Rekonstruktion der Schallfelder überhaupt sein muss, um als realistisch wahrgenommen zu werden“, gibt Kausel ein Beispiel.

Denkbare Anwendungen für bessere VRAkustik gehen weit über virtuelle Konzertbesuche hinaus. Kausel zählt Musikunterricht an verteilten Orten, Telelearning oder Musiktherapie, an der im virtuellen Raum auch Menschen mit körperlichen Einschränkungen teilnehmen könnten, auf. Und natürlich würden Telekonferenzen von der authentischen Akustik, gepaart mit fotorealistischen Avataren, profitieren. Je realistischer das Setting, desto mehr Dienstreisen können vielleicht eingespart werden.

vrace-etn.eu