Mithilfe von Augmented Reality haben Wissenschafter einen virtuellen Konzertsaal geschaffen.
Forscher der Kunstuniversität Graz entwickelten ein System, das Musikschülerinnen und -schüler für Raumklang sensibilisiert. Auch Musizierenden in Isolation könnte es weiterhelfen.
Eine junge Pianistin tritt zum ersten Mal in ihrem Leben in einem Konzertsaal vor das Publikum. Während die Menge applaudiert, schreiten die Orchestermitglieder zu ihren Plätzen und nehmen die Instrumente zur Hand. Die Pianistin setzt sich an den Flügel und merkt, dass ihre Handflächen klamm sind, als sie die Tasten berührt. Sie ist nervös; vor dem Auftritt hat sie nur während der Generalprobe in diesem großen Raum gespielt. Die Akustik ist eine ganz andere, nicht zu vergleichen mit jener in ihrem Probensaal. Ihr Instrument klingt ungewohnt, vor allem in Kombination mit dem Raumhall.
Wie könnte man diese Frau besser auf diese Situation vorbereiten? Diese Frage stellte sich auch Matthias Frank vom Institut für Elektronische Musik und Akustik (IEM) der Kunstuniversität Graz: „Zum Proben in den Konzertsaal zu gehen ist schwierig, allein aufgrund der Raumverfügbarkeit. Deshalb war unsere Idee, ein Augmented-Reality-System zu bauen, das diese akustische Erfahrung in kleine Übungszimmer bringt.“
Frank leitet das Projekt Augmented Practice-Room, das vom Zukunftsfonds Steiermark finanziert wird. Neben der Berechnung und Gestaltung des Systems gehört auch die Evaluierung durch sieben Lehrpersonen mit jeweils fünf Musikschülerinnen und -schülern am Grazer Johann-Joseph-Fux-Konservatorium dazu. Daher gehören neben Wissenschaftern aus der akustischen Entwicklung auch Forscherinnen aus dem bildungswissenschaftlichen und musikpädagogischen Bereich zum Team.
Klang aufgenommen
Die Funktionsweise des Systems: Zunächst wird am Instrument dessen Klang mit einem Mikrofon aufgenommen und verarbeitet. Die Raumsimulation wird anhand eingestellter Eigenschaften berechnet, wie etwa der Raumgröße und der Reflexion der Oberflächen. So lässt sich der zusätzliche Hall, wie ihn das Instrument im virtuellen Raum produzieren würde, kalkulieren. Das Ergebnis wird per Lautsprecher oder Kopfhörer ohne den Instrumentenklang abgespielt. Die Kopfhörer dürfen den direkten Klang des Instruments nicht abdämpfen, sie wurden daher umgebaut und sind „offen“. Im Programm lässt sich einstellen, welches Instrument verwendet wird, wo im Raum man sich zum Spielen befindet und um welchen Raum es sich überhaupt handeln soll: Zur Auswahl stehen etwa Kammermusikraum, Konzertsaal und Kathedrale.
Besonders beim Spielen in einer Kirche fällt der Unterschied zum kleinen Probekammerl auf: Der lang anhaltende Nachhall erfordert ein leiseres Spielen als in einem sogenannten „trockenen“Raum, in dem der Schall absorbiert wird. Außerdem eignen sich langsame Lieder dort besser: „Schnelle rhythmische Änderungen werden dort durch das lange Nachklingen total verschmiert“, sagt Frank. „Schülerinnen und Schüler merken beim Anwenden des Systems, dass sie das kompensieren müssen und welche Musikstücke gut in welchen Raum passen.“So werden sie früher für unterschiedliche akustische Umgebungen sensibilisiert. Die, Kinder und Jugendlichen, die den Augmented PracticeRoom testen, haben Vorkenntnisse mit unterschiedlichen Niveaus: Wer sein Instrument sehr gut beherrscht, hört mit dem zugeschalteten System einen Unterschied und passt sich an.
Auch die Art des Instruments spielt für die Schallsimulation eine wichtige Rolle. „Eine Trompete schickt zum Beispiel einen sehr scharfen Schallstrahl in den Raum. So höre ich sie sehr direkt, auch wenn ich sehr weit weg bin. Wenn die Trompete von mir wegspielt, merke ich, dass es leiser wird.“Diese Eigenschaft heißt Richtcharakteristik und ist ein Forschungsthema des Instituts. Das Modell berechnet anhand der Charakteristik des ausgewählten
Instruments, wie sich der Schall entwickelt. Dafür gibt es einen Sender am Kopfhörer, der weiterleitet, in welche Richtung man sich beim Spielen wendet.
Diese und andere Parameter machen die Berechnung relativ aufwendig. Auch die Tatsache, dass das System ohne Zeitverzögerung funktioniert, erfordert eine gewisse Rechenleistung. Gleichzeitig war es dem Forschungsteam wichtig, erschwingliche Hardware zu benutzen, damit der „erweiterte Proberaum“vielleicht einmal von Schulen in den Musikunterricht einbezogen werden kann. Um keine teuren Geräte verwenden zu müssen und die Berechnungen schnell durchführen zu können, wird der virtuelle Raum in zwei Zeitzonen geteilt: einen frühen und einen späten Teil.
Erste Reflexionen des Schalls
Die ersten Reflexionen des Schalls sind eher diskret und einzeln hörbar, daher werden sie für den frühen Teil physikalisch genau kalkuliert. Dabei wird auch die Position berücksichtigt, an der sich der oder die Zuhörende befindet. Die späteren Reflexionen werden immer dichter und können nur noch diffus wahrgenommen werden. Daher wird dieser Teil unabhängig von der Position berechnet, so lässt sich Rechenleistung sparen.
Die Kosten der verwendeten Hardware belaufen sich in der sparsamsten Version auf etwa 600 Euro, was verhältnismäßig günstig ist. Es wird auch an einer App gearbeitet, die die Nutzung auf Mobilgeräten ermöglicht. Dabei hilft, dass die Genauigkeit der Schallwiedergabe reguliert werden kann – sozusagen die „räumliche Auflösung“. Mit Projektende im Herbst wird die Software als Open Source verfügbar sein.
Zuvor sollen laut Plan weitere Funktionen getestet werden, etwa die Aufnahme gespielter Stücke und eine Variante für kleine Ensembles, die so gemeinsam in einem virtuellen Raum spielen können. Aufgrund der Maßnahmen gegen die Coronavirus-Ausbreitung wurde die Studie vorläufig unterbrochen, die Forschenden wurden aber auch zu neuen Einsatzmöglichkeiten des Systems inspiriert. „Wenn ein Quartett miteinander proben will, die Mitglieder aber nicht im selben Raum sein dürfen, könnten sie theoretisch per Internet miteinander spielen, aber die Verzögerung ist momentan noch viel zu hoch“, sagt Frank. „Stattdessen könnte man in vier Räumen im selben Gebäude spielen, diese miteinander verbinden und das Ganze so klingen lassen, als würden alle gemeinsam in einem Konzertsaal spielen.“