Die künstliche Gitarrenintelligenz
Das oberösterreichische Start-up Fretello möchte mit einer Smartphoneapp beim Gitarrelernen helfen. Das Spiel des Nutzers wird dabei per Artificial Intelligence analysiert, um den Lehrplan individuell anpassen zu können.
Beim Erlernen eines Instruments wie der Gitarre können auch Erkenntnisse aus der Sportwissenschaft behilflich sein. Immerhin geht es zuerst darum, Koordination und Feinmotorik der Finger zu verbessern, Bewegungsabläufe zu wiederholen und entsprechendes Muskelgedächtnis aufzubauen. Bei diesem Lernvorgang, so dachten sich Florian Lettner und Wolfgang Damm, könnten Sensorik und Rechenkraft eines Smartphones gute Dienste leisten.
Das Angebot an Apps, die das Gitarrenspiel lehren, ist nicht gerade knapp. Dennoch konnte sich Fretello, wie die beiden Absolventen der FH Oberösterreich in Hagenberg ihre Anwendung nannten, durchsetzen, was – laut Lettner – derzeit 200.000 Downloads und über 100.000 registrierte Benutzer bezeugen. Ein Argument für ihre Lernplattform sind ausgeklügelte Artificial-IntelligenceAlgorithmen, die zielgerichtete Hilfestellung beim Üben von Pop- und Rockmusikstücken lichen.
Musik spielte für die Gründer immer eine wichtige Rolle. Lettner spielte bereits mit 14 in einer Punkband. Schlagzeug lernte er an der Musikschule, Gitarre brachte er sich selbst bei. Der berufliche Werdegang führte über ein Mobile-Computing-Studium in Hagenberg zur ersten eigenen Firma, in der er mit Damm im Auftrag eines US-Anbieters Software für 360-Grad-Kameras entwickelte. 2016 war klar, dass man etwas Neues machen wollte – da lag die Musik nahe. Lettner: „Wir hatten das technische Know-how und die Erfahrung in der Forschung.“
Trainingspläne
ermög-
Möchte man Solieren, Technikaufbau oder das Nachspielen von Songs lernen? Darstellung in Noten oder Tabulatur? Kann man bereits Sechzehntelnoten oder Triolen spielen? Nachdem Vorlieben und Kenntnisse abgefragt sind, erstellt Fretello – auch auf Ba- sis des Musikgeschmacks, der sich in Social-Media-Vorlieben spiegelt – einen Trainingsplan. Der Algorithmus wählt für die 20-minütigen Einheiten, die mehrmals pro Woche zu absolvieren sind, aus 20.000 Übungen und 7000 Musikstücken, erläutert Lettner.
Während des Übens „hört“die App nun dem Musikschüler zu. Kontrolliert wird nicht nur, ob der richtige Ton gespielt wird. Auch das Spieltempo wird vermessen. Die Artificial Intelligence, die mithilfe eines großen Datensatzes trainiert wurde, um Audiosignale klassifizieren zu können, erkennt Abweichungen aller Art und schließt auf ihre Fehlerquelle – etwa wenn Störgeräusche entstehen, weil eine der Saiten nicht richtig gedrückt wurde. „Unser System erkennt, welche leichten oder schweren Fehler häufig vorkommen und gibt Feedback – beispielsweise in Form eines Videos, das zeigt, wie man die Spielweise anpassen kann“, sagt Lettner.
Zusammenklang
Das funktioniere unabhängig vom Musikstück und beim Zusammenklang von Akkorden genauso wie bei Improvisationen, bei denen kontrolliert wird, ob die gespielten Töne zusammenpassen. Zu den Forschungspartnern des Start-ups gehören neben der FH Hagenberg und der JKU Linz aktuell vor allem das Austrian Research Institute for Artificial Intelligence (OFAI) in Wien.
Die App könne den Unterricht durch einen Musiklehrer und die Erarbeitung einer korrekten Spielweise unterstützen. Schwieriger sei es dagegen, mit diesen Mitteln an Artikulation oder eigenem Stil zu arbeiten, räumt Lettner ein. „Die emotionale Komponente ist aktuell nicht unser Ziel.“
Die Gründer, beide Anfang 30, konnten den finanziellen Grundstein zu Fretello, an dem zurzeit elf Personen arbeiten, durch den Erfolg ihrer ersten Firma legen. Die Prototypumsetzung gelang durch zwei Projekte, die von der Förderagentur FFG unterstützt wurden. 2016 war eine erste Version online, Anfang 2018 konnte durch die Puls-4-Show 2 Minuten, 2 Millionen ein Investment von 300.000 Euro lukriert werden. Für Nutzer kostet die Anwendung nach einer Testphase zehn Euro pro Monat oder 100 Euro pro Jahr.
Im Moment verhandeln die Gründer mit großen Musikpublishern und Rechteinhabern über Kooperationen. Lettner: „Künftig soll es möglich sein, dass die Nutzer nicht nur Übungen absolvieren, sondern auch ihre Lieblingssongs nachzuspielen lernen.“pfretello. com