Region: Augsburg Stadt

Gemeinsam musizieren in virtueller Realität: Augsburger Forscher entwickeln Software für Musiker

Mit einem speziellen VR-Headset ausgestattet, testet der Gitarrist und Wissenschaftliche Mitarbeiter am Lehrstuhl für Menschenzentrierte Künstliche Intelligenz, Silvan Mertes, die neue Software in einem der Labore an der Universität Augsburg.

Die weltweit größte wissenschaftliche Konferenz für Virtual Reality, "IEEE VR" hat eine Forschergruppe aus Augsburg und dem neuseeländischen Auckland für die Entwicklung eines Software-Systems ausgezeichnet, das es Musikern an verschiedenen Orten ermöglichen soll, sich in Echtzeit zu verbinden. Bei herkömmlichen Lösungen wie Videokonferenz-Software kommt es nämlich in der Regel zu starken Verzögerungen in der Übertragung, die ein gemeinsames Musizieren unmöglich machen. Dieses Problem wollen die Forscher, darunter Mitarbeiter des Lehrstuhls für Menschzentrierte Künstliche Intelligenz der Universität Augsburg, lösen. Aktuell läuft die Suche nach Probanden für eine Weiterentwicklung des ersten Prototyps.

Dass Musiker zwanglos zusammenkommen, aus dem Stegreif ein paar Akkorde spielen und improvisieren, das hat das bislang nur reibungslos funktioniert, wenn sich alle am gleichen Ort befanden. "Die Pandemie hat mich und viele andere Musiker voneinander getrennt", sagt Projektinitiator Ruben Schlagowski, wissenschaftlicher Mitarbeiter am Lehrstuhl für Menschzentrierte Künstliche Intelligenz. Sein Ziel war es, ein System zu entwickeln, das Musikern das Gefühl wirklicher Verbundenheit gibt, bis hin zu dem Eindruck, im selben Raum zu musizieren.

Um diesen Anforderungen zu entsprechen, entschieden sich die Forscher, die Möglichkeiten der sogenannten "Gemischten Realität" oder "Mixed Reality" (MR) zu nutzen. Die MR vermischt die natürliche Wahrnehmung eines Nutzers mit einer künstlich erzeugten. „Bevor wir einen darauf basierenden Prototyp entwickeln haben, wollten wir erfahren, was sich unsere Zielgruppe von einem System wünscht“, erzählt Ruben Schlagowski. Im Vorfeld führte das Forscherteam eine Fokusgruppenstudie durch, die vom Lehrstuhl für Menschzentrierte Künstliche Intelligenz unter der Leitung von Professor Elisabeth André organisiert und von Forschern vom Empathic Computing Labs in Auckland unter der Leitung von Professor Mark Billinghurst unterstützt wurde.

Unterstützung bekam die Forschergruppe auch von Professor Susanne Metzner vom Leopold-Mozart-Zentrum. Sie half bei der Akquise von Studienteilnehmern. Die ausgesuchten Musiker – eine Gruppe aus Professionellen und Amateuren – halfen dabei, einen Anforderungskatalog an ein neues System zu erstellen. Während sie mit einem bereits existierenden browserbasierten Online-Jamming-Tool miteinander musizierten, wurden sie in Online-Interviews befragt: Was stört Sie? Welche Elemente fehlen, damit sich das gemeinsame Musizieren so echt wie möglich anfühlt? Ruben Schlagowski sagt: "Das größte Problem war die zeitliche Verzögerung, die das Musizieren erschwert. Zusätzlich wünschten sich die Teilnehmer ein haptisches und visuelles Element."

Die Ergebnisse der Studie flossen in einen Prototyp ein, der sowohl das Problem der Latenz als auch den Wunsch nach haptischer und visueller Wahrnehmung angehen sollte. Das dazu verfasste Kurzpapier wurde von der international renommierten Konferenz ,IEEE VR‘ zu den besten vier unter 181 gewählt. Nun wird am Software-Verbundsystem in einer Laborstudie weiter geforscht. An der Universität Augsburg gibt es derzeit zwei benachbarte Labore, in denen Musiker das System testen können. Der Clou: Mit speziellen VR-Headsets ausgestattet, werden Hologramme eines Musikers in Echtzeit in die Nutzerumgebung des Mitmusikers projiziert. Nicht nur der Mensch wird in den Raum reinteleportiert, sondern auch sein Instrument. „Das Audiosignal wird in Echtzeit übertragen“, erklärt Schlagowski und ergänzt „beim Hologramm hingegen gibt es eine spürbare zeitliche Verzögerung, allerdings in keinem relevanten Umfang.“

Zur Studie reisten laut der Universität Augsburg bereits Musiker aus ganz Süddeutschland an und nutzten verschiedene Musikinstrumente wie Schlagzeuge, Akkordeons, Geigen, Ukulelen und Gitarren. Aktuell sucht das Forscherteam nach weiteren Probanden, ob Profi oder Amateur, die Lust haben, miteinander zu spielen und damit zur Forschung beizutragen. Es soll auch eine Aufwandsentschädigung geben. Interessenten wenden sich per E-Mail an dariia.nazarenko[at]student.uni-augsburg[dot]de. (pm)

Kommentare

Anmelden um Kommentare zu schreiben
 


X