TU Graz/ TU Graz/ Services/ News+Stories/

Brain Composer: Melodien auf das Notenblatt „denken“

06.09.2017 | TU Graz news | Forschung

Von Susanne Eigner

Forschende der TU Graz entwickeln neue Brain-Computer-Interface-Anwendung, mit der sich durch Gedankenkraft Musik komponieren lässt. Wie das funktioniert, zeigen sie aktuell im Fachjournal PLOS ONE.

Gernot Müller-Putz vom Institut für Neurotechnologie der TU Graz ist ein Experte für Gehirn-Computer-Schnittstellen. © Lunghammer - TU Graz

Gehirn-Computer-Schnittstellen, kurz BCIs, ersetzen ein Stück weit körperliche Funktionen: Körperlich beeinträchtigte Menschen können dank BCI-Technologie spezielle Prothesen über ihre Gedanken steuern, im Internet surfen oder E-Mails schreiben.

Unter dem Titel „Brain Composer“ zeigt eine Gruppe rund um den BCI-Experten Gernot Müller-Putz vom Institut für Neurotechnologie der TU Graz, dass auch andere Töne auf der Klaviatur der Brain-Computer-Interfaces erklingen können. Aus einer etablierten BCI-Methode, die hauptsächlich zum Buchstabieren, also Schreiben, mittels BCI dient, hat das Team eine neue Anwendung entwickelt, mit der sich Musik rein durch Gedankenkraft komponieren und aufs Notenblatt übertragen lässt. Alles, was es dazu braucht, ist eine spezielle Haube, die die Gehirnströme misst, das adaptierte BCI, eine Kompositionssoftware und freilich ein bisschen musikalisches Vorwissen. Das Grundprinzip der verwendeten BCI-Methode namens P300 ist rasch beschrieben: Verschiedene Optionen, etwa Buchstaben oder in dem Fall Noten, Pausen, Akkorde und Co. blitzen rasch nacheinander in einer Tabelle auf. Wer trainiert ist und sich auf die gewünschte Option fokussiert, während diese aufleuchtet, verursacht damit eine minimale Änderung der Gehirnströme. Das BCI erkennt diese Änderung und zieht daraus Rückschlüsse auf die gewählte Option.

Einen Eindruck vom Komponieren dank BCI vermittelt das kurze Video "Sheet Music by Mind".

Musikalische Testpersonen

Melodien auf ein Notenblatt „denken“ durften 18 Testpersonen, die Gernot Müller-Putz, Andreas Pinegger und Selina C. Wriessnegger vom TU Graz-Institut für Neurotechnologie sowie Hannah Hiebel, mittlerweile Institut für Allgemeine Psychologie der Karl-Franzens-Universität Graz, für ihre Studie ausgewählt haben. Alle Testpersonen waren in der Studienphase körperlich gesund und hatten ein gewisses musikalisches und kompositorisches Grundwissen, indem sie etwa selbst Instrumente spielen. Unter den Testpersonen war auch der 2016 verstorbene Grazer Komponist und Klarinettist Franz Cibulka. „Die Ergebnisse der BCI-Kompositionen können sich wirklich hören lassen. Und was noch wichtiger ist: Die Testpersonen hatten daran Freude. Schon nach einem kurzen Training konnten alle drauf los komponieren und ihre Melodien am Notenblatt sehen und dann auch spielen. Die sehr positiven Studienresultate mit körperlich gesunden Testpersonen sind der erste Schritt zur möglichen Erweiterung der BCI-Komposition für Patientinnen und Patienten.“, betont Müller-Putz.

„Nebenschauplatz“ der BCI-Forschung

Diese „Spielerei“, eher ein Nebenschauplatz der regen, auf körperlich beeinträchtigte Personen konzentrierten BCI-Forschung an der TU Graz, zeigt, in welche Richtungen es noch gehen kann. Es gibt mittlerweile erste Ansätze von BCI-Systemen auf dem Smartphone. Damit ließen sich BCI-Anwendungen leichter unter die Leute bringen, denn das Smartphone wird als leistungsfähiger Computer selbst Teil des BCI-Systems. Denkbar sind dann beispielsweise BCI-Apps, die Hirnsignale für unterschiedlichste Anwendungen analysieren können. „Vor 20 Jahren war die Vision, mit Gedankenkraft ein Musikstück zu komponieren, unvorstellbar. Jetzt sind wir soweit, und haben gleichzeitigt zig neue, andere Visionen, die teilweise noch weit entfernt von der Realität sind. Es dauert zwar noch, bis das reif für Alltagsanwendungen sein wird. Die BCI-Community arbeitet in vielen Richtungen mit Hochdruck.“, so Müller-Putz.

Zur Originalpublikation:
“Composing only by thought: Novel application of the P300 brain-computer interface”. Andreas Pinegger, Hannah Hiebel, Selina C. Wriessnegger, Gernot R. Müller-Putz. PLOS ONE, 6. September 2017.

Graz als Zentrum der BCI-Forschung

Die internationale Fachwelt für Gehirn-Computer-Schnittstellen tauschte sich von 18. bis 22. September in Graz aus, bei der Graz BCI Conference 2017, die mit einer besonderen Publikumsveranstaltung beendet wurde: einem BCI Science Slam am Freitag, den 22. September. Fünf Forschende bringen Ihre aktuellen Themen mit sechsminütigen Showeinlagen kreativ und verständlich auf die Bühne, das Publikum wählt anschließend den Sieger oder die Siegerin des Slams. .

Dieser Forschungsbereich ist an der TU Graz im Field of Expertise "Information, Communication and Computing" verortet, einem von fünf strategischen Schwerpunktfeldern. Die Forschung im Vorfeld dieser Veröffentlichung wurde aus dem 7. EU-Rahmenprogramm gefördert ( FP7/2007-2013, grant agreement n° 28-8566 FP7-ICT-2011-7).

Information

BCI-Forschung an der TU Graz:

EU-Projekt „Feel your Reach“ (ERC Consolidator Grant für Gernot Müller-Putz)

EU-Projekt „MoreGrasp“

Studierendenteam „Mirage 91“ (BCI Racing Team)

Kontakt

Gernot MÜLLER-PUTZ
Univ.-Prof. Dipl.-Ing. Dr.techn.
TU Graz | Institut für Neurotechnologie
Tel.: +43 316 873 30700
E-Mail: gernot.muellernoSpam@tugraz.at