Beyond Sonification - making audible sense to data
Das Projekt untersucht die Interaktion von Bewegung, Ton und Farbe in Echtzeit in der Produktion von neuen Medien und Performances. Dafür wird eine Webapp verwendet, die Farbe in Klänge verwandelt (Synestizer), sowie weitere Softwares, die performative Praxen unterstützen. Drei Module sind geplant: (1) Technische Entwicklung, (2) Entwicklung von Lehreinheiten und (3) ein Festival mit Studierenden.
Mit einer Webapp, die Webcamdaten in Klänge umwandelt, kann man ein bewegtes Bild direkt als Klänge hören, eine sogenannte Sonifikation. Weiterhin bekommen die Klänge eine weitere Bedeutung, wenn die technische Sonifikation zur Klanggestaltung verwendet wird. Denn durch die Manipulation des für die Kamera Sichtbaren wird sowohl eine visuelle als auch eine akustische Kompositionsebene ermöglicht, das Bild wird als Ton erkundet und umgekehrt. Diese Forschung wird mithilfe der Open-Source-Software durchgeführt, die von uns entwickelt wurde, und für die verschiedenen Performances-Ideen bei der Echtzeitverwandlung von bewegten Bildern eingesetzt und erkundet. Dabei geht es immer wieder auch darum, das lokale Umfeld des Instrumentalisten oder der Instrumentalistin in die Musik einzubinden.