Keystroke: KI-Visuals in Echtzeit vom Klavier

Idee

2014 hat meine Bachelorarbeit „Synesthesy“ aus der Harmonie am Klavier Bilder in Echtzeit gemalt. Keystroke ist die neue Fassung, komplett neu in Python geschrieben, mit heutigen KI-Werkzeugen.

So funktioniert es

1. Hören: MIDI vom Klavier geht in ein kleines neuronales Netz, das Tonart und harmonische Funktion erkennt.
2. Tiefe: Ein GPU-Renderer (moderngl, Signed Distance Fields) macht aus den Tönen eine Depth-Map mit 30 fps.
3. Malen: Für die Bühne rendere ich Bild-Banken mit ComfyUI vor. Jede Bank hat 18 Ebenen, zugeordnet den harmonischen Funktionen: Tonika, Subdominante, Dominante und ihre Parallelen.
4. Performance: Live arbeitet die Depth-Map wie eine Blende. In der Stille glimmt das Bild nur. Spielen öffnet es nach Tiefe. Die Harmonie wählt die Ebene, die Zahl der Töne die Breite, die Lautstärke die Helligkeit. Optical Flow hält die Bewegung bei 40 fps flüssig.

Ein iPhone filmt die Hände. OBS schneidet zwischen Bild und Kamera, in 16:9 oder 9:16.

Ergebnis

Das erste Stück, „What recurs, what wears“, wurde beim AI Art Magazine eingereicht.