1. Kurzbeschreibung
„Seeing the Sound“ ist ein interaktives VR-Erlebnis, das Klang sichtbar macht. Das Projekt entstand aus dem Wunsch, Musik und Geräusche nicht nur hörbar, sondern auch sichtbar und erlebbar zu machen. Mithilfe eines Audioanalyzers werden Hoch-/Mittel- und Tieftöne in Echtzeit ausgewertet und in Farben und Licht im Raum umgesetzt. Der Fokus liegt nicht nur auf Musik, sondern auf Klang im Allgemeinen. Das Ergebnis ist eine immersive Umgebung, in der jeder beliebige Ton Teil der Erfahrung werden kann.
2. Filmische Dokumentation
3. Bilder der Umsetzung / Anwendung / Ausstellung
4. Finales Pitch Deck
5. Userflow
6. Designprozess
7. Links zu Quellcode & Prototypen
Cables.gl:
https://cables.gl/p/vXY7gQ
_________________________________________
Themensammlung
Links:
Gemeinsames Brainstorming mit Julia.
Korg NTS-3 kaos pad kit
Medien- & Projektsammlung
Erweiterte Projektsammlung
What How Why
Pitch Deck
Ausbreitung der Möglichkeiten
Übersicht Konzepte
Raum X001 in Blender
Stand: 5.05.25
Stand 18.05.25
Stand: 25.05.25
Exakte Raummaße
Blender – Sound to samples
Verschiebung auf Z-Achse
Puls
Farbe im X001
Luma AI – Interactive Scenes
Cables.gl – Interaktivität
Stand 25.05.
Stand 01.06.
MicrophoneIn & X001-Modell
Reinladen einzelner 3D-Modelle (fail)
Versuch des Debuggings & Durchblick
Stand 12.06.
Soundanalyse – Testing
Unterteilung in Hoch-, Mittel- & Tieftöne
Austausch der Büsten (Optimierungsbedarf)
VR-Testing mit vorhandenem Beispiel
Testing mit Büsten
Stand 22.06.
Stand 29.06.
Testing der Tief- & Hochtöne
Die verschiedenen Objekte reagieren erfolgreich auf Hoch-, Mittel- und Tieftöne.
5 Audiofiles einbetten (Fail)
Plakat Icons
Hilfe im Forum
Update: Nach einer Woche kam keine Antwort.
Stand 06.07.
Modell in VR sichtbar machen
Im folgenden Patch probierte ich die unterschiedlichen Lösungsmöglichkeiten aus, die ich auf Miro zusammengetragen habe:
https://cables.gl/p/k1yJ4Q
Um das Problem zu lösen, dass mein 3D-Modell in der VR-Brille nicht sichtbar ist, bin ich systematisch vorgegangen:
Ich habe mir Tutorials angesehen ( Importing GLTF Scenes & Mesh not showing in Edit mode) und gezielt Unterstützung durch ChatGPT eingeholt. Anschließend habe ich das offizielle VR-Beispiel aus Cables.gl vereinfacht, da dieser Patch in der VR-Brille funktioniert. Dabei habe ich nach und nach einzelne Nodes entfernt, um herauszufinden, welche für die Anzeige des Modells entscheidend sind (reduzierter VR-patch ). Dieses reduzierte Setup habe ich dann schrittweise in mein Sound-Patch integriert.
Zusätzlich habe ich die VRController-Nodes eingebaut. In der Cables-Preview im Headset werden sie korrekt angezeigt, in der VR-Ansicht sind sie jedoch nicht sichtbar – ebenso wie mein gesamtes Modell. Trotz aller Anpassungen und Tests wird mein Modell in der VR-Brille weiterhin nicht dargestellt.
Back-Up Plan
In meinem Projekt wird Klang visuell erfahrbar gemacht. Ziel ist es, Musik erlebbar zu machen – nicht nur durch das Hören, sondern auch durch das Sehen. Gleichzeitig dürfen auch Klänge und andere Sounds Teil der Erfahrung sein.
Ich habe mich bewusst für den AudioAnalyzer entschieden, da er flexibel auf alle Umgebungsgeräusche reagiert – ob Musik, Sprache oder Geräusche – und die unterschiedlichen Frequenzbereiche live analysiert. Daraus entstehen visuelle Reaktionen im Raum: Farben, die je nach Tonhöhe und Intensität variieren.
Der Fokus liegt somit nicht nur auf Musik, sondern auf Klang im Allgemeinen. Der Titel „Seeing the Sound“ unterstreicht diese Offenheit und zeigt, dass jeder beliebige Ton Teil der Erfahrung werden kann.
Um Hintergrundgeräusche zu minimieren, habe ich die Lautstärke des MicrophoneInput auf 0.3 reduziert. Zusätzlich wurde eine mögliche Rückkopplung verhindert, indem der Audio-Output stummgeschaltet wurde.
Gezeigt wird das Projekt im VR-Viewmode, mit einfachen OrbitControls und leuchtenden Farben. Die vollständige Integration in die VR-Brille war zwar geplant, scheiterte jedoch an technischen Einschränkungen im Zusammenspiel von Cables.gl und dem Modell. Stattdessen wird der Patch im Viewmode gezeigt, da er dort stabil läuft und über den Browser dennoch mit der VR-Brille betrachtet werden kann.
UPDATE:
Das Modell konnte in VR gebracht werden, nachdem der Patch von Grund auf neu aufgebaut wurde. Es war ein Fehler, der durch das Kopieren aus anderen Patches entstand. Danach wurde das Modell aber nur auf einem Auge angezeigt. Auf 2 Augen wurde es sichtbar, nachdem der „Clear-color“-Node entfernt wurde, da dieser den Shader der VR-Brille störte.
Finaler Prototyp
Userflow
Plakat
Moodboard
Plakatskizze
Finale Plakatvarianten
Ausstellungssituation
Skizze
Plot
Anleitung & Beschreibungstext
Finale Austellungssituation
