1. Kurzbeschreibung

„Seeing the Sound“ ist ein interaktives VR-Erlebnis, das Klang sichtbar macht. Das Projekt entstand aus dem Wunsch, Musik und Geräusche nicht nur hörbar, sondern auch sichtbar und erlebbar zu machen. Mithilfe eines Audioanalyzers werden Hoch-/Mittel- und Tieftöne in Echtzeit ausgewertet und in Farben und Licht im Raum umgesetzt. Der Fokus liegt nicht nur auf Musik, sondern auf Klang im Allgemeinen. Das Ergebnis ist eine immersive Umgebung, in der jeder beliebige Ton Teil der Erfahrung werden kann.

2. Filmische Dokumentation

3. Bilder der Umsetzung / Anwendung / Ausstellung

4. Finales Pitch Deck

5. Userflow

6. Designprozess

7. Links zu Quellcode & Prototypen

Cables.gl:
https://cables.gl/p/vXY7gQ

_________________________________________

Themensammlung

Links:

Soundeffekte 

Sound in Videospielen 1

Sound in Videospielen 2

Movies with wrong music

Musik-Historie

Musik-Effekt auf Körper

Gemeinsames Brainstorming mit Julia.

Korg NTS-3 kaos pad kit

Medien- & Projektsammlung

Erweiterte Projektsammlung

What How Why

Pitch Deck

Ausbreitung der Möglichkeiten

Übersicht Konzepte

Raum X001 in Blender

Stand: 5.05.25

Stand 18.05.25

Stand: 25.05.25

Exakte Raummaße

Blender – Sound to samples

Verschiebung auf Z-Achse

Puls

Farbe im X001

Luma AI – Interactive Scenes

Link zum Experiment

Cables.gl – Interaktivität

Stand 25.05. 

Sound Experiment 1

Stand 01.06.

MicrophoneIn & X001-Modell

X001 Sound to Light 3D Modell

Reinladen einzelner 3D-Modelle (fail)

X001 einzelne Elemente

Versuch des Debuggings & Durchblick

Stand 12.06.

Soundanalyse – Testing

Unterteilung in Hoch-, Mittel- & Tieftöne

Link zum Patch

Austausch der Büsten (Optimierungsbedarf)

VR-Testing mit vorhandenem Beispiel

Testing mit Büsten

Stand 22.06.

Stand 29.06.

Testing der Tief- & Hochtöne

Die verschiedenen Objekte reagieren erfolgreich auf Hoch-, Mittel- und Tieftöne.

5 Audiofiles einbetten (Fail)

Plakat Icons

Hilfe im Forum

Update: Nach einer Woche kam keine Antwort.

Stand 06.07.

Modell in VR sichtbar machen

Im folgenden Patch probierte ich die unterschiedlichen Lösungsmöglichkeiten aus, die ich auf Miro zusammengetragen habe:
https://cables.gl/p/k1yJ4Q

Um das Problem zu lösen, dass mein 3D-Modell in der VR-Brille nicht sichtbar ist, bin ich systematisch vorgegangen:

Ich habe mir Tutorials angesehen ( Importing GLTF Scenes & Mesh not showing in Edit mode) und gezielt Unterstützung durch ChatGPT eingeholt. Anschließend habe ich das offizielle VR-Beispiel aus Cables.gl vereinfacht, da dieser Patch in der VR-Brille funktioniert. Dabei habe ich nach und nach einzelne Nodes entfernt, um herauszufinden, welche für die Anzeige des Modells entscheidend sind (reduzierter VR-patch ). Dieses reduzierte Setup habe ich dann schrittweise in mein Sound-Patch integriert.

Zusätzlich habe ich die VRController-Nodes eingebaut. In der Cables-Preview im Headset werden sie korrekt angezeigt, in der VR-Ansicht sind sie jedoch nicht sichtbar – ebenso wie mein gesamtes Modell. Trotz aller Anpassungen und Tests wird mein Modell in der VR-Brille weiterhin nicht dargestellt.

Back-Up Plan

In meinem Projekt wird Klang visuell erfahrbar gemacht. Ziel ist es, Musik erlebbar zu machen – nicht nur durch das Hören, sondern auch durch das Sehen. Gleichzeitig dürfen auch Klänge und andere Sounds Teil der Erfahrung sein.

Ich habe mich bewusst für den AudioAnalyzer entschieden, da er flexibel auf alle Umgebungsgeräusche reagiert – ob Musik, Sprache oder Geräusche – und die unterschiedlichen Frequenzbereiche live analysiert. Daraus entstehen visuelle Reaktionen im Raum: Farben, die je nach Tonhöhe und Intensität variieren.

Der Fokus liegt somit nicht nur auf Musik, sondern auf Klang im Allgemeinen. Der Titel „Seeing the Sound“ unterstreicht diese Offenheit und zeigt, dass jeder beliebige Ton Teil der Erfahrung werden kann.

Um Hintergrundgeräusche zu minimieren, habe ich die Lautstärke des MicrophoneInput auf 0.3 reduziert. Zusätzlich wurde eine mögliche Rückkopplung verhindert, indem der Audio-Output stummgeschaltet wurde.

Gezeigt wird das Projekt im VR-Viewmode, mit einfachen OrbitControls und leuchtenden Farben. Die vollständige Integration in die VR-Brille war zwar geplant, scheiterte jedoch an technischen Einschränkungen im Zusammenspiel von Cables.gl und dem Modell. Stattdessen wird der Patch im Viewmode gezeigt, da er dort stabil läuft und über den Browser dennoch mit der VR-Brille betrachtet werden kann.

UPDATE:

Das Modell konnte in VR gebracht werden, nachdem der Patch von Grund auf neu aufgebaut wurde. Es war ein Fehler, der durch das Kopieren aus anderen Patches entstand. Danach wurde das Modell aber nur auf einem Auge angezeigt. Auf 2 Augen wurde es sichtbar, nachdem der „Clear-color“-Node entfernt wurde, da dieser den Shader der VR-Brille störte.

Finaler Prototyp

Link zur Sound-Experience

Userflow

Plakat

Moodboard

Plakatskizze

Finale Plakatvarianten

Ausstellungssituation

Skizze

Plot

Anleitung & Beschreibungstext

Finale Austellungssituation