Dieses Projekt besteht aus einem selbstgebauten SSTV (Slow Scan Television) Encoder und Decoder, die zusammen ein audiobasiertes Übertragungssystem für Bilddaten im Retro-Stil bilden. Der Encoder nimmt ein Live-Kamerabild auf, reduziert es auf Graustufenwerte und wandelt diese zeilenweise in Tonfrequenzen um, die nacheinander abgespielt werden. Die Frequenzen repräsentieren die Helligkeit einzelner Pixel und ermöglichen so eine serielle akustische Bildübertragung. Der Decoder analysiert dieses Audiosignal in Echtzeit , erkennt die gesendeten Frequenzen und rekonstruiert daraus das ursprüngliche Bild. Die Umsetzung erfolgt vollständig im Browser mittels p5.js. Beide Komponenten wurden im Stil früher Computerinterfaces gestaltet und kombinieren nostalgische Ästhetik mit moderner Webtechnologie. Das Projekt demonstriert kreative Datenübertragung, Grundlagen der digitalen Signalverarbeitung sowie experimentelle Kommunikationsmethoden ohne klassische Netzwerke.
Umsetzung
Pitch Deck
Userjourney / Userflow
Designprozess
0.1 Themensammlung
Sound
Structure
Experience
Instruments
0.2 Korg NTS-1
Der Korg NTS-1 ist ein Mini-Digitalsythesizer, welcher als DIY-Bausatz erhältlich ist. Der verbaute Oszillator erzeugt Sägezahn-, Dreieck-, Rechteck- und VPM-Schwingungsformen. Die analog modellierten Filter können auf den Oszillator angewendet werden oder als Effekte für den Audioeingang verwendet werden. Außerdem verfügt der Synthesizer über einen Hüllkurvengenerator und einen Arpeggiator.
0.3 Projektsammlung und Denkanstöße
MusicMap - Genres und Subgenres
Interaktive Einführung in Musiktheorie
Radio Garden - Radiosender der Welt
Yuri Suzuki - The World Ambient Sound Map
Chimes - Generatives Musikdesign
0.4 Experimente
Slow Scan Television (SSTV)
Slow Scan Television (SSTV) ist ein Verfahren zur Übertragung von Standbildern über Funk. Dabei wird ein Bild in Töne umgewandelt, ähnlich wie bei akustischen Modems, und über eine normale Funkverbindung gesendet. Am Empfänger werden diese Töne wieder in ein Bild zurückverwandelt. Die Übertragung eines einzelnen Bildes dauert – je nach verwendetem Modus – zwischen 30 Sekunden und zwei Minuten. SSTV wird vor allem im Amateurfunk verwendet, etwa von Funkamateuren auf der Erde oder auch von der Internationalen Raumstation (ISS), um Bilder zu senden. Bekannte SSTV-Modi sind zum Beispiel Robot36 oder Martin 1, die sich in Qualität und Übertragungsdauer unterscheiden. SSTV ist ein einfaches Verfahren um Bilder über große Entfernungen mit einfacher Technik zu übertragen.
Mithilfe der Software MMSSTV lassen sich Bilder (320×240px) in Tonspuren umwandeln. Es lassen sich verschiedene Modi auswählen, die sich in Geschwindigkeit, Genauigkeit und auch ihrem akustischen Verhalten unterscheiden.
Durch überspielen der durch MMSSTV generierten Tonspuren auf Kompaktkassetten entsteht ein digitaler Speicher der mit der gleichen Software wieder ausgelesen werden kann und relativ genau Bilder rekonstruieren kann.
Sound Visualisierung im Spektrogramm
Elektromagnetische Soundübertragung
P5js SSTV
Vorlage Encoder:
https://editor.p5js.org/michaelzoellner/sketches/kPpwSl3LP
Vorlage Decoder:
https://editor.p5js.org/michaelzoellner/sketches/Ik3zbExgb
Mit den Sketches als Vorlage wurde via trial and error eine funktionierende Anwendung gecoded und stilisiert.
Die ersten Systeme waren sehr störungsanfällig. Beispielsweise wurden falsch interpretierte oder nicht decodierte Pixel ausgelassen wodurch sich Verschiebungen im decodierten Bild abzeichnen. In späteren Systemen werden während des Übertragens falsch oder nicht gelesene Pixel weiß dargestellt. So wird sichergestellt, dass das decodierte Bild keine Verschiebungen aufweist sondern lediglich fehlende Informationen.
Die gewählten Frequenzen des Encoders sind in dem von Menschen hörbaren Frequenzbereich enthalten. Experimente mit annäherndem Ultraschall (16-20 kHz) waren wenig erfolgreich, was wahrscheinlich an fehlender Genauigkeit/Auslegung der Hardware liegt. Auch Frequenzen über 10 kHz waren sehr ungenau. Die final genutzten Frequenzen sind angepasst an das 12-tönige, gleichstufige Intervallsystem mit Kammerton A=440Hz um die Tongebung musikalischer zu gestalten. Im Code sind die Frequenzen sehr leicht austauschbar, allerdings hat sich der Bereich von 500-1500 Hz als funktionalster Bereich gezeigt.
In Referenz zur Visualisierung der Game Boy Camera wurde für die Bildaufnahme ein 2-Bit-Dithering-Filter verwendet, sodass 4 verschiedene Farben angezeigt werden können (Schwarz, Dunkelgrau, Hellgrau, Weiß).
Um den Retro-Videospiel-Charakter fortzuführen wurde eine passende Pixelschrift verwendet: Press Start 2P
Links zu Quellcode und Prototypen
Prototyp Encoder:
https://editor.p5js.org/gegenstaendeleben/full/ev_rwrOYV
Prototyp Decoder:
https://editor.p5js.org/gegenstaendeleben/full/-h9kPQHt1
Quellcode Encoder:
https://editor.p5js.org/gegenstaendeleben/sketches/ev_rwrOYV
Quellcode Decoder:
https://editor.p5js.org/gegenstaendeleben/sketches/-h9kPQHt1
