Von der Skizze zum Bild mit Stable Diffusion und ControlNet

Eigene Zeichnungen und einfache Blender-Renderings als strukturelle Vorlage für Stable Diffusion.

Generiertes Bild eines Gebäudes mit Glaskugeln, nach einer Zeichnung
Jahr
2023
Kontext
Eigenes Projekt
Meine Rolle
Zeichnungen, 3D-Modelle, Bildgenerierung
Werkzeuge
Stable Diffusion, ControlNet, Blender

Umsetzung

Zwei Serien. In der ersten ist eine Zeichnung die Vorlage für ControlNet im img2img-Modus. In der zweiten ersetzt ein einfaches Blender-Rendering weicher, tonartiger Formen die Zeichnung.

Die Prompts bleiben innerhalb einer Serie gleich. Bei den Zeichnungen: „trash mountain, complex, highly detailed, intricate, … crepuscular rays, luminescence“. Die Zeichnung bestimmt die Komposition, der Prompt Material und Licht.

Jede Vorlage ergibt mehrere Varianten. Die Galerie zeigt Vorlage und Ergebnis nebeneinander.

Ergebnis

Das Projekt hat mich stark geprägt und zur KI-Kunst gebracht. Die Kontrolle im KI-Prozess war einer der spannendsten Wendepunkte in meiner Arbeit. Danach habe ich immer mehr experimentiert und mit KI gearbeitet. Es war auch der Startschuss für meinen heutigen Beruf.