Surya Narreddi beschreibt zusammen mit Cameron Franz und Alex Wang im März 2026 ein Projekt, ein Sprachmodell darauf zu trainieren, mit Code zu malen. Ausgangspunkt ist eine Beobachtung: Bei einem Bildmodell besteht die einzige Möglichkeit zur Mitgestaltung im Prompt, und das Bild selbst lässt sich nicht direkt bearbeiten. Hier schreibt das Modell ein p5.brush-Programm in JavaScript, das ein Aquarell rendert; der Code ist das Artefakt, feiner editierbar als ein Prompt. Die zugrunde liegende Frage ist Reinforcement Learning auf kreativen Aufgaben: RL funktioniert, wenn die Belohnung verifizierbar ist, was bei Ästhetik nicht der Fall ist.

Die Schleife wird tausendfach wiederholt. Das Modell (Qwen 3.5 35B) erhält einen Prompt — etwa einen Pfirsich-Hibiskus in Aquarell — und schreibt den vollständigen Sketch; dieser wird als PNG in einer isolierten Puppeteer-Umgebung gerendert; ein Richtermodell vergleicht das Render mit zwei Referenzen aus einem handbewerteten Pool; das Urteil wird zur Belohnung; GRPO aktualisiert das Modell.

Das erste Belohnungsraster hatte neun Signale: ein Kompilierungs-Gate, p5.brush-Nutzung, eine Längenrampe um 3.000 Token, HPSv3 (ein Modell menschlicher Präferenzen), Prompt-Treue, beurteilt von GPT-5.4 und Gemini, sowie vier Qualitätsrichter. Das Modell plateaute bei 0,65, wobei alle Ausgaben flache, Clip-Art-artige Blumen waren. Die isolierte Betrachtung der Teilbelohnungen zeigte, dass fünf Richter zwischen 0,85 und 0,95 korrelierten, dass die Länge (ein Drittel der Gesamtsumme) bereits bei Schritt 30 gesättigt war und dass HPSv3, das einzige Signal mit echter Varianz, nur ein Gewicht von 0,10 trug.

Die Korrektur: paarweise Beurteilung (der Richter wählt das bessere Aquarell zwischen dem Render und zwei Referenzen; die Belohnung ist der Anteil gewonnener Vergleiche), was die Bewertungen stärker streut als ein komprimierter Absolutwert, zusammen mit einem Referenzpool aus 581 Bildern, gezogen aus 1.664 Generierungen, bewertet mit „love“, „okay“ oder „nope“ (117 „love“). Das Raster wird auf vier Komponenten reduziert: Kompilierungs- und Brush-Nutzungs-Gate (0,05), Länge (0,05), HPSv3 (0,30), paarweiser Richter (0,60). Mit demselben Modell und denselben Daten wird das alte Plateau dreimal schneller erreicht, der Fortschritt setzt sich fort, und der Code schrumpft von 13.500 auf unter 2.000 Token. Mangels menschlicher Beispiele sind alle Bilder im Pool Modellausgaben.

Der System-Prompt wurde ebenfalls mit GEPA überarbeitet: Eine 400-zeilige API-Referenz veranlasste das Modell, nicht existierende Methoden zu erfinden; nach 200 Iterationen gegen einen Richter mit sieben Beispielen erwies sich die beste Version als eine geschlossene Liste von acht Methoden, ohne Dokumentation. Der Autor schließt daraus, dass lange Referenzen in einem Prompt Halluzinationen begünstigen und dass eine kurze, scharf begrenzte Liste das Modell besser einschränkt.

Abschließend schreibt der Autor, dass subjektives RL eine handgefertigte Belohnung erfordert: zu spezifisch, und das Modell kopiert die Beispiele; zu locker, und es lernt nichts. Er präsentiert die Methode nicht als bessere Art, Bilder zu erzeugen, sondern als eine Möglichkeit, auf den Prompt, das Modell und das Artefakt einzuwirken. Ein abschließender Trainingslauf sowie ein technischer Bericht werden für Juni 2026 angekündigt.