MindStudio Team veröffentlicht einen Explainer (12. Juni 2026) über modèles de langage par diffusion anhand von Diffusion Gemma, der ersten Implementierung dieser Architektur mit open weights, von Google.

Ausgangspunkt ist ein Gegensatz zwischen Paradigmen. Die heute dominierenden autoregressiven Modelle (GPT-4, Claude, Standard-Gemma) generieren Text sequenziell, ein Token nach dem anderen, von links nach rechts, über kausale Aufmerksamkeit. Jede Ausgabe hängt von allen vorangehenden Tokens ab: Die Generierung kann über Positionen hinweg nicht parallelisiert werden, und jedes Token ist nach der Erzeugung eingefroren — das Modell kann seine Entscheidungen nicht revidieren.

Diffusions-Modelle gehen anders vor: Sie gehen von einer verrauschten/maskierten Sequenz aus und verfeinern sie iterativ hin zu einer kohärenten Ausgabe (masked diffusion, oder absorbing diffusion). Der Forward-Pass maskiert Tokens schrittweise; das Modell lernt, sie zu rekonstruieren; die Inferenz kehrt den Prozess über mehrere einstellbare Denoising-Schritte um. Die Aufmerksamkeit ist bidirektional: Das Modell sieht die gesamte Sequenz in beide Richtungen und kann jede Position in jedem Schritt aktualisieren — frühere Tokens „noch einmal überdenken“. Die Metapher: einen Entwurf schreiben und ihn dann überarbeiten, statt eine endgültige Fassung Wort für Wort zu verfassen.

Diffusion Gemma: 2 Milliarden Parameter, Transformer-Basis abgeleitet von Gemma 2, veröffentlicht Anfang 2025, Gewichte auf Hugging Face (Google DeepMind), außerdem auf AI Studio und Vertex AI. Die zentralen Anpassungen: Entfernung der kausalen Maskierung, noise conditioning und gleichzeitige Vorhersage von Verteilungen über alle maskierten Positionen.

Vorteile: Parallelität (ein 500-Token-Text würde 50-100 Schritte statt 500 sequenzieller Durchläufe benötigen, somit potenziell deutlich höhere Geschwindigkeit bei langen Ausgaben), natives Infilling und constrained generation (Vorlagen, Codevervollständigung mit umgebendem Kontext, Umschreiben unter Beibehaltung von Anfang/Ende) sowie integrierte Überarbeitung.

Der Artikel benennt offen eine klare Einschränkung: Im Maßstab von 2B erreicht Diffusion Gemma die besten autoregressiven Modelle (GPT-4o, Gemini 1.5 Pro) bei Reasoning, Instruction-Following und Wissen nicht — die Lücke „schließt sich“, ohne geschlossen zu sein. Für konversationelle Nutzung, mehrstufiges Reasoning oder Token-für-Token-Streaming bleiben autoregressive Modelle die bessere Wahl.

Die Herkunft liegt in der Bildgenerierung: Stable Diffusion und DALL-E haben die autoregressive Generierung vor Jahren verlassen; die Frage ist, ob dasselbe Prinzip auch für Text gilt. Diffusion Gemma wird durch seine open weights zu einem Testfeld für steuerbare Generierung.