Diffusion Language Models Explained: How Google's Diffusion Gemma Works
Ein pädagogischer Artikel von **MindStudio Team** (dem Blog der MindStudio-Plattform, Orchestrierung von Multi-Modell-Workflows), der **modèles de langage par diffusion** (*Diffusion Language Models*) am Beispiel von **Diffusion Gemma** erklärt, Googles erster Implementierung mit **open weights** (2 Mrd. Parameter, abgeleitet von Gemma 2). Die These: Während **autoregressive** Modelle (GPT-4, Claude, Standard-Gemma) Text **Token für Token von links nach rechts** generieren (kausale Aufmerksamkeit, jedes Token nach der Erzeugung eingefroren), gehen **Diffusions**-Modelle von einer **maskierten/verrauschten** Sequenz aus und **verfeinern sie iterativ** (masked diffusion / *absorbing diffusion*), mit **bidirektionaler Aufmerksamkeit**: Das Modell kann **jede Position in jedem Schritt überarbeiten**. Konsequenzen: hohe **Parallelität** (ein 500-Token-Text würde 50-100 Denoising-Schritte statt 500 sequenzieller Durchläufe benötigen), natives **Infilling** und **constrained generation** (Vorlagenausfüllung, Codevervollständigung mit umgebendem Kontext) sowie integrierte **Überarbeitungs**-Fähigkeit. Doch im aktuellen Maßstab (2B) **erreicht** Diffusion Gemma die großen autoregressiven Modelle (GPT-4o, Gemini 1.5 Pro) bei Reasoning, Instruction-Following und Allgemeinwissen **nicht**: Die Lücke „schließt sich“, ohne geschlossen zu sein. Die Inspiration stammt aus der Bildgenerierung (Stable Diffusion, DALL-E haben die autoregressive Generierung vor Jahren verlassen); ob dasselbe Prinzip auch für Text gilt, bleibt eine offene Frage. Diffusion Gemma wird über Hugging Face (Google DeepMind), AI Studio und Vertex AI verteilt.
MindStudio Team