DiffusionGemma

DiffusionGemma verfügt über 2 Milliarden Parameter auf einer Transformer-Basis, die von «Gemma 2» abgeleitet ist und Anfang 2025 mit offenen, von «Google» auf Hugging Face, AI Studio und Vertex AI veröffentlichten Gewichten erschienen ist. «Google» entfernte die kausale Maske, fügte Noise Conditioning hinzu und ließ das Modell Verteilungen für jede maskierte Position gleichzeitig vorhersagen. Das Ergebnis ist ein maskierter Diffusionsgenerator mit bidirektionaler Aufmerksamkeit: Er beginnt bei einer verrauschten Sequenz und verfeinert sie über eine einstellbare Anzahl von Denoising-Schritten, und er kann eine Position, die er bereits geschrieben hat, erneut aktualisieren, statt sie festzuschreiben.

Die Erklärung des MindStudio Teams vom 12. Juni 2026 liefert die Rechnung, die die Architektur interessant macht: Eine Ausgabe von 500 Token würde 50 bis 100 Denoising-Schritte benötigen statt 500 sequenzielle Durchläufe. Infilling und begrenzte Generierung (Vorlagen, Codevervollständigung mit umgebendem Kontext, Umschreiben, das einen Anfang und ein Ende bewahrt) ergeben sich aus demselben Mechanismus. Derselbe Beitrag nennt die Grenze ohne Umschweife. Im Maßstab von 2B konkurriert DiffusionGemma bei Schlussfolgern, Befolgen von Anweisungen oder Wissen nicht mit GPT-4o oder Gemini 1.5 Pro, und der Abstand verkleinert sich, ohne sich zu schließen. Für Konversation, mehrstufiges Schlussfolgern oder Token-für-Token-Streaming bleiben autoregressive Modelle die bessere Wahl.

Der zweite Auftritt ist operativer Natur. Michelle Chen, Alex Reneau und Kevin Flansburg berichten, dass die Entscheidungsmodelle «Clef» von Cloudflare von einer Anpassung von DiffusionGemma ausgingen, die Logprobs offenlegte und auf Arbeiten von Matt Mastracci aufbaute. Das ausgelieferte «Clef» läuft mit einem eingefrorenen Qwen3.8-27B. Die offenen Gewichte dienten dem Experiment, das zuerst kam.