DiffusionGemma

DiffusionGemma conta 2 miliardi di parametri su una base Transformer derivata da «Gemma 2», rilasciata a inizio 2025 con pesi open pubblicati da «Google» su Hugging Face, AI Studio e Vertex AI. «Google» ha rimosso la maschera causale, ha aggiunto il condizionamento al rumore e ha fatto predire al modello distribuzioni su ogni posizione mascherata simultaneamente. Ne risulta un generatore a diffusione mascherata con attenzione bidirezionale: parte da una sequenza rumorosa e la affina attraverso un numero regolabile di passi di denoising, e può aggiornare una posizione già scritta invece di bloccarla.

L'approfondimento del 12 giugno 2026 del MindStudio Team fornisce l'aritmetica che rende interessante l'architettura: un output di 500 token richiederebbe da 50 a 100 passi di denoising invece di 500 passaggi sequenziali. L'infilling e la generazione vincolata (template, completamento di codice con contesto circostante, riscrittura che preserva un inizio e una fine) derivano dallo stesso meccanismo. Lo stesso testo indica il limite senza mezzi termini. Alla scala di 2B, DiffusionGemma non rivaleggia con GPT-4o o Gemini 1.5 Pro su ragionamento, capacità di seguire le istruzioni o conoscenza, e lo scarto si riduce senza chiudersi. Per la conversazione, il ragionamento multi-step o lo streaming token per token, i modelli autoregressivi restano la scelta migliore.

La seconda apparizione è operativa. Michelle Chen, Alex Reneau e Kevin Flansburg riportano che i modelli decisionali «Clef» di Cloudflare sono partiti da un adattamento di DiffusionGemma che esponeva i logprobs, basandosi sul lavoro di Matt Mastracci. «Clef» distribuito esegue un Qwen3.8-27B congelato. I pesi open hanno servito l'esperimento che è venuto prima.