MindStudio Team pubblica un explainer (12 giugno 2026) sui modèles de langage par diffusion, basandosi su Diffusion Gemma, la prima implementazione open weights di questa architettura, da parte di Google.

Il punto di partenza è un'opposizione tra paradigmi. I modelli autoregressivi che dominano oggi (GPT-4, Claude, Gemma standard) generano testo in modo sequenziale, un token alla volta, da sinistra a destra, tramite attenzione causale. Ogni output dipende da tutti i token precedenti: la generazione non può essere parallelizzata tra le posizioni, e ogni token viene congelato una volta prodotto — il modello non può rivedere le sue scelte.

I modelli a diffusione procedono diversamente: partono da una sequenza rumorosa/mascherata e la raffinano iterativamente verso un output coerente (masked diffusion, o absorbing diffusion). Il forward pass maschera progressivamente i token; il modello apprende a ricostruirli; l'inferenza inverte il processo attraverso diversi denoising steps regolabili. L'attenzione è bidirezionale: il modello vede l'intera sequenza in entrambe le direzioni e può aggiornare qualsiasi posizione in qualsiasi fase — "cambiare idea" su token precedenti. La metafora: scrivere una bozza e poi rivederla, piuttosto che una copia finale parola per parola.

Diffusion Gemma: 2 miliardi di parametri, base Transformer derivata da Gemma 2, rilasciato all'inizio del 2025, pesi su Hugging Face (Google DeepMind), anche su AI Studio e Vertex AI. Gli adattamenti chiave: rimozione del mascheramento causale, noise conditioning, e predizione simultanea delle distribuzioni su tutte le posizioni mascherate.

Vantaggi: parallelismo (un testo di 500 token richiederebbe 50-100 passaggi invece di 500 passaggi sequenziali, quindi potenzialmente una velocità molto più alta su output lunghi), infilling naturale e generazione vincolata (template, completamento di codice con contesto circostante, riscrittura preservando inizio/fine), e revisione integrata.

L'articolo riconosce apertamente un limite evidente: alla scala 2B, Diffusion Gemma non raggiunge i migliori modelli autoregressivi (GPT-4o, Gemini 1.5 Pro) su ragionamento, seguimento delle istruzioni e conoscenza — il divario si sta "chiudendo" senza essere chiuso. Per l'uso conversazionale, il ragionamento multi-step, o lo streaming token per token, i modelli autoregressivi restano la scelta migliore.

La discendenza viene dalla generazione di immagini: Stable Diffusion e DALL-E hanno abbandonato la generazione autoregressiva anni fa; la domanda è se lo stesso principio valga anche per il testo. Diffusion Gemma, grazie ai suoi open weights, ne fa un terreno di sperimentazione per la generazione controllabile.