DiffusionGemma

DiffusionGemma repose sur 2 milliards de paramètres, avec une base Transformer dérivée de «Gemma 2», publiée début 2025, les poids ouverts ayant été diffusés par «Google» sur Hugging Face, AI Studio et Vertex AI. «Google» a retiré le masque causal, ajouté un conditionnement par le bruit, et fait prédire au modèle des distributions sur toutes les positions masquées simultanément. Le résultat est un générateur par diffusion masquée à attention bidirectionnelle : il part d'une séquence bruitée et l'affine sur un nombre réglable d'étapes de débruitage, et il peut revenir sur une position déjà écrite au lieu de la figer.

L'explication publiée le 12 juin 2026 par la MindStudio Team donne l'arithmétique qui rend l'architecture intéressante : une sortie de 500 tokens demanderait 50 à 100 étapes de débruitage plutôt que 500 passes séquentielles. Le remplissage (infilling) et la génération contrainte (modèles de documents, complétion de code avec contexte environnant, réécriture qui préserve un début et une fin) découlent du même mécanisme. Le même texte pose la limite sans l'atténuer. À l'échelle de 2 milliards de paramètres, DiffusionGemma ne rivalise pas avec GPT-4o ou Gemini 1.5 Pro sur le raisonnement, le suivi d'instructions ou les connaissances, et l'écart se réduit sans se refermer. Pour la conversation, le raisonnement en plusieurs étapes ou le streaming token par token, les modèles autorégressifs restent le meilleur choix.

La seconde apparition est opérationnelle. Michelle Chen, Alex Reneau et Kevin Flansburg rapportent que les modèles de décision «Clef» de Cloudflare sont partis d'une adaptation de DiffusionGemma exposant les logprobs, s'appuyant sur les travaux de Matt Mastracci. «Clef» en production fait tourner un Qwen3.8-27B figé. Les poids ouverts ont servi l'expérimentation qui est venue en premier.