DiffusionGemma

DiffusionGemma tiene 2.000 millones de parámetros sobre una base Transformer derivada de «Gemma 2», publicada a principios de 2025 con pesos abiertos difundidos por «Google» en Hugging Face, AI Studio y Vertex AI. «Google» eliminó la máscara causal, añadió condicionamiento por ruido e hizo que el modelo predijera distribuciones sobre todas las posiciones enmascaradas simultáneamente. El resultado es un generador de difusión enmascarada con atención bidireccional: parte de una secuencia con ruido y la refina a lo largo de un número ajustable de pasos de eliminación de ruido, y puede actualizar una posición que ya había escrito en lugar de fijarla de forma definitiva.

La explicación del MindStudio Team del 12 de junio de 2026 ofrece la aritmética que hace interesante a la arquitectura: una salida de 500 tokens requeriría entre 50 y 100 pasos de eliminación de ruido en lugar de 500 pasadas secuenciales. El relleno de huecos (infilling) y la generación con restricciones (plantillas, finalización de código con contexto circundante, reescritura que preserva un inicio y un final) se derivan del mismo mecanismo. El mismo texto expone el límite sin matices. En la escala de 2B, DiffusionGemma no rivaliza con GPT-4o ni con Gemini 1.5 Pro en razonamiento, seguimiento de instrucciones o conocimiento, y la brecha se reduce sin llegar a cerrarse. Para la conversación, el razonamiento en varios pasos o la transmisión token por token, los modelos autorregresivos siguen siendo la mejor opción.

La segunda aparición es operativa. Michelle Chen, Alex Reneau y Kevin Flansburg relatan que los modelos de decisión «Clef» de Cloudflare partieron de una adaptación de DiffusionGemma que exponía logprobs, apoyada en el trabajo de Matt Mastracci. La versión de «Clef» en producción ejecuta un Qwen3.8-27B congelado. Los pesos abiertos sirvieron al experimento que llegó primero.