MindStudio Team publica un explainer (12 de junio de 2026) sobre los modèles de langage par diffusion, basándose en Diffusion Gemma, la primera implementación de open weights de esta arquitectura, de Google.

El punto de partida es una oposición entre paradigmas. Los modelos autoregressive que dominan hoy (GPT-4, Claude, Gemma estándar) generan texto de forma secuencial, un token a la vez, de izquierda a derecha, mediante atención causal. Cada salida depende de todos los tokens anteriores: la generación no puede paralelizarse entre posiciones, y cada token queda congelado una vez producido — el modelo no puede volver sobre sus elecciones.

Los modelos de diffusion proceden de otra manera: parten de una secuencia con ruido/enmascarada y la refinan de forma iterativa hacia una salida coherente (masked diffusion, o absorbing diffusion). El paso directo enmascara progresivamente los tokens; el modelo aprende a reconstruirlos; la inferencia invierte el proceso a lo largo de varios denoising steps ajustables. La atención es bidireccional: el modelo ve toda la secuencia en ambas direcciones y puede actualizar cualquier posición en cualquier paso — "cambiar de opinión" sobre tokens anteriores. La metáfora: escribir un borrador y luego revisarlo, en lugar de una copia final palabra por palabra.

Diffusion Gemma: 2.000 millones de parámetros, base Transformer derivada de Gemma 2, publicado a principios de 2025, pesos en Hugging Face (Google DeepMind), también en AI Studio y Vertex AI. Las adaptaciones clave: eliminación del enmascaramiento causal, noise conditioning, y predicción simultánea de distribuciones sobre todas las posiciones enmascaradas.

Ventajas: paralelismo (un texto de 500 tokens requeriría 50-100 pasos en lugar de 500 pasadas secuenciales, de ahí una velocidad potencialmente muy superior en salidas largas), infilling natural y generación con restricciones (plantillas, completado de código con contexto circundante, reescritura preservando el principio/final), y revisión integrada.

El artículo reconoce abiertamente una limitación clara: a escala 2B, Diffusion Gemma no alcanza a los mejores modelos autoregressive (GPT-4o, Gemini 1.5 Pro) en razonamiento, seguimiento de instrucciones y conocimiento — la brecha se está "cerrando" sin estar cerrada. Para uso conversacional, razonamiento en varios pasos, o streaming token por token, los modelos autoregressive siguen siendo la mejor opción.

El linaje proviene de la generación de imágenes: Stable Diffusion y DALL-E abandonaron la generación autoregressive hace años; la pregunta es si el mismo principio se sostiene para el texto. Diffusion Gemma, gracias a sus open weights, la convierte en un campo de pruebas para la generación controlable.