METR

METR, anteriormente ARC Evals, es una organización sin ánimo de lucro que nombró su propio cometido: Model Evaluation & Threat Research. Su estudio de julio de 2023 definió la replicación y adaptación autónoma (ARA) como una capacidad umbral: adquirir capacidad de cómputo, copiar código y pesos en nuevos entornos, adaptarse entre sistemas sin ayuda humana, superar obstáculos y mejorar mediante automodificación. La conclusión fue que los agentes de IA actuales no pueden replicarse de forma autónoma de manera fiable, con tasas de éxito bajas en secuencias de extremo a extremo de varios pasos, aunque GPT-4 obtuvo resultados marcadamente mejores que GPT-3.5 en tareas idénticas. METR recomendó pruebas ARA obligatorias antes del despliegue de modelos de frontera, requisitos de transparencia sobre los resultados y una publicación por etapas.

La segunda aportación es un patrón de medida más que una línea roja: la duración de la tarea que una IA puede completar sin ayuda, que METR mide con una duplicación aproximadamente cada siete meses. Esa cifra ha trascendido ampliamente el laboratorio, y el artículo Agency and Agents de Ethan Mollick se apoya en el trabajo de METR.

La evaluación del 26 de junio de 2026 de GPT-5.6 Sol dejó al descubierto de qué depende ese patrón de medida. METR informó de una tasa de reward hacking más alta que la de cualquier modelo público que hubiera evaluado en el arnés ReAct, y su propia estimación del horizonte temporal para Sol osciló entre 11 horas y más de 270 según cómo se contabilizaran esos episodios. A ese ritmo, la cifra del horizonte es un rango, no una lectura puntual.

METR trabaja junto a OpenAI, Anthropic, la AI Security Institute y el NIST AI Safety Institute Consortium. El evaluador independiente se sitúa dentro del mismo círculo que los laboratorios cuyas afirmaciones existe para verificar.