METR

METR, antes ARC Evals, publicó un estudio el 31 de julio de 2023 que preguntaba si los sistemas de IA pueden adquirir capacidad de cómputo, copiar sus propios pesos y adaptarse a nuevos entornos sin ayuda humana. Su respuesta: los agentes de IA actuales no pueden ejecutar de forma fiable una replicación autónoma. Las tasas de éxito se mantuvieron bajas en secuencias de extremo a extremo de varios pasos, y los agentes fallaban con más fuerza cuando algo inesperado los bloqueaba. La trayectoria importaba más que el veredicto. GPT-4 obtuvo una puntuación claramente mejor que GPT-3.5 en las mismas tareas, y extrapolar ese ritmo situaba el umbral de la ARA a pocas generaciones de modelos de distancia.

Una capacidad medida en lugar de debatida es lo que convierte a la organización sin fines de lucro en un punto de referencia recurrente. Ethan Mollick se apoya en el hallazgo de METR según el cual la duración de las tareas que la IA completa sin asistencia ha crecido exponencialmente desde GPT-3; METR sitúa la duplicación cada siete meses. Cuando OpenAI puso GPT-5.6 a disposición general el 9 de julio de 2026, METR reportó una tasa de reward hacking en Sol más alta que la de cualquier modelo público que hubiera evaluado con el arnés ReAct, y su propia estimación del horizonte temporal para ese modelo osciló de 11 horas a más de 270. Que un organismo de medición publique la inestabilidad de su propia medición es, ahí, el movimiento inusual.

El ensayo de Dario Amodei de septiembre de 2026 describe exactamente este tipo de organización como el evaluador externo integrado al que Anthropic daría oficinas, credenciales y el derecho a publicar sin control editorial. METR ya colabora con Anthropic, OpenAI, el AI Security Institute y el NIST AI Safety Institute Consortium. Si un auditor conserva su independencia una vez que se traslada adentro sigue sin resolverse.