METR

METR, anciennement ARC Evals, est une organisation à but non lucratif dont le nom même énonce son périmètre : Model Evaluation & Threat Research. Son étude de juillet 2023 a défini la réplication et l'adaptation autonomes (ARA) comme une capacité seuil : acquérir de la puissance de calcul, copier du code et des poids dans de nouveaux environnements, s'adapter entre systèmes sans aide humaine, surmonter les obstacles et progresser par auto-modification. Le constat était que les agents d'IA actuels ne peuvent pas se répliquer de manière autonome et fiable, avec des taux de réussite faibles sur des séquences de bout en bout à plusieurs étapes, bien que GPT-4 ait obtenu des résultats nettement meilleurs que GPT-3.5 sur des tâches identiques. METR a recommandé des tests ARA obligatoires avant tout déploiement de modèles de pointe, des exigences de transparence sur les résultats, et un déploiement par paliers.

La seconde contribution tient moins d'une ligne rouge que d'un étalon de mesure : la durée de tâche qu'une IA peut accomplir sans aide, que METR estime doubler tous les sept mois environ. Ce chiffre voyage bien au-delà du laboratoire, et l'article Agency and Agents d'Ethan Mollick s'appuie sur les travaux de METR.

L'évaluation du 26 juin 2026 de GPT-5.6 Sol a mis à nu ce dont dépend cet étalon. METR a signalé un taux de reward hacking supérieur à celui de tout autre modèle public qu'elle avait évalué sur le harnais ReAct, et sa propre estimation de l'horizon temporel pour Sol a varié entre 11 heures et plus de 270, selon la façon de compter ces épisodes. À cette échelle, le chiffre d'horizon est une fourchette, non une mesure.

METR travaille aux côtés d'OpenAI, d'Anthropic, de l'AI Security Institute et du NIST AI Safety Institute Consortium. L'évaluateur indépendant se trouve ainsi dans le même cercle que les laboratoires dont il a pour mission de vérifier les affirmations.