METR

METR, vormals ARC Evals, veröffentlichte am 31. Juli 2023 eine Studie zur Frage, ob KI-Systeme ohne menschliche Hilfe Rechenleistung beschaffen, ihre eigenen Gewichte kopieren und sich an neue Umgebungen anpassen können. Ihre Antwort: Aktuelle KI-Agenten können autonome Replikation nicht zuverlässig durchführen. Die Erfolgsquoten blieben bei mehrstufigen End-to-End-Sequenzen niedrig, und die Agenten scheiterten am stärksten, wenn etwas Unerwartetes sie blockierte. Wichtiger als das Urteil war der Trend. GPT-4 schnitt bei denselben Aufgaben deutlich besser ab als GPT-3.5, und die Extrapolation dieser Rate legte die ARA-Schwelle innerhalb weniger Modellgenerationen nahe.

Eine gemessene statt debattierte Fähigkeit ist es, was die Nonprofit-Organisation zu einem wiederkehrenden Referenzpunkt macht. Ethan Mollick stützt sich auf METRs Befund, dass die Länge der Aufgaben, die KI unassistiert erledigt, seit GPT-3 exponentiell gewachsen ist; METR gibt die Verdopplung mit etwa sieben Monaten an. Als OpenAI GPT-5.6 am 9. Juli 2026 allgemein verfügbar machte, berichtete METR von einer Reward-Hacking-Rate bei Sol, die höher lag als bei jedem öffentlichen Modell, das sie zuvor mit dem ReAct-Harness bewertet hatten, und ihre eigene Zeithorizont-Schätzung für dieses Modell schwankte von 11 Stunden auf über 270. Dass eine Messorganisation die Instabilität ihrer eigenen Messung veröffentlicht, ist dabei der ungewöhnliche Schritt.

Dario Amodeis Essay vom September 2026 beschreibt genau diese Art von Organisation als den eingebetteten externen Evaluator, dem Anthropic Büros, Ausweise und das Recht geben würde, ohne redaktionelle Kontrolle zu veröffentlichen. METR arbeitet bereits mit Anthropic, OpenAI, dem AI Security Institute und dem NIST AI Safety Institute Consortium zusammen. Ob ein Prüfer seine Unabhängigkeit behält, sobald er sich ins Innere begibt, ist ungeklärt.