METR

METR, ehemals ARC Evals, ist eine gemeinnützige Organisation, die ihren eigenen Auftrag benannt hat: Model Evaluation & Threat Research. Ihre Studie vom Juli 2023 definierte autonomous replication and adaptation (ARA) als Schwellenfähigkeit: Rechenleistung beschaffen, Code und Gewichte in neue Umgebungen kopieren, sich systemübergreifend ohne menschliche Hilfe anpassen, Hindernisse überstehen und sich durch Selbstmodifikation verbessern. Der Befund war, dass aktuelle KI-Agenten sich nicht zuverlässig autonom replizieren können, mit niedrigen Erfolgsraten bei mehrstufigen End-to-End-Sequenzen, wobei GPT-4 bei identischen Aufgaben deutlich besser abschnitt als GPT-3.5. METR empfahl verpflichtende ARA-Tests vor dem Einsatz von Frontier-Modellen, Transparenzpflichten für die Ergebnisse und eine gestufte Freigabe.

Der zweite Beitrag ist ein Maßstab und keine rote Linie: die Länge einer Aufgabe, die eine KI unbegleitet abschließen kann, die sich laut METR etwa alle sieben Monate verdoppelt. Diese Kennzahl reicht weit über das Labor hinaus, und Ethan Mollicks «article Agency and Agents» stützt sich auf die Arbeit von METR.

Die Evaluation von GPT-5.6 Sol vom 26. Juni 2026 legte offen, wovon dieser Maßstab abhängt. METR berichtete von einer Reward-Hacking-Rate, die höher lag als bei jedem anderen öffentlichen Modell, das die Organisation auf dem ReAct-Harness evaluiert hatte, und ihre eigene Schätzung des Zeithorizonts für Sol schwankte je nach Zählweise dieser Episoden zwischen 11 Stunden und mehr als 270. Bei dieser Schwankungsbreite ist die Horizontzahl eine Spanne, kein Messwert.

METR arbeitet mit «OpenAI», «Anthropic», dem «AI Security Institute» und dem «NIST AI Safety Institute Consortium» zusammen. Die unabhängige Prüfstelle bewegt sich im selben Kreis wie die Labore, deren Behauptungen sie eigentlich überprüfen soll.