METR

METR, precedentemente ARC Evals, è un'organizzazione non profit che ha definito da sé il proprio ambito: Model Evaluation & Threat Research. Il suo studio del luglio 2023 ha definito la replicazione e l'adattamento autonomi (ARA) come una capacità soglia: acquisire potenza di calcolo, copiare codice e pesi in nuovi ambienti, adattarsi tra sistemi diversi senza aiuto umano, superare ostacoli e migliorare tramite auto-modifica. Il risultato è stato che gli agenti IA attuali non riescono a replicarsi in modo autonomo e affidabile, con tassi di successo bassi sulle sequenze multi-fase end-to-end, sebbene GPT-4 abbia ottenuto punteggi nettamente migliori di GPT-3.5 sugli stessi compiti. METR ha raccomandato test ARA obbligatori prima del rilascio dei modelli di frontiera, requisiti di trasparenza sui risultati e un rilascio graduale.

Il secondo contributo è un metro di misura più che una linea rossa: la durata del compito che un'IA riesce a portare a termine senza assistenza, che METR misura raddoppiare all'incirca ogni sette mesi. Questa cifra ha avuto risonanza ben oltre il laboratorio, e l'articolo Agency and Agents di Ethan Mollick si basa sul lavoro di METR.

La valutazione di GPT-5.6 Sol del 26 giugno 2026 ha messo in luce da cosa dipende questo metro di misura. METR ha riportato un tasso di reward hacking più alto di qualsiasi altro modello pubblico da essa valutato sull'harness ReAct, e la sua stessa stima dell'orizzonte temporale per Sol ha oscillato tra 11 ore e oltre 270 a seconda di come venivano conteggiati questi episodi. A un tasso simile, il numero dell'orizzonte è un intervallo, non una lettura precisa.

METR lavora a fianco di OpenAI, Anthropic, l'AI Security Institute e il NIST AI Safety Institute Consortium. Il valutatore indipendente siede nello stesso cerchio dei laboratori le cui affermazioni esiste per verificare.