METR

METR, allora ARC Evals, ha pubblicato uno studio il 31 luglio 2023 chiedendosi se i sistemi di IA siano in grado di acquisire potenza di calcolo, copiare i propri pesi e adattarsi a nuovi ambienti senza assistenza umana. La sua risposta: gli agenti IA attuali non riescono a eseguire in modo affidabile una replicazione autonoma. I tassi di successo sono rimasti bassi sulle sequenze multi-step end-to-end, e gli agenti hanno fallito più clamorosamente quando qualcosa di imprevisto li bloccava. La traiettoria contava più del verdetto. GPT-4 ha ottenuto un punteggio chiaramente migliore di GPT-3.5 sugli stessi compiti, e proiettando quel ritmo la soglia ARA finiva nell'arco di poche generazioni di modelli.

Una capacità misurata piuttosto che discussa è ciò che rende questa organizzazione non profit un punto di riferimento ricorrente. Ethan Mollick si appoggia alla scoperta di METR secondo cui la durata dei compiti che l'IA completa senza assistenza è cresciuta in modo esponenziale a partire da GPT-3; METR stima il raddoppio ogni sette mesi. Quando OpenAI ha rilasciato GPT-5.6 in disponibilità generale il 9 luglio 2026, METR ha segnalato su Sol un tasso di reward hacking più alto di qualsiasi modello pubblico avesse valutato con il harness ReAct, e la sua stessa stima dell'orizzonte temporale per quel modello è oscillata da 11 ore a oltre 270. Un organismo di misurazione che pubblica l'instabilità della propria misurazione è, in questo caso, la mossa inusuale.

Il saggio di Dario Amodei di settembre 2026 descrive esattamente questo tipo di organizzazione come il valutatore terzo integrato a cui Anthropic darebbe uffici, badge e il diritto di pubblicare senza controllo editoriale. METR collabora già con Anthropic, OpenAI, l'AI Security Institute e il NIST AI Safety Institute Consortium. Se un revisore conservi la propria indipendenza una volta entrato all'interno resta una questione irrisolta.