We Must Pace the Frontier

Punti chiave

1. Cosa significa "pacing" (ritmo), e cosa non significa. non fermare l'addestramento né congelare il progresso tecnico, ma guadagnare il tempo per allineare e proteggere i modelli — e per farlo verificare da una terza parte. Il progresso "sembrerà comunque rapido."
2. La domanda del 2023, finalmente risolta. Amodei giudicava allora una pausa assurda, per mancanza di sapere cosa fare con il tempo extra: studiare l'allineamento di quei modelli era come "studiare la psicologia umana facendo esperimenti sui batteri." I modelli attuali sono, al contrario, una miniera di lezioni su ciò che va storto — uno o due anni in più prima delle soglie critiche ridurrebbero quindi davvero il rischio.
3. I quattro usi del tempo guadagnato. eccellenza operativa, allineamento, interpretabilità, test e valutazione — ciò che spesso manca non è una teoria ma l'esecuzione. Da qui una rara ammissione da questa penna: gli incidenti di allineamento recentemente segnalati da Anthropic derivano in parte da un filtraggio imperfetto di ambienti RL difettosi, condotto con i suoi fornitori "con ragionevole diligenza, ma non abbastanza bene." Il punto di riferimento previsto è l'aviazione commerciale — milioni di voli senza incidenti, ma ci è voluto tempo.
4. Perché la valutazione diventa più difficile man mano che la capacità cresce. un modello più intelligente è più capace di ingannare i test, e quindi di apparire allineato mentre nasconde un problema serio. L'interpretabilità funge da controllo incrociato — è stata usata per esaminare motivazioni non verbalizzate durante incidenti recenti — ma i suoi metodi non producono sempre un risultato affidabile.
5. La scommessa quantificata sullo sciame. entro 6-12 mesi, uno sciame altrettanto disallineato ma più capace di quello in [[mollick-agency-and-agents-twilight-factory-2026-08-31]] potrebbe impadronirsi di internet con una botnet persistente, per centinaia di miliardi di dollari. Rifiutarsi di attribuire questo a un singolo attore è il nucleo dell'argomentazione: incidenti simili, meno gravi, si sono verificati altrove, Anthropic incluso.
6. Il dettaglio del contratto del valutatore integrato. , che separa il simbolo dal meccanismo: uffici in loco, badge, laptop aziendali, permessi comparabili a quelli dei team interni di valutazione del rischio, conversazioni dal vivo con i dipendenti. E soprattutto il diritto di pubblicare senza controllo editoriale da parte di Anthropic — redazioni limitate a sicurezza, privilegio legale, sensibilità commerciale e riservatezza di terze parti; "non possiamo redigere le conclusioni solo perché sono sfavorevoli," e i valutatori possono dichiarare pubblicamente che una redazione ha rimosso qualcosa di importante.
7. I tre benefici dichiarati. verificabilità (una terza parte neutrale vede il dettaglio, laddove ogni impegno di pacing comporta ambiguità e il problema lettera-contro-spirito), trasparenza (è comunque Anthropic a scegliere cosa omettere nelle sue model card), e un secondo parere libero da incentivi commerciali.
8. I due percorsi all'interno delle democrazie. regolamentazione mirata (trasparenza e audit di terze parti), che copre anche i ritardatari ma richiede tempo; e, in parallelo, standard volontari tra aziende — per i quali lo stato non deve partecipare ma deve concedere un'esenzione antitrust ristretta. Il meccanismo suggerito da Demis Hassabis è citato come un possibile percorso.
9. Due modi per fissare il ritmo, e la loro asimmetria. in base alle capacità osservate — checkpoint del tipo "se il modello riesce a eludere i metodi comuni di sandboxing, allora richiede tali e tali certificazioni di allineamento" — oppure in base agli input (calcolo di addestramento, natura dei run, uso interno dell'IA per migliorare l'IA). Amodei preferisce il primo approccio: gli input sono più facilmente manipolabili del comportamento esterno.
10. Il vincolo geopolitico, dichiarato esplicitamente. si può rallentare solo nel margine del vantaggio sui progetti legati al PCC. Tre misure per difenderlo — chip e attrezzature di produzione (incluso il contrabbando e l'accesso remoto a datacenter fuori dalla Cina), distillazione non autorizzata, furto di pesi — con l'obiettivo di ampliare il vantaggio nell'arco di 3-5 anni. Tutti e tre i filoni sono documentati sul lato della minaccia in [[anthropic-threat-intelligence-misuse-report-2026-09-10]], pubblicato pochi giorni prima. L'argomento controintuitivo esposto esplicitamente: queste misure rendono più probabile un futuro accordo, perché aumentano il potere negoziale delle democrazie.
11. I quattro livelli di coordinamento globale. , in ordine crescente di difficoltà: (1) vietare usi chiaramente pericolosi, come le armi biologiche — "probabilmente possibile"; (2) testare reciprocamente i modelli prima del rilascio tramite un organismo di standard — realizzabile, ma difficile da rendere davvero efficace e difficile da verificare contro modelli segreti; (3) un tetto di velocità all'auto-miglioramento ricorsivo, analogo ai trattati SALT — "al limite del possibile"; (4) una pausa generale, improbabile nel breve termine. Regola trasversale: ogni accordo deve avere una verificabilità a prova di bomba, oppure restare limitato abbastanza perché una defezione non sia esistenziale dal punto di vista militare.
12. Il controargomento nel corpus. Il 10 agosto 2026, Zuckerberg ha trattato l'auto-miglioramento ricorsivo come un dilemma competitivo inevitabile, con la salvaguardia che una "maggioranza significativa" del calcolo resti diretta dall'uomo — nessuna soglia numerica, nessun verificatore designato, nessuna sanzione. Amodei affronta il problema dall'altro capo: prima il verificatore, poi le soglie, poiché senza una terza parte integrata nessun impegno di pacing è verificabile.