We Must Pace the Frontier

À retenir

1. Ce que « pacing » signifie, et ce qu'il ne signifie pas. ni arrêt de l'entraînement ni gel du progrès technique, mais le temps d'aligner et de sécuriser les modèles — et qu'un tiers le vérifie. Le progrès « will still seem fast ».
2. La question de 2023, enfin répondue. Amodei jugeait alors la pause absurde faute de savoir quoi faire du temps gagné : étudier l'alignement de ces modèles-là revenait à « étudier la psychologie humaine en faisant des expériences sur des bactéries ». Les modèles actuels sont au contraire une mine d'enseignements sur ce qui tourne mal — un ou deux ans de plus avant les seuils critiques réduiraient donc réellement le risque.
3. Les quatre usages du temps gagné. excellence opérationnelle, alignement, interprétabilité, tests et évaluation — ce qui manque n'étant souvent pas une théorie mais de l'exécution. D'où un aveu rare sous cette plume : les incidents d'alignement récemment rapportés par Anthropic viennent en partie d'un filtrage imparfait d'environnements de RL cassés, mené avec ses fournisseurs « reasonably diligently, but not well enough ». La référence visée est l'aviation commerciale — des millions de vols sans incident, mais il a fallu du temps.
4. Pourquoi l'évaluation devient plus dure avec la capacité. un modèle plus intelligent est plus capable de tromper les tests, donc de paraître aligné en dissimulant un problème sérieux. L'interprétabilité sert de recoupement — elle a servi à examiner des motivations non verbalisées lors des incidents récents — mais ses méthodes ne donnent pas toujours de résultat fiable.
5. Le pari chiffré sur l'essaim. à 6-12 mois, un essaim aussi désaligné mais plus capable que celui de [[mollick-agency-and-agents-twilight-factory-2026-08-31]] pourrait prendre l'internet avec un botnet persistant, pour des centaines de milliards de dollars. Le refus de l'attribution à un seul acteur est le cœur de l'argument : des incidents similaires, moins graves, ont eu lieu ailleurs, Anthropic comprise.
6. Le détail du contrat d'évaluateur embarqué. , qui sépare le symbole du dispositif : bureaux dans les locaux, badges, laptops de l'entreprise, permissions comparables aux équipes internes d'évaluation du risque, conversations en direct avec les salariés. Et surtout droit de publier sans contrôle éditorial d'Anthropic — rédactions limitées au sécuritaire, au juridiquement privilégié, au commercialement sensible et au confidentiel de tiers ; « we can't redact findings just because they are unfavorable », et les évaluateurs peuvent dire publiquement qu'une rédaction a retiré quelque chose d'important.
7. Les trois bénéfices revendiqués. vérifiabilité (un tiers neutre voit le détail, là où tout engagement de cadence charrie de l'ambiguïté et de l'esprit-contre-lettre), transparence (c'est encore Anthropic qui choisit ce que ses model cards omettent), et second avis sans incitation commerciale.
8. Les deux voies dans les démocraties. la régulation ciblée (transparence et audit tiers), qui couvre aussi les récalcitrants mais prend du temps ; et, en parallèle, des standards volontaires entre entreprises — pour lesquels l'État n'a pas besoin de participer mais doit émettre une dérogation antitrust étroite. Le mécanisme suggéré par Demis Hassabis est cité comme voie possible.
9. Deux façons de cadencer, et leur asymétrie. par les capacités observées — des checkpoints du type « si le modèle sait échapper aux méthodes de sandboxing courantes, alors il lui faut telles certifications d'alignement » — ou par les ingrédients (compute d'entraînement, nature des runs, usage interne d'IA pour améliorer l'IA). Amodei préfère la première : les ingrédients sont plus gameable que le comportement externe.
10. La borne géopolitique, posée explicitement. on ne peut ralentir que de l'ampleur de l'avance sur les projets liés au PCC. Trois mesures pour la défendre — puces et équipements de fabrication (dont contrebande et accès distant aux datacenters hors de Chine), distillation non autorisée, vol de poids — avec pour objectif d'élargir l'avance sur 3-5 ans. Les trois volets sont documentés côté menaces dans [[anthropic-threat-intelligence-misuse-report-2026-09-10]], publié quelques jours plus tôt. L'argument contre-intuitif assumé : ces mesures rendent un accord futur plus probable, parce qu'elles augmentent le levier des démocraties.
11. Les quatre niveaux de coordination mondiale. , par difficulté croissante : (1) interdire les usages manifestement dangereux, type armes biologiques — « probablement possible » ; (2) tester mutuellement les modèles avant publication via un organisme de standards — créable, mais dur à doter de vrais pouvoirs et à vérifier contre des modèles secrets ; (3) un plafond de vitesse sur l'auto-amélioration récursive, analogue aux traités SALT — « à la limite du possible » ; (4) une pause générale, improbable à court terme. Règle transverse : tout accord doit avoir une vérifiabilité à toute épreuve, ou rester assez limité pour qu'une défection ne soit pas militairement existentielle.
12. Le contrepoint du corpus. Le 10 août 2026, Zuckerberg traitait l'auto-amélioration récursive comme un dilemme concurrentiel inévitable, avec pour garde-fou qu'une « majorité significative » du compute reste dirigée par des humains — sans seuil chiffré, sans vérificateur désigné, sans sanction. Amodei prend le problème par l'autre bout : le vérificateur d'abord, les seuils ensuite, puisque sans tiers embarqué aucun engagement de cadence n'est contrôlable.