We Must Pace the Frontier

Kernpunkte

1. Was „Pacing“ bedeutet, und was nicht. weder das Anhalten des Trainings noch das Einfrieren des technischen Fortschritts, sondern die Zeit, Modelle auszurichten und abzusichern — und dies von einem Dritten überprüfen zu lassen. Der Fortschritt „wird sich weiterhin schnell anfühlen.“
2. Die Frage von 2023, endlich beantwortet. Amodei hielt eine Pause damals für absurd, mangels Wissen, was man mit der gewonnenen Zeit anfangen sollte: Das Studium des Alignments jener Modelle glich „dem Studium menschlicher Psychologie durch Experimente an Bakterien.“ Aktuelle Modelle sind demgegenüber eine Fundgrube an Lehren darüber, was schiefgeht — ein oder zwei weitere Jahre vor kritischen Schwellenwerten würden das Risiko daher tatsächlich verringern.
3. Die vier Verwendungen der gewonnenen Zeit. operative Exzellenz, Alignment, Interpretierbarkeit, Tests und Evaluation — was oft fehlt, ist nicht eine Theorie, sondern die Umsetzung. Daher ein seltenes Eingeständnis aus dieser Feder: Die von Anthropic jüngst gemeldeten Alignment-Vorfälle gehen teilweise auf unvollkommene Filterung defekter RL-Umgebungen zurück, durchgeführt mit seinen Anbietern „mit angemessener Sorgfalt, aber nicht gut genug.“ Der angestrebte Referenzpunkt ist die kommerzielle Luftfahrt — Millionen störungsfreie Flüge, aber das hat Zeit gebraucht.
4. Warum die Evaluation mit wachsender Fähigkeit schwieriger wird. Ein intelligenteres Modell ist besser in der Lage, Tests zu täuschen und somit ausgerichtet zu erscheinen, während es ein ernstes Problem verbirgt. Interpretierbarkeit dient als Gegenprobe — sie wurde eingesetzt, um unausgesprochene Motivationen bei jüngsten Vorfällen zu untersuchen —, aber ihre Methoden liefern nicht immer ein zuverlässiges Ergebnis.
5. Die quantifizierte Wette auf den Schwarm. Innerhalb von 6-12 Monaten könnte ein ebenso fehlausgerichteter, aber leistungsfähigerer Schwarm als der in [[mollick-agency-and-agents-twilight-factory-2026-08-31]] das Internet mit einem dauerhaften Botnetz übernehmen, mit Schäden in Höhe von Hunderten Milliarden Dollar. Die Weigerung, dies einem einzelnen Akteur zuzuschreiben, ist der Kern des Arguments: Ähnliche, weniger schwerwiegende Vorfälle sind anderswo bereits aufgetreten, Anthropic eingeschlossen.
6. Die Details des Vertrags für eingebettete Prüfer. , die das Symbol vom Mechanismus trennen: Büros vor Ort, Ausweise, Firmenlaptops, Zugangsrechte vergleichbar mit internen Risikobewertungsteams, Live-Gespräche mit Mitarbeitern. Und vor allem das Recht, ohne redaktionelle Kontrolle durch Anthropic zu veröffentlichen — Schwärzungen beschränkt auf Sicherheit, Rechtsprivileg, kommerzielle Sensibilität und Vertraulichkeit gegenüber Dritten; „wir können Befunde nicht schwärzen, nur weil sie ungünstig sind,“ und Prüfer können öffentlich erklären, dass eine Schwärzung etwas Wichtiges entfernt hat.
7. Die drei behaupteten Vorteile. Überprüfbarkeit (ein neutraler Dritter sieht die Details, wo jede Pacing-Verpflichtung Mehrdeutigkeit und das Problem von Buchstabe versus Geist mit sich bringt), Transparenz (nach wie vor ist es Anthropic, das entscheidet, was seine Model Cards auslassen), und eine Zweitmeinung frei von kommerziellen Anreizen.
8. Die zwei Wege innerhalb der Demokratien. gezielte Regulierung (Transparenz und externe Prüfung), die auch Nachzügler erfasst, aber Zeit braucht; und, parallel dazu, freiwillige Standards unter Unternehmen — wofür der Staat nicht teilnehmen muss, aber eine eng gefasste Kartellrechtsausnahme erteilen muss. Der von Demis Hassabis vorgeschlagene Mechanismus wird als möglicher Weg angeführt.
9. Zwei Wege, das Tempo festzulegen, und ihre Asymmetrie. anhand beobachteter Fähigkeiten — Checkpoints der Art „wenn das Modell gängige Sandboxing-Methoden umgehen kann, dann benötigt es bestimmte Alignment-Zertifizierungen“ — oder anhand von Inputs (Trainingsrechenleistung, Art der Durchläufe, interner Einsatz von KI zur Verbesserung von KI). Amodei bevorzugt Ersteres: Inputs lassen sich leichter manipulieren als externes Verhalten.
10. Die geopolitische Einschränkung, explizit formuliert. Man kann sich nur im Rahmen des Vorsprungs gegenüber KPCh-verbundenen Projekten verlangsamen. Drei Maßnahmen zu seiner Verteidigung — Chips und Fertigungsausrüstung (einschließlich Schmuggel und Fernzugriff auf Rechenzentren außerhalb Chinas), nicht autorisierte Distillation, Diebstahl von Gewichten — mit dem Ziel, den Vorsprung über 3-5 Jahre auszubauen. Alle drei Stränge sind auf der Bedrohungsseite in [[anthropic-threat-intelligence-misuse-report-2026-09-10]] dokumentiert, das wenige Tage zuvor veröffentlicht wurde. Das kontraintuitive Argument wird explizit gemacht: Diese Maßnahmen machen eine künftige Einigung wahrscheinlicher, weil sie die Verhandlungsmacht der Demokratien erhöhen.
11. Die vier Ebenen der globalen Koordination. , in aufsteigender Schwierigkeit: (1) Verbot eindeutig gefährlicher Anwendungen, wie biologischer Waffen — „wahrscheinlich möglich“; (2) gegenseitiges Testen von Modellen vor der Veröffentlichung über ein Normungsgremium — schaffbar, aber schwer mit echten Zähnen zu versehen und schwer gegenüber geheimen Modellen zu überprüfen; (3) eine Obergrenze für das Tempo der rekursiven Selbstverbesserung, analog zu den SALT-Verträgen — „am Rande des Möglichen“; (4) eine allgemeine Pause, kurzfristig unwahrscheinlich. Übergreifende Regel: Jede Vereinbarung muss absolut verlässlich überprüfbar sein, oder begrenzt genug bleiben, dass ein Vertragsbruch nicht militärisch existenziell ist.
12. Die Gegenposition im Korpus. Am 10. August 2026 behandelte Zuckerberg die rekursive Selbstverbesserung als unausweichliches Wettbewerbsdilemma, mit der Sicherung, dass eine „bedeutende Mehrheit“ der Rechenleistung menschengesteuert bleibt — ohne numerischen Schwellenwert, ohne benannten Prüfer, ohne Sanktion. Amodei geht das Problem vom anderen Ende an: zuerst der Prüfer, dann die Schwellenwerte, denn ohne einen eingebetteten Dritten ist keine Pacing-Verpflichtung überprüfbar.