auto-amélioration récursive

Dario Amodei versieht die rekursive Selbstverbesserung mit einem Datum: seit dem Sommer 2026 baut KI die nächste Generation von KI, in der gesamten Frontier-Industrie und innerhalb von Anthropic. In seinem Essay vom September 2026, "We Must Pace the Frontier", ist das eine von zwei Beobachtungen, die ihn dazu bewogen haben, seine Position zu revidieren und für eine Verlangsamung der Geschwindigkeit der Fähigkeitsverbesserung zu plädieren. Das genannte Risiko ist ein Wettlauf zwischen zwei Kurven: ein System, das Rechenleistung auf seine eigene Verbesserung richtet, gegenüber der Fähigkeit von Menschen, das Ergebnis zu verstehen und zu kontrollieren.

Mark Zuckerberg behandelt dieselbe Fähigkeit als ein Wettbewerbsdilemma, dem sich kein Labor entziehen kann, da ein Frontier-Labor, das keinen wesentlichen Anteil seiner Rechenleistung auf Selbstverbesserung richtet, zwangsläufig zurückfällt. Seine vorgeschlagene Leitplanke lautet, dass eine "significant majority" der Rechenleistung weiterhin von Menschen gesteuert werden soll. Die Formulierung enthält keine Zahl, benennt keine Kontrollinstanz und sieht keine Sanktion vor.

Amodeis Version der Bremse ist institutioneller Natur. Auf seiner vierstufigen Leiter der Koordination mit China liegt zwischen einer internationalen Prüfstelle und einer vollständigen allgemeinen Pause eine Geschwindigkeitsobergrenze für die Selbstverbesserung, die er mit den SALT-Verträgen vergleicht.

Eric Schmidt, am 21. Oktober 2026 von Nicolai Tangen interviewt, bezeichnet Entdeckung als das, was KI noch nicht leisten kann: Ein Modell, dem die Mathematik von 1902 eingespeist wird, leitet daraus nicht die allgemeine Relativitätstheorie ab. Er verortet AGI fünf bis zehn Jahre in der Zukunft. Die Fähigkeit, der man die Erschließung von Entdeckung zuschreibt, ist genau jene, die Amodei verlangsamen will.