Context Rot

Thariq, ingénieur chez Anthropic, situe le seuil d'apparition à environ 300-400k tokens sur le modèle à 1M de tokens, selon la tâche. Au-delà de ce point, la performance chute à mesure que l'attention se dilue sur trop de tokens : c'est la définition mécanique du context rot. Chris Williams décrit le même phénomène au niveau du jugement, le classant comme F3 parmi les huit modes de défaillance contre lesquels un cycle de développement agentique doit se prémunir. Le jugement du modèle se dégrade à mesure que la fenêtre se remplit, et il s'ancre sur ses propres productions antérieures.

Si le sujet revient sans cesse, c'est qu'il contraint la conception du processus plutôt que le choix du modèle. Vivek Trivedy, de LangChain, le traite comme l'un des défis auxquels le harnais d'agent est censé répondre, avec la compaction, le déport des résultats volumineux d'outils vers le système de fichiers, et les Skills comme divulgation progressive. Williams construit toute une phase autour de cela : P2 (Decompose) découpe la spécification en tickets atomiques dimensionnés pour des agents frais, avec des contrats explicites aux frontières. Aucun de ces remèdes ne supprime la dégradation ; tous deux la contournent.

La réponse pratique de Thariq est le rewind. Plutôt que de corriger à l'intérieur d'une session polluée, il s'agit de revenir au point juste après les lectures de fichiers et de reformuler la requête avec ce qui a été appris entre-temps. Sa mise en garde sur la compaction est plus tranchée : elle est lossy, et le modèle est le moins intelligent précisément au moment où il décide de ce qu'il faut conserver.

Thariq s'attend à ce que «Claude Code» finisse par gérer lui-même ces mécanismes. D'ici là, la gestion de session reste une compétence de l'utilisateur.