Context Rot

Thariq, ingeniero en Anthropic, sitúa el inicio en torno a los 300-400k tokens en el modelo de 1M de tokens, según la tarea. A partir de ese punto el rendimiento cae porque la atención se diluye entre demasiados tokens: esa es la definición mecánica de context rot. Chris Williams describe el mismo fenómeno a nivel del juicio, catalogándolo como F3 entre los ocho modos de fallo contra los que un ciclo de desarrollo agéntico debe protegerse. El juicio del modelo se degrada a medida que la ventana se llena, y el modelo se ancla en sus propias salidas anteriores.

La razón por la que el tema reaparece constantemente es que condiciona el diseño del proceso, no la elección del modelo. Vivek Trivedy, de LangChain, lo trata como uno de los retos que el harness del agente existe para resolver, con la compactación, la descarga de resultados voluminosos de herramientas al sistema de archivos, y las Skills como divulgación progresiva. Williams construye toda una fase en torno a esto: P2 (Decompose) divide la especificación en tickets atómicos, dimensionados para agentes nuevos, con contratos explícitos en los límites. Ninguno de los dos remedios elimina la degradación; ambos rodean el trabajo para evitarla.

La respuesta práctica de Thariq es el rewind. En lugar de corregir dentro de una sesión contaminada, se vuelve al punto justo después de las lecturas de archivos y se reformula el prompt con lo aprendido. Su advertencia sobre la compactación es más tajante: es lossy (con pérdida), y el modelo está en su punto de menor inteligencia justo cuando decide qué conservar.

Thariq espera que «Claude Code» acabe gestionando estos mecanismos por sí mismo. Hasta entonces, la gestión de la sesión sigue siendo una habilidad del usuario.