Compaction

La compattazione è il riassunto automatico che sostituisce la cronologia di una conversazione quando una sessione si avvicina al limite della finestra di contesto. Thariq, un ingegnere di Anthropic, la presenta come una risposta al context rot: le prestazioni degradano man mano che la finestra si riempie e, per il modello da un milione di token, questo degrado inizia tipicamente intorno ai 300-400k token, a seconda del compito.

Ciò che distingue la compattazione dal semplice azzeramento di una sessione è chi decide cosa sopravvive. La compattazione è automatica e potenzialmente più esaustiva, ma con perdita di informazioni: è il modello a scegliere cosa conservare. Thariq individua il problema più critico in questo meccanismo. Le compattazioni riescono male quando il modello non riesce ad anticipare la direzione del lavoro, e si trova nel suo punto di minore intelligenza proprio nel momento in cui compatta.

Il team di Claude Code di Anthropic ha documentato il lato dei costi. Un'implementazione ingenua emette una chiamata API separata con un system prompt diverso e nessuno strumento, il che interrompe il prefisso in cache e fa pagare il prezzo pieno su ogni token. La loro soluzione mantiene esattamente gli stessi parametri della conversazione principale, così vengono fatturati solo i token del prompt di compattazione stesso. Questi schemi sono ora integrati nell'API Anthropic.

Vivek Trivedy di LangChain colloca la compattazione accanto allo scarico dei risultati voluminosi degli strumenti sul filesystem e alle Skills come divulgazione progressiva, tutte risposte alla stessa pressione all'interno di un harness per agenti.

Thariq si aspetta che questi meccanismi vengano infine gestiti da Claude stesso. Per ora, il riassunto che un modello scrive del proprio lavoro incompiuto è ancora qualcosa che l'utente deve verificare.