Automating eval design and hillclimbing with Claude
Articolo **Playbooks** di **Lance Martin**, pubblicato sul blog claude.dev il **28 settembre 2026** (12 minuti di lettura, nove figure). Presenta due sottocomandi aggiunti allo skill **claude-api** di Claude Code, `/claude-api build-eval` e `/claude-api hillclimb`, dopo aver esposto i principi che essi applicano. Tre contributi. **(A)** Quattro proprietà di una buona valutazione: compiti rappresentativi della produzione, punteggi che aumentano con il modello e con l'impegno, margine di miglioramento sotto il **100%** al vertice, bassa varianza da un'esecuzione all'altra; più l'*adversarial sampling*: un caso difficile viene conservato perché un umano può spiegare perché, non perché il modello odierno lo fallisce. **(B)** Hillclimbing disciplinato: una modifica per round, insieme **train/test** separato, patch annullata se il train aumenta mentre il test resta stabile. **(C)** Due esempi misurati: un benchmark di assistenza clienti (**44** ticket) il cui costo scende da circa **4,6 a 1 centesimo** per ticket, e la valutazione dello stesso skill claude-api, dal **66%** a circa **88%**. Una frase del testo: *"è importante leggere un campione di trascrizioni valutate prima di fidarsi del proprio valutatore."* Collegato all'articolo dell'autore sul prompt caching, [[lancemartin-anthropic-prompt-auto-caching-claude-2026-02]].
Lance Martin (Anthropic) · blog claude.dev · avec remerciements à Misha Khalman pour le développement de la skill.