Automating eval design and hillclimbing with Claude
Article **Playbooks** de **Lance Martin**, publié sur le blog claude.dev le **28 septembre 2026** (12 min de lecture, neuf figures). Il présente deux sous-commandes ajoutées à la skill **claude-api** de Claude Code, `/claude-api build-eval` et `/claude-api hillclimb`, après avoir posé les principes qu'elles appliquent. Trois apports. **(A)** Quatre propriétés d'une bonne évaluation : tâches représentatives de la production, scores qui montent avec le modèle et l'effort, marge de progression sous **100 %** au sommet, faible variance d'un run à l'autre ; plus l'*échantillonnage adversarial* : on retient un cas difficile parce qu'un humain sait dire pourquoi, non parce que le modèle du jour l'échoue. **(B)** Un hillclimbing discipliné : une modification par tour, jeu **train/test** séparé, patch annulé si le train monte et que le test reste plat. **(C)** Deux exemples chiffrés : un benchmark de support client (**44** tickets) dont le coût passe d'environ **4,6 à 1 centime** par ticket, et l'évaluation de la skill claude-api elle-même, de **66 %** à environ **88 %**. Rappel du texte : *« il est important de lire un échantillon de transcriptions notées avant de croire votre évaluateur »*. À rapprocher de l'auteur sur le cache de prompt, [[lancemartin-anthropic-prompt-auto-caching-claude-2026-02]].
Lance Martin (Anthropic) · blog claude.dev · avec remerciements à Misha Khalman pour le développement de la skill.