Automating eval design and hillclimbing with Claude
**Playbooks**-Artikel von **Lance Martin**, veröffentlicht im claude.dev-Blog am **28. September 2026** (12 Minuten Lesezeit, neun Abbildungen). Er stellt zwei Subcommands vor, die dem **claude-api**-Skill von Claude Code hinzugefügt wurden, `/claude-api build-eval` und `/claude-api hillclimb`, nachdem die Prinzipien dargelegt wurden, die sie anwenden. Drei Beiträge. **(A)** Vier Eigenschaften einer guten Evaluation: für die Produktion repräsentative Aufgaben, Scores, die mit dem Modell und dem Aufwand steigen, Spielraum unter **100%** an der Spitze, geringe Varianz von einem Durchlauf zum nächsten; dazu *adversarial sampling*: ein schwieriger Fall wird beibehalten, weil ein Mensch begründen kann, warum, nicht weil das heutige Modell daran scheitert. **(B)** Disziplinierte Hillclimbing-Praxis: eine Änderung pro Runde, getrennte **Train/Test**-Menge, Patch wird zurückgenommen, wenn Train steigt, während Test stagniert. **(C)** Zwei gemessene Beispiele: ein Customer-Support-Benchmark (**44** Tickets), dessen Kosten von etwa **4,6 auf 1 Cent** pro Ticket sinken, und die Evaluation des claude-api-Skills selbst, von **66%** auf etwa **88%**. Ein Satz aus dem Text: *„es ist wichtig, eine Stichprobe bewerteter Transkripte zu lesen, bevor man seinem Evaluator vertraut.“* Steht in Zusammenhang mit dem Beitrag des Autors zum Prompt-Caching, [[lancemartin-anthropic-prompt-auto-caching-claude-2026-02]].
Lance Martin (Anthropic) · blog claude.dev · avec remerciements à Misha Khalman pour le développement de la skill.