Automating eval design and hillclimbing with Claude
Artículo de **Playbooks** de **Lance Martin**, publicado en el blog claude.dev el **28 de septiembre de 2026** (lectura de 12 minutos, nueve figuras). Presenta dos subcomandos añadidos a la skill **claude-api** de Claude Code, `/claude-api build-eval` y `/claude-api hillclimb`, tras exponer los principios que aplican. Tres aportes. **(A)** Cuatro propiedades de una buena evaluación: tareas representativas de producción, puntuaciones que aumentan con el modelo y el esfuerzo, margen de mejora por debajo del **100%** en la cima, baja varianza de una ejecución a otra; además del *muestreo adversarial*: un caso difícil se conserva porque un humano puede explicar por qué, no porque el modelo actual falle en él. **(B)** Hillclimbing disciplinado: un cambio por ronda, conjunto **train/test** separado, parche revertido si train sube mientras test se mantiene plano. **(C)** Dos ejemplos medidos: un benchmark de atención al cliente (**44** tickets) cuyo costo cae de alrededor de **4.6 a 1 centavo** por ticket, y la evaluación de la propia skill claude-api, de **66%** a aproximadamente **88%**. Una frase del texto: *"es importante leer una muestra de transcripciones puntuadas antes de confiar en el evaluador".* Relacionado con el artículo del autor sobre el almacenamiento en caché de prompts, [[lancemartin-anthropic-prompt-auto-caching-claude-2026-02]].
Lance Martin (Anthropic) · blog claude.dev · avec remerciements à Misha Khalman pour le développement de la skill.