# osmani-agentic-verification-2026-10-14

## Veille

Post de **Addy Osmani** en su Substack *Elevate*, publicado el **14 de octubre de 2026**; ~1.900 palabras. Tesis: con los modelos actuales, el cuello de botella ya no es escribir código sino **verificar** su corrección; el trabajo humano pasa de *"revisar cada línea"* a *"construir bucles que el agente pueda ejecutar él mismo"*.

## Titre Article

Agentic Verification — The bottleneck has moved from writing code to knowing it's correct.

## Date

2026-10-14

## URL

https://addyo.substack.com/p/agentic-verification

## Keywords

agentic verification, feedback loop, self-verifying agent, end-to-end tests, E2E, property-based tests, property-based testing, differential tests, oracle, migración, invariantes, idempotencia, determinismo, flaky tests, flaky tests, feature map, métodos formales, TLA+, Lean, criterio de éxito, revisión de evidencia

## Authors

Addy Osmani — ingénieur (Anthropic, cf. fiches antérieures) ; billet sur son Substack *Elevate*.

## Ton

Perfil: una guía práctica dirigida a ingenieros que trabajan con agentes de codificación, en un tono seguro y didáctico. El texto abre con una tesis (la verificación es el cuello de botella), redefine el papel de los tests, y recorre después tres familias de comprobaciones, cada una con sus ventajas, límites y consejos para empezar, antes de una lista de "qué aspecto tiene lo bueno" y una directriz final. Los recuadros "Nota" remiten a prácticas adyacentes (mapas de funcionalidades, métodos formales, agentes revisores). El argumento se apoya en la propia experiencia del autor y en comentarios de equipos sin nombrar, sin cifras ni estudios. Los comentarios amplían la discusión: IronBee (verificar también la API detrás de la interfaz) y un lector que sugiere mantener los criterios de aceptación ocultos al agente que construye.

## Pense-betes

- **Tesis**: el cuello de botella se desplaza de la escritura a la verificación; el humano define el éxito y revisa evidencia, no diffs.
- **Bucle**: escribir → comprobar → leer → repetir, antes de cualquier mirada humana; un bucle mucho mejor vale más que un modelo ligeramente mejor.
- **Capitalizar el criterio**: cada error del agente se convierte en configuración compartida, un hook o un test.
- **E2E**: un oráculo fiel al usuario; debe decir *qué* ha fallado (capturas de pantalla, trazas); pocos y de alto valor, ya que son lentos e inestables.
- **Propiedades**: *"Los tests de ejemplo dicen lo que debería ocurrir; las propiedades dicen lo que no debe ocurrir"*; empezar con una función pura, escribir primero la propiedad en lenguaje llano, conservar el caso minimizado como regresión.
- **Diferencial**: sistema antiguo = oráculo; entradas aleatorias o repetición de tráfico real; normalizar lo insignificante; una lista justificada de cambios aprobados.
- **Bucle sano**: menos de un segundo para el bucle central, aleatoriedad con semilla, reloj congelado, red controlada; tests inestables retirados de la suite; salida breve; tests E2E y diferenciales antes de la integración.
- **Hábitos adyacentes**: reformular los criterios de éxito antes de programar, un agente revisor en un contexto nuevo, inspeccionar los tests generados.
- Relacionado con [[monperrus-end-of-code-review-agents-supersede-2026-06-11]] y [[osmani-three-joys-engineering-agents-2026-10-09]].

## RésuméDe400mots

Addy Osmani parte de una observación: dar a un agente una forma de verificar su propio trabajo mejora notablemente la calidad de lo que produce. Lo que hacía costoso el "buen código" — tests, benchmarks, especificaciones, rutas reales de extremo a extremo — ahora puede delegarse al agente. El trabajo humano pasa entonces de la revisión línea por línea a la construcción de bucles que el agente ejecuta por su cuenta, y el criterio se capitaliza: cada error se convierte en una configuración compartida, un hook o un test. Un humano sigue siendo responsable de lo que se publica, pero revisa evidencia en lugar de diffs.

En su opinión, los modelos ya son suficientemente buenos como para que la verificación sea el cuello de botella. Un agente que no puede comprobarse a sí mismo adivina, y la corrección requiere entonces un intercambio humano lento, costoso y no escalable. Un agente que se testea a sí mismo escribe, comprueba, lee el resultado y vuelve a intentarlo antes de que intervenga ningún humano. Los tests cambian de función: se convierten en la forma en que el agente percibe el mundo y sabe que ha terminado.

Los tests de extremo a extremo son el oráculo preferido: describen lo que hace el usuario y son difíciles de engañar, a diferencia de un test unitario basado en mocks, que puede compartir la propia incomprensión del agente. Deben señalar el paso que falla, convirtiendo una instrucción vaga en un objetivo. Lentos y poco fiables, deben mantenerse en poco número.

Los tests basados en propiedades (property-based tests) enuncian lo que nunca debe ocurrir; herramientas como fast-check, Hypothesis o proptest generan miles de entradas y reducen los fallos a un caso mínimo. Propiedades habituales: ida y vuelta (round-trips), invariantes, idempotencia, equivalencia con una versión simple. Impiden que el agente elija ejemplos que simplemente confirman su propia lógica y sirven de especificación.

Para una reescritura, los tests diferenciales convierten el sistema antiguo en el oráculo: entradas idénticas, aleatorias o extraídas de tráfico real, comparación de salidas, normalizando lo insignificante, y una lista justificada de cambios previstos, hasta que el sistema antiguo pueda retirarse.

El bucle debe ser rápido y determinista: un agente frente a tests lentos o inestables aprende a reintentar en lugar de corregir, o espacia sus ejecuciones y pierde de vista las causas. Osmani recomienda un bucle central de menos de un segundo, aleatoriedad controlada, exclusión inmediata de los tests inestables, salida concisa y tests más pesados antes de la integración. Su conclusión: escribir la comprobación antes del código.

## GrapheDeConnaissance

- Addy Osmani —publie→ article Agentic Verification (DOCUMENT, 0.98)
- Addy Osmani —affirme_que→ le goulot des agents de codage est la vérification, non l'écriture du code (AFFIRMATION, 0.95)
- Addy Osmani —affirme_que→ une bien meilleure boucle de rétroaction vaut mieux qu'un modèle un peu meilleur (AFFIRMATION, 0.92)
- Agentic verification —améliore→ Agents de codage (TECHNOLOGIE, 0.9)
- Agentic verification —utilise→ Tests E2E (METHODOLOGIE, 0.93)
- Agentic verification —utilise→ Property-based testing (METHODOLOGIE, 0.93)
- Agentic verification —utilise→ Differential testing (METHODOLOGIE, 0.93)
- Property-based testing —utilise→ fast-check (TECHNOLOGIE, 0.9)
- Property-based testing —utilise→ Hypothesis (TECHNOLOGIE, 0.9)
- Property-based testing —utilise→ proptest (TECHNOLOGIE, 0.9)
- Differential testing —s_applique_à→ migration logicielle (CONCEPT, 0.9)
- Tests instables —réduit→ Agentic verification (METHODOLOGIE, 0.85)
- Addy Osmani —recommande→ écrire le contrôle avant le code (AFFIRMATION, 0.95)
- Addy Osmani —recommande→ une boucle de tests rapide et déterministe, sous la seconde pour la boucle cœur (AFFIRMATION, 0.9)
- Addy Osmani —référence→ Lauren (@poteto) (PERSONNE, 0.85)
- Lauren (@poteto) —recommande→ Feature map (CONCEPT, 0.85)
- Boris Cherny —utilise→ TLA+ (TECHNOLOGIE, 0.85)
- Boris Cherny —utilise→ Lean (TECHNOLOGIE, 0.85)
- Boris Cherny —a_créé→ Claude Code (TECHNOLOGIE, 0.85)

---
Canonical: https://www.thekb.eu/es/fiches/osmani-agentic-verification-2026-10-14/