# pragmatic-engineer-measure-ai-impact-dev-2025-09-16

## Veille

Pragmatic Engineer - Medición del Impacto de la IA - Productividad del Desarrollador - Métricas - GitHub Copilot - DX - Eficiencia en Ingeniería

## Titre Article

HOW TECH COMPANIES MEASURE THE IMPACT OF AI ON SOFTWARE DEVELOPMENT

## Date

2025-09-16

## URL

https://newsletter.pragmaticengineer.com/p/how-tech-companies-measure-the-impact-of-ai?utm_source=tldrnewsletter

## Keywords

impacto de la IA, desarrollo de software, eficiencia en ingeniería, productividad del desarrollador, herramientas de IA, métricas, GitHub Copilot, Google, Microsoft, Dropbox, Monzo, Atlassian, DX, AI Measurement Framework, Change Failure Rate, rendimiento de PR, experiencia del desarrollador, CSAT, ahorro de tiempo

## Authors

Gergely Orosz and Laura Tacho

## Ton

**Perfil:** Profesional-Analítico | Coautores expertos | Educativo-Prescriptivo | Intermedio-Experto

Orosz y Tacho adoptan una voz experta colaborativa que combina el reportaje con la construcción de un marco metodológico. Los datos extraídos de 18 empresas (Google, GitHub, Microsoft, Dropbox) fundamentan empíricamente las recomendaciones. La estructura sistemática que combina métricas centrales y métricas específicas de IA revela un pensamiento orientado a marcos de referencia. Estudios de caso concretos (90% de adopción en Dropbox, BDD en Microsoft, los desafíos de Monzo) ilustran principios abstractos. El lenguaje prescriptivo aporta orientación práctica. Las advertencias explícitas (riesgos de calidad, deuda de mantenibilidad, límites de la tasa de aceptación) demuestran honestidad intelectual. El artículo se dirige a líderes de ingeniería con una combinación de pensamiento estratégico e implementación táctica. Es representativo de los análisis en profundidad de Pragmatic Engineer, que combinan investigación sectorial con recomendaciones prácticas.

## Pense-betes

- **18 grandes empresas tecnológicas** estudiadas (Google, GitHub, Microsoft, Dropbox, Monzo, Atlassian...)
- **El 85% de los ingenieros usa herramientas de IA**, pero carece de métricas claras para justificar la inversión
- **Métricas centrales + específicas de IA**: combinar las existentes (CFR, rendimiento de PR, tiempo de ciclo de PR, experiencia del desarrollador) con las nuevas (tasa de adopción, CSAT, tiempo ahorrado, gasto en IA)
- **Resultados de Dropbox**: **90% de adopción de IA**, los ingenieros fusionan **un 20% más de PR** con una CFR reducida
- **Segmentar los datos**: usuarios de IA frente a no usuarios, antes/después de la IA, por rol/seniority/lenguaje
- **Equilibrar velocidad y calidad**: seguir métricas que se verifiquen entre sí (rendimiento de PR + CFR)
- **Experiencia del desarrollador como prioridad**: medir la satisfacción y la experiencia es crucial para una adopción sostenible
- **Recopilación de datos en 3 capas**: datos de sistema + encuestas periódicas + muestreo de experiencia
- **Mentalidad experimental**: abordar la medición con un objetivo claro, poner a prueba predicciones
- **"Bad developer days" (BDD)**: métrica de Microsoft que evalúa el impacto de la IA en la fricción diaria
- **Declive de la tasa de aceptación**: ya no es una métrica de referencia, no capta ni la mantenibilidad ni los errores
- **Telemetría de agentes**: área emergente destinada a evolucionar significativamente
- **Caso Monzo**: la medición objetiva es difícil (retención de datos por parte de los proveedores), el sentimiento subjetivo + casos de uso concretos (migraciones de código) demuestran un valor claro

## RésuméDe400mots

Este análisis en profundidad explora cómo **18 grandes empresas tecnológicas**, entre ellas Google, GitHub, Microsoft y Dropbox, miden el impacto de la IA en el desarrollo de software, en un contexto en el que se busca justificar las inversiones crecientes en herramientas de codificación con IA. Escrito por Gergely Orosz y Laura Tacho (CTO de DX), el artículo señala que, si bien el **85% de los ingenieros utiliza herramientas de IA**, muchos líderes de ingeniería tienen dificultades para evaluar su valor real, al carecer de métricas claras más allá de indicadores superficiales como las líneas de código (LOC).

**Mensaje central: combinar métricas**

Medir de forma efectiva el impacto de la IA requiere **combinar las métricas de ingeniería 'centrales' existentes con nuevas métricas específicas de IA**. Las empresas no deben abandonar métricas tradicionales como la Tasa de Fallos de Cambios (Change Failure Rate), el rendimiento de PR, el tiempo de ciclo de PR y la experiencia del desarrollador, ya que el objetivo último de la IA es precisamente mejorar estos fundamentos de la entrega de software. Estas métricas centrales deben seguirse junto con las tasas de adopción de IA, la satisfacción (CSAT) con las herramientas, el tiempo ahorrado por ingeniero y el gasto en IA. **Dropbox**, por ejemplo, alcanzó una **adopción de IA del 90%** y sus ingenieros fusionaron **un 20% más de pull requests** con una tasa de fallos de cambios reducida.

**Segmentación y mentalidad experimental**

Un aspecto crucial es **desglosar las métricas por nivel de uso de IA**: comparar a los usuarios de IA con los que no la usan, y analizar las tendencias a lo largo del tiempo. Este desglose por rol, seniority o lenguaje de programación ayuda a identificar qué grupos se benefician más de la IA o necesitan formación adicional. El artículo subraya una **mentalidad experimental**, en la que los datos se utilizan para responder preguntas concretas y poner a prueba predicciones sobre la influencia de la IA.

**Calidad, mantenibilidad, experiencia del desarrollador**

La vigilancia sobre la **calidad del código, la mantenibilidad y la experiencia del desarrollador** es primordial. Los autores advierten que el desarrollo asistido por IA puede crear "la mayor acumulación de deuda técnica" si no se gestiona con cuidado. Es esencial seguir métricas que se verifiquen mutuamente, como la velocidad junto con la calidad (rendimiento de PR y CFR). Más allá de las métricas de sistema, los datos autorreportados sobre "confianza en los cambios", "mantenibilidad del código" y "calidad percibida" son vitales para captar los impactos a largo plazo. La experiencia del desarrollador, a menudo reducida erróneamente a beneficios superficiales, es crítica para reducir la fricción en todo el ciclo de desarrollo.

**Tendencias y desafíos emergentes**

Microsoft utiliza los **"bad developer days" (BDD)** para evaluar el impacto de la IA en la fricción diaria, mientras que Glassdoor mide los resultados de la experimentación (pruebas A/B). La **tasa de aceptación** de las sugerencias de IA, antes una métrica de referencia, está en declive por ser demasiado limitada: no capta ni la mantenibilidad, ni la introducción de errores, ni la productividad global. Se espera que el análisis de costes, aún poco practicado para no desincentivar el uso, reciba un mayor escrutinio a medida que crecen los presupuestos de IA. La **telemetría de agentes** y la medición más allá de la escritura de código se identifican como áreas destinadas a evolucionar significativamente.

**AI Measurement Framework y capas de datos**

El artículo presenta el **AI Measurement Framework**, un conjunto recomendado de métricas que combina métricas de IA con métricas centrales de ingeniería, con la experiencia del desarrollador en su centro. Aboga por una recopilación de datos en capas: datos cuantitativos de sistema (herramientas de IA, GitHub, JIRA, CI/CD), encuestas cualitativas periódicas y muestreo de la experiencia en el momento. La experiencia de **Monzo Bank** sirve como caso de estudio: la medición objetiva es difícil (retención de datos por parte de los proveedores), pero el sentimiento subjetivo de los ingenieros y casos de uso concretos como las migraciones de código demuestran un valor claro.

## GrapheDeConnaissance

- Gergely Orosz —publie→ AI Measurement Framework (METHODOLOGIE, 0.97)
- Laura Tacho —publie→ AI Measurement Framework (METHODOLOGIE, 0.97)
- Laura Tacho —travaille_chez→ DX (ORGANISATION, 0.98)
- DX —permet→ mesure de l'efficacité ingénierie en entreprise (CONCEPT, 0.95)
- AI Measurement Framework —recommande→ combiner métriques d'ingénierie core et métriques spécifiques IA (AFFIRMATION, 0.96)
- Dropbox —mesure→ 90% taux d'adoption IA (MESURE, 0.98)
- Dropbox —mesure→ augmentation 20% des PRs fusionnées (MESURE, 0.95)
- Microsoft —utilise→ Bad Developer Days (METHODOLOGIE, 0.97)
- difficultés de mesure objective de l'IA —observé_dans→ Monzo Bank (ORGANISATION, 0.93)
- acceptance rate —s_oppose_à→ mesure pertinente de productivité IA (CONCEPT, 0.88)
- LeadDev —publie→ AI Impact Report 2025 (DOCUMENT, 0.96)
- METR study —s_oppose_à→ perception de gain de vitesse IA (CONCEPT, 0.9)
- LOC —s_oppose_à→ mesure pertinente productivité (CONCEPT, 0.92)
- Gergely Orosz —prédit→ une évolution significative de la télémétrie d'agents (AFFIRMATION, 0.82)

---
Canonical: https://www.thekb.eu/es/fiches/pragmatic-engineer-measure-ai-impact-dev-2025-09-16/