# pragmatic-engineer-measure-ai-impact-dev-2025-09-16

## Veille

Pragmatic Engineer - Misurare l'impatto dell'IA - Produttività degli sviluppatori - Metriche - GitHub Copilot - DX - Efficienza ingegneristica

## Titre Article

HOW TECH COMPANIES MEASURE THE IMPACT OF AI ON SOFTWARE DEVELOPMENT

## Date

2025-09-16

## URL

https://newsletter.pragmaticengineer.com/p/how-tech-companies-measure-the-impact-of-ai?utm_source=tldrnewsletter

## Keywords

impatto dell'IA, sviluppo software, efficienza ingegneristica, produttività degli sviluppatori, strumenti IA, metriche, GitHub Copilot, Google, Microsoft, Dropbox, Monzo, Atlassian, DX, AI Measurement Framework, Change Failure Rate, throughput PR, developer experience, CSAT, risparmio di tempo

## Authors

Gergely Orosz and Laura Tacho

## Ton

**Profilo:** Professionale-Analitico | Co-autori esperti | Educativo-Prescrittivo | Intermedio-Esperto

Orosz e Tacho adottano una voce esperta collaborativa che combina il reportage con la costruzione di un framework metodologico. I dati provenienti da 18 aziende (Google, GitHub, Microsoft, Dropbox) fondano empiricamente le raccomandazioni. La struttura sistematica che combina metriche core e metriche specifiche per l'IA rivela un pensiero orientato al framework. Casi di studio concreti (90% di adozione a Dropbox, BDD in Microsoft, le sfide di Monzo) illustrano principi astratti. Il linguaggio prescrittivo fornisce indicazioni pratiche. Avvertimenti espliciti (rischi di qualità, debito di manutenibilità, limiti del tasso di accettazione) dimostrano onestà intellettuale. L'articolo si rivolge ai responsabili ingegneristici con un mix di pensiero strategico e implementazione tattica. Tipico delle analisi approfondite di Pragmatic Engineer, che combinano ricerca di settore e raccomandazioni pratiche.

## Pense-betes

- **18 grandi aziende tecnologiche** studiate (Google, GitHub, Microsoft, Dropbox, Monzo, Atlassian...)
- L'**85% degli ingegneri utilizza strumenti di IA**, ma manca di metriche chiare per giustificare l'investimento
- **Metriche core + specifiche per l'IA**: combinare quelle esistenti (CFR, throughput PR, tempo di ciclo PR, developer experience) con quelle nuove (tasso di adozione, CSAT, tempo risparmiato, spesa IA)
- **Risultati Dropbox**: **adozione IA del 90%**, gli ingegneri effettuano il merge del **20% di PR in più** con un CFR ridotto
- **Segmentare i dati**: utenti IA vs non utenti, prima/dopo l'IA, per ruolo/seniority/linguaggio
- **Bilanciare velocità e qualità**: monitorare metriche che si controllano a vicenda (throughput PR + CFR)
- **Developer experience come priorità**: misurare la soddisfazione e l'esperienza è cruciale per un'adozione sostenibile
- **Raccolta dati a 3 livelli**: dati di sistema + sondaggi periodici + campionamento dell'esperienza
- **Mentalità sperimentale**: affrontare la misurazione con un obiettivo chiaro, testare previsioni
- **"Bad developer days" (BDD)**: metrica Microsoft che valuta l'impatto dell'IA sull'attrito quotidiano
- **Declino del tasso di accettazione**: non è più una metrica di riferimento, non cattura né la manutenibilità né i bug
- **Telemetria degli agenti**: area emergente destinata a evolversi significativamente
- **Caso Monzo**: la misurazione oggettiva è difficile (conservazione dei dati da parte dei fornitori), il sentiment soggettivo + casi d'uso specifici (migrazioni di codice) dimostrano un valore chiaro

## RésuméDe400mots

Questa analisi approfondita esplora come **18 grandi aziende tecnologiche**, tra cui Google, GitHub, Microsoft e Dropbox, misurano l'impatto dell'IA sullo sviluppo software, in un contesto in cui è necessario giustificare investimenti crescenti negli strumenti di coding IA. Scritto da Gergely Orosz e Laura Tacho (CTO di DX), l'articolo rileva che, sebbene l'**85% degli ingegneri utilizzi strumenti di IA**, molti responsabili ingegneristici faticano a valutarne il valore reale, in assenza di metriche chiare che vadano oltre misure superficiali come le righe di codice (LOC).

**Messaggio centrale: combinare le metriche**

Misurare efficacemente l'impatto dell'IA richiede di **combinare le metriche ingegneristiche 'core' esistenti con nuove metriche specifiche per l'IA**. Le aziende non dovrebbero abbandonare le metriche tradizionali come il Change Failure Rate, il throughput delle PR, il tempo di ciclo delle PR e la developer experience, poiché l'obiettivo ultimo dell'IA è proprio migliorare questi fondamentali della delivery software. Queste metriche core devono essere monitorate insieme ai tassi di adozione dell'IA, alla soddisfazione (CSAT) verso gli strumenti, al tempo risparmiato per ingegnere e alla spesa IA. **Dropbox**, ad esempio, ha raggiunto un'**adozione IA del 90%** e ha visto i propri ingegneri effettuare il merge del **20% di pull request in più**, con un Change Failure Rate ridotto.

**Segmentazione e mentalità sperimentale**

Un aspetto cruciale è **scomporre le metriche per livello di utilizzo dell'IA**: confrontare gli utenti IA con i non utenti, e analizzare le tendenze nel tempo. Questa scomposizione per ruolo, seniority o linguaggio di programmazione aiuta a identificare quali gruppi traggono maggior beneficio dall'IA o necessitano di formazione aggiuntiva. L'articolo sottolinea una **mentalità sperimentale**, in cui i dati vengono utilizzati per rispondere a domande specifiche e verificare previsioni sull'influenza dell'IA.

**Qualità, manutenibilità, developer experience**

La vigilanza su **qualità del codice, manutenibilità e developer experience** è fondamentale. Gli autori avvertono che lo sviluppo assistito dall'IA può creare "il più grande cumulo di debito tecnico" se non gestito con attenzione. È essenziale monitorare metriche che si controllano a vicenda, come la velocità insieme alla qualità (throughput delle PR e CFR). Oltre alle metriche di sistema, i dati auto-riportati su "fiducia nelle modifiche", "manutenibilità del codice" e "qualità percepita" sono vitali per catturare gli impatti a lungo termine. La developer experience, spesso erroneamente ridotta a vantaggi superficiali, è critica per ridurre l'attrito lungo l'intero ciclo di sviluppo.

**Tendenze emergenti e sfide**

Microsoft utilizza i **"bad developer days" (BDD)** per valutare l'impatto dell'IA sull'attrito quotidiano, mentre Glassdoor misura i risultati della sperimentazione (test A/B). Il **tasso di accettazione** dei suggerimenti IA, un tempo metrica di riferimento, è in declino perché troppo ristretto: non cattura né la manutenibilità, né l'introduzione di bug, né la produttività complessiva. L'analisi dei costi, ancora poco praticata per non scoraggiare l'utilizzo, dovrebbe ricevere maggiore attenzione con la crescita dei budget IA. La **telemetria degli agenti** e la misurazione oltre la scrittura di codice sono identificate come aree destinate a evolversi significativamente.

**AI Measurement Framework e livelli di dati**

L'articolo introduce l'**AI Measurement Framework**, un insieme raccomandato di metriche che combina metriche IA e metriche ingegneristiche core, con la developer experience al centro. Propone una raccolta dati a strati: dati di sistema quantitativi (strumenti IA, GitHub, JIRA, CI/CD), sondaggi qualitativi periodici e campionamento dell'esperienza in tempo reale. L'esperienza di **Monzo Bank** funge da caso di studio: la misurazione oggettiva è difficile (conservazione dei dati da parte dei fornitori), ma il sentiment soggettivo degli ingegneri e casi d'uso specifici come le migrazioni di codice dimostrano un valore chiaro.

## GrapheDeConnaissance

- Gergely Orosz —publie→ AI Measurement Framework (METHODOLOGIE, 0.97)
- Laura Tacho —publie→ AI Measurement Framework (METHODOLOGIE, 0.97)
- Laura Tacho —travaille_chez→ DX (ORGANISATION, 0.98)
- DX —permet→ mesure de l'efficacité ingénierie en entreprise (CONCEPT, 0.95)
- AI Measurement Framework —recommande→ combiner métriques d'ingénierie core et métriques spécifiques IA (AFFIRMATION, 0.96)
- Dropbox —mesure→ 90% taux d'adoption IA (MESURE, 0.98)
- Dropbox —mesure→ augmentation 20% des PRs fusionnées (MESURE, 0.95)
- Microsoft —utilise→ Bad Developer Days (METHODOLOGIE, 0.97)
- difficultés de mesure objective de l'IA —observé_dans→ Monzo Bank (ORGANISATION, 0.93)
- acceptance rate —s_oppose_à→ mesure pertinente de productivité IA (CONCEPT, 0.88)
- LeadDev —publie→ AI Impact Report 2025 (DOCUMENT, 0.96)
- METR study —s_oppose_à→ perception de gain de vitesse IA (CONCEPT, 0.9)
- LOC —s_oppose_à→ mesure pertinente productivité (CONCEPT, 0.92)
- Gergely Orosz —prédit→ une évolution significative de la télémétrie d'agents (AFFIRMATION, 0.82)

---
Canonical: https://www.thekb.eu/it/fiches/pragmatic-engineer-measure-ai-impact-dev-2025-09-16/