Ethan Mollick sostiene che, nonostante i progressi misurabili nell'IA, i benchmark standard non riescono a cogliere ciò che conta davvero: le prestazioni sui VOSTRI compiti specifici con i VOSTRI criteri di giudizio. Prescrive di "intervistare" i modelli AI come candidati a un colloquio di lavoro piuttosto che affidarsi a punteggi di test generici.
Problemi dei benchmark standard
Benchmark come MMLU-Pro pongono domande oscure ("capacità cranica media dell'Homo erectus?", "titolo dell'album live del 1979 dei Cheap Trick?") il cui reale valore di misurazione è incerto. I test non sono calibrati (non si sa se passare dall'84% all'85% sia difficile quanto passare dal 40% al 41%), contengono errori e i punteggi massimi possono essere irraggiungibili. Peggio ancora: le chiavi di risposta pubbliche ne consentono l'incorporazione nell'addestramento (accidentalmente o deliberatamente). Nel complesso, tutti i benchmark (AIME, GPQA, MMLU, SWE-bench, ARC-AGI, METR) mostrano una tendenza "verso l'alto e verso destra", misurando un fattore di capacità sottostante correlato all'impatto nel mondo reale. Ma il loro focus su matematica, scienze, ragionamento e codice lascia lacune nella scrittura, nella consulenza aziendale e nell'empatia. "Ciò che vi interessa davvero è quale modello sarebbe migliore per LE VOSTRE esigenze."
Benchmark basato sui "vibes": un approccio individuale
I professionisti sviluppano test idiosincratici: Simon Willison chiede un pellicano in bicicletta, Mollick una lontra su un aereo, un pannello di controllo di un'astronave in JavaScript, poesie difficili, videogiochi. Un esercizio di scrittura rivela alcuni pattern: Claude 4.5 Sonnet è un solido scrittore, Gemini 2.5 Pro (attualmente il più debole) non tiene il conto del numero di parole, GPT-5 Thinking è uno stilista esuberante talvolta incoerente, Kimi K2 Thinking produce giri di frase interessanti ma una storia priva di senso. I vibes danno una "sensazione" sui modelli, ma restano idiosincratici: le risposte variano ogni volta e ci si affida a impressioni piuttosto che a misurazioni reali.
Benchmark nel mondo reale: il metodo GDPval
Il paper GDPval di OpenAI dimostra un approccio rigoroso: (1) esperti con 14 anni di esperienza in media creano progetti realistici e complessi che rappresentano da 4 a 7 ore di lavoro umano, (2) diversi modelli AI ed esperti umani svolgono i compiti, (3) un terzo gruppo di esperti valuta alla cieca, dedicando più di un'ora per domanda. Lo studio rivela i punti di forza dell'IA (sviluppo software, consulenza finanziaria: batte gli umani) e i suoi punti deboli (farmacisti, ingegneri industriali, agenti immobiliari battono l'IA). Emergono differenze tra i modelli: ChatGPT è un migliore sales manager, Claude un migliore consulente finanziario. La forma della "Jagged Frontier" prende forma.
GuacaDrone rivela la personalità dei modelli
Mollick propone un'idea dubbia, "consegna di guacamole tramite drone", e chiede ai modelli di valutarne la fattibilità da 1 a 10, dieci volte ciascuno. Grok è entusiasta, Copilot eccitato, GPT-5 e Claude scettici. Mollick stesso la valuterebbe 2 o meno. "Valutare sistematicamente le idee 3-4 punti più in alto o più in basso significa orientarvi sistematicamente in una direzione diversa." A seconda dell'azienda, si desidera un'IA che accolga o eviti il rischio: è necessario capire come l'IA "pensa" le questioni critiche.
Prescrizione per le organizzazioni
I vibes bastano per i singoli individui. Le organizzazioni che effettuano deployment su larga scala hanno bisogno di test sistematici: IA su lavoro reale e giudizi reali, scenari realistici, eseguiti più volte, valutati da esperti, con confronto diretto sui compiti che contano. "La differenza tra 'il modello ha ottenuto l'85% su MMLU' e 'il modello è più accurato nell'analisi finanziaria ma più prudente sul rischio'." Da rifare più volte all'anno man mano che escono nuovi modelli.
Analogia finale: "Non assumereste un VP basandovi solo sui suoi punteggi al SAT. Non scegliete l'IA che consiglierà migliaia di decisioni basandovi sulla sua conoscenza della capacità cranica media dell'Homo erectus."