# mollick-giving-ai-job-interview-2025-11-12

## Veille

AI-Benchmarking jenseits von Standardtests - KI-Modelle für spezifische Anwendungsfälle befragen - Jagged Frontier - OpenAI GDPval - Vibes vs. echte Messungen - GuacaDrone-Beispiel - Ethan Mollick - One Useful Thing

## Titre Article

Giving your AI a Job Interview

## Date

2025-11-12

## URL

https://www.oneusefulthing.org/p/giving-your-ai-a-job-interview

## Keywords

AI-Benchmarking, MMLU-Pro, ARC-AGI, METR Long Tasks, Benchmark-Einschränkungen, vibes-basiertes Testen, OpenAI GDPval, reale Aufgaben, Jagged Frontier, Modellbewertung, GuacaDrone, Risikobewertung, Otter im Flugzeug, Pelikan auf dem Fahrrad, Simon Willison, Claude 4.5 Sonnet, GPT-5 Thinking, Gemini 2.5 Pro, Kimi K2 Thinking, Grok, Microsoft Copilot, Modellpersönlichkeit, Beratung im großen Maßstab, Vorstellungsgespräch-Analogie, Expertenbewertung, Modellauswahl, organisatorische KI-Einführung, aufgabenspezifische Leistung, Beurteilungsunterschiede

## Authors

Ethan Mollick

## Ton

**Profil:** Praktiker-Pädagoge | Pädagogische erste Person | Analytisch-präskriptiv | Zugänglich-mittleres Niveau

Mollick nimmt die Stimme eines Pädagogen an, die analytische Präzision mit pragmatischer Zugänglichkeit verbindet. Die progressive pädagogische Struktur (Benchmark-Problem → "Vibes"-Lösung → reale Lösung → präskriptive Handlung) ist typisch für One Useful Thing. Verspielte Beispiele (Otter in Flugzeugen, GuacaDrone, Pelikan auf einem Fahrrad) machen abstrakte Konzepte greifbar, ohne an Tiefe einzubüßen. Der ausgewogene Ton erkennt Einschränkungen an ("einige Probleme", "nicht einfach"), während er umsetzbare Lösungen anbietet ("man wird sein KI-Modell interviewen müssen"). Zitate empirischer Daten (Epoch-AI-Diagramme, das GDPval-Paper) verleihen Glaubwürdigkeit. Geschäftsanalogien (einen Vizepräsidenten einstellen, Vorstellungsgespräch) verbinden die KI-Einführung mit vertrauten Managementpraktiken. Typisch für Mollicks Stil (Wharton-Professor und zugänglicher Blogger), der technische Komplexität für ein Praktikerpublikum entmystifiziert.

## Pense-betes

- **Benchmarking-Paradoxon**: es ist "überraschend schwierig zu messen, wie 'intelligent' sie genau sind"
- **Probleme mit Standard-Benchmarks**:
- Öffentliche Lösungsschlüssel → ins Training eingebunden (versehentlich oder um die Werte künstlich zu erhöhen)
- Was die Tests tatsächlich messen, ist unbekannt (MMLU-Pro: "durchschnittliches Schädelvolumen von Homo erectus?", "Live-Album von Cheap Trick aus dem Jahr 1979?")
- Die Tests sind nicht kalibriert: ist der Sprung von 84 % auf 85 % so schwierig wie von 40 % auf 41 %?
- Höchstwert unerreichbar (Fehler in den Fragen, ungewöhnliche Berichterstattung)
- **Kollektiver Wert**: alle Benchmarks verlaufen "nach oben und rechts" (AIME, GPQA, MMLU, SWE-bench, LiveBench, Terminal-Bench, ARC-AGI, METR Long Tasks)
- **Zugrunde liegender Fähigkeitsfaktor**: korreliert mit realer Wirkung, von Medizin bis Finanzen
- **Benchmark-Lücke**: fokussiert auf Mathematik, Naturwissenschaften, logisches Denken, Code — nicht auf Schreiben, soziologische Analyse, Geschäftsberatung, Empathie
- **Schlüsselzitat**: "Was einen tatsächlich interessiert, ist, welches Modell für IHRE Bedürfnisse am besten geeignet wäre" **"Vibes-basiertes" Benchmarking**
- **Simon Willison**: Pelikan-auf-dem-Fahrrad-Test
- **Mollicks Tests**: Otter in einem Flugzeug, Raumschiff-Bedienfeld in JavaScript, schwieriges Gedicht, Videospiele/Shader, Artikelanalyse, Schreiben über Zeitreisen
- **Gestellte Fragen**: Macht es Fehler? Sind die Antworten ähnlich wie bei anderen Modellen? Wiederkehrende Themen/Voreingenommenheiten?
- **Schreibübung**: "Jemand rationiert die verbleibenden Wörter wie Kriegsvorräte, und dir wird gesagt, du hast noch 10.000 fürs Leben übrig. Bei 47 Wörtern hältst du ein Neugeborenes."
- **Ergebnismuster**:
- Claude 4.5 Sonnet: solides Schreibmodell
- Gemini 2.5 Pro: behält die Wortanzahl nicht im Blick (derzeit das schwächste)
- GPT-5 Thinking: überschwänglicher Stilist, komplexe Metaphern, manchmal inkohärent
- Kimi K2 Thinking: interessante Formulierungen, aber die Geschichte ergibt keinen Sinn
- **Grenzen von Vibes**: eigenwillig, jedes Mal andere Antworten, bessere Prompts = bessere Ergebnisse, man verlässt sich auf Eindrücke statt auf Messungen **Reales Benchmarking: OpenAI GDPval**
- **Schritt 1**: Experten (durchschnittlich 14 Jahre Erfahrung: Finanzen, Recht, Einzelhandel) erstellen realistische, komplexe Projekte, die 4 bis 7 Stunden menschlicher Arbeit entsprechen
- **Schritt 2**: mehrere KI-Modelle + menschliche Experten (stundenweise bezahlt) führen die Aufgaben aus
- **Schritt 3**: eine dritte Expertengruppe bewertet die Ergebnisse blind (KI vs. Mensch unbekannt) und verbringt mehr als eine Stunde pro Frage
- **Stärken**: die besten Modelle schlagen Menschen bei Softwareentwicklung und persönlicher Finanzberatung
- **Schwächen**: Apotheker, Industrieingenieure und Immobilienmakler schlagen die KI leicht
- **Unterschiede zwischen den Modellen**: ChatGPT ein besserer Vertriebsleiter, Claude ein besserer Finanzberater
- **Offenbart die Form der Jagged Frontier** und wie sie sich im Laufe der Zeit entwickelt **Das GuacaDrone-Experiment**
- **Pitch**: eine fragwürdige Idee — Guacamole-Lieferung per Drohne
- **Methode**: jedes KI-Modell bewertet die Tragfähigkeit zehnmal jeweils von 1 bis 10 (Antworten variieren jedes Mal)
- **Ergebnisse**:
- Grok: großartige Idee (begeistert)
- Microsoft Copilot: euphorisch
- GPT-5 und Claude 4.5: eher skeptisch
- Mollick persönlich: würde sie mit 2 oder weniger bewerten
- **Implikation**: "Ideen systematisch 3-4 Punkte höher oder niedriger zu bewerten bedeutet, systematisch in eine andere Richtung gelenkt zu werden"
- **Auswirkung auf Unternehmen**: manche wollen eine KI, die Risiken eingeht, andere eine, die sie vermeidet — zu verstehen, wie die KI bei kritischen Fragen "denkt", ist unerlässlich **Die Verschreibung "Interviewe dein Modell"**
- **Einzelpersonen**: Vibes reichen aus, den Otter-Test machen (mittlerweile zu einfach geworden — in Sora 2 hochgestuft zu "1960er-Jahre-Dokumentaraufnahmen des letzten berühmten Konzerts vor dem Otter-Rudel-Vorfall")
- **Großorganisationen**: eine andere Herausforderung
- "Am besten" reicht nicht aus für tausende Aufgaben und hunderte Mitarbeiter
- Man muss konkret wissen, worin IHRE KI gut ist, nicht im Durchschnitt
- GDPval hat dies offenbart: die Leistung der Top-Modelle variiert erheblich je nach Aufgabe
- GuacaDrone: Urteilsvermögen bei mehrdeutigen Fragen, systematisch unterschiedliche Ratschläge
- Unterschiede summieren sich im großen Maßstab
- **Worauf man sich nicht verlassen sollte**: weder Vibes noch allgemeine Benchmarks
- **Zu tun**:
- Die KI systematisch bei der realen Arbeit testen, die sie leisten wird, und den realen Beurteilungen, die sie treffen wird
- Realistische Szenarien erstellen, die tatsächliche Anwendungsfälle widerspiegeln
- Mehrfach durchführen, um die Muster zu erkennen
- Die Ergebnisse von Experten bewerten lassen
- Modelle bei den Aufgaben, die zählen, direkt vergleichen
- "Der Unterschied zwischen 'dieses Modell erzielte 85 % bei MMLU' und 'dieses Modell ist bei unseren Finanzanalyse-Aufgaben präziser, aber bei der Risikobewertung konservativer'"
- Mehrmals im Jahr, sobald neue Modelle erscheinen
- **Abschließende Analogie**: "Man würde keinen Vizepräsidenten allein aufgrund seiner SAT-Ergebnisse einstellen. Man sollte keine KI wählen, die tausende Entscheidungen berät, nur weil sie weiß, dass das durchschnittliche Schädelvolumen von Homo erectus etwas unter 1.000 Kubikzentimetern liegt."

## RésuméDe400mots

Ethan Mollick argumentiert, dass Standard-Benchmarks trotz messbarer Fortschritte bei KI nicht erfassen, was tatsächlich zählt: die Leistung bei IHREN spezifischen Aufgaben mit IHREN Beurteilungskriterien. Er verschreibt, KI-Modelle wie Stellenbewerber zu "interviewen", statt sich auf generische Testergebnisse zu verlassen.

**Probleme mit Standard-Benchmarks**

Benchmarks wie MMLU-Pro stellen obskure Fragen ("durchschnittliches Schädelvolumen von Homo erectus?", "Titel des Live-Albums von Cheap Trick aus dem Jahr 1979?"), deren tatsächlicher Messwert unklar ist. Die Tests sind nicht kalibriert (der Schwierigkeitsgrad des Sprungs von 84 % auf 85 % gegenüber 40 % auf 41 % ist unbekannt), enthalten Fehler, und Höchstwerte können unerreichbar sein. Schlimmer noch: öffentliche Lösungsschlüssel ermöglichen ihre Einbindung ins Training (versehentlich oder absichtlich). Insgesamt verlaufen alle Benchmarks (AIME, GPQA, MMLU, SWE-bench, ARC-AGI, METR) "nach oben und rechts" und messen einen zugrunde liegenden Fähigkeitsfaktor, der mit realer Wirkung korreliert. Doch ihr Fokus auf Mathematik, Naturwissenschaften, logisches Denken und Code lässt Lücken bei Schreiben, Geschäftsberatung und Empathie. "Was einen tatsächlich interessiert, ist, welches Modell für IHRE Bedürfnisse am besten geeignet wäre."

**"Vibes-basiertes" Benchmarking: ein individueller Ansatz**

Praktiker entwickeln eigenwillige Tests: Simon Willison fragt nach einem Pelikan auf einem Fahrrad, Mollick nach einem Otter in einem Flugzeug, einem Raumschiff-Bedienfeld in JavaScript, schwierigen Gedichten, Videospielen. Eine Schreibübung offenbart Muster: Claude 4.5 Sonnet ist ein starkes Schreibmodell, Gemini 2.5 Pro (derzeit das schwächste) behält die Wortanzahl nicht im Blick, GPT-5 Thinking ist ein überschwänglicher Stilist, der manchmal inkohärent ist, Kimi K2 Thinking produziert interessante Formulierungen, aber eine Geschichte, die keinen Sinn ergibt. Vibes vermitteln ein "Gefühl" für Modelle, bleiben aber eigenwillig: Antworten variieren jedes Mal, und man verlässt sich auf Eindrücke statt auf echte Messungen.

**Reales Benchmarking: die GDPval-Methode**

Das GDPval-Paper von OpenAI demonstriert einen rigorosen Ansatz: (1) Experten mit durchschnittlich 14 Jahren Erfahrung erstellen realistische, komplexe Projekte, die 4 bis 7 Stunden menschlicher Arbeit entsprechen, (2) mehrere KI-Modelle und menschliche Experten führen die Aufgaben aus, (3) eine dritte Expertengruppe bewertet blind und verbringt mehr als eine Stunde pro Frage. Die Studie zeigt die Stärken der KI (Softwareentwicklung, Finanzberatung: sie schlägt Menschen) und ihre Schwächen (Apotheker, Industrieingenieure, Immobilienmakler schlagen die KI). Unterschiede zwischen den Modellen zeigen sich: ChatGPT ist ein besserer Vertriebsleiter, Claude ein besserer Finanzberater. Die Form der "Jagged Frontier" nimmt Gestalt an.

**GuacaDrone offenbart die Persönlichkeit der Modelle**

Mollick präsentiert eine fragwürdige Idee, "Guacamole-Lieferung per Drohne", und bittet die Modelle, deren Tragfähigkeit zehnmal jeweils von 1 bis 10 zu bewerten. Grok ist begeistert, Copilot euphorisch, GPT-5 und Claude skeptisch. Mollick selbst würde sie mit 2 oder weniger bewerten. "Ideen systematisch 3-4 Punkte höher oder niedriger zu bewerten bedeutet, systematisch in eine andere Richtung gelenkt zu werden." Je nach Unternehmen möchte man eine KI, die Risiken eingeht oder vermeidet: es ist notwendig zu verstehen, wie die KI bei kritischen Fragen "denkt".

**Verschreibung für Organisationen**

Für Einzelpersonen reichen Vibes aus. Organisationen, die im großen Maßstab einsetzen, brauchen systematisches Testen: KI bei realer Arbeit und realen Beurteilungen, realistische Szenarien, mehrfach durchgeführt, von Experten bewertet, mit direktem Vergleich bei den Aufgaben, die zählen. "Der Unterschied zwischen 'das Modell erzielte 85 % bei MMLU' und 'das Modell ist bei Finanzanalysen präziser, aber beim Risiko konservativer.'" Mehrmals im Jahr zu wiederholen, sobald neue Modelle erscheinen.

Abschließende Analogie: "Man würde keinen Vizepräsidenten allein aufgrund seiner SAT-Ergebnisse einstellen. Man sollte nicht die KI wählen, die tausende Entscheidungen berät, basierend auf ihrem Wissen über das durchschnittliche Schädelvolumen von Homo erectus."

## GrapheDeConnaissance

- Ethan Mollick —publie→ Giving your AI a Job Interview (DOCUMENT, 0.99)
- Ethan Mollick —recommande→ interviewer modèles IA sur tâches réelles (METHODOLOGIE, 0.98)
- Ethan Mollick —affirme_que→ les benchmarks standards échouent à mesurer la performance tâche-spécifique (AFFIRMATION, 0.95)
- questions de valeur incertaine —fait_partie_de→ MMLU-Pro (TECHNOLOGIE, 0.92)
- OpenAI —publie→ GDPval paper (DOCUMENT, 0.97)
- GDPval —mesure→ Jagged Frontier (CONCEPT, 0.95)
- Claude 4.5 Sonnet —surpasse→ autres modèles en écriture (TECHNOLOGIE, 0.88)
- Claude —surpasse→ ChatGPT en conseil financier (TECHNOLOGIE, 0.87)
- biais pro-risque dans évaluation idées —observé_dans→ Grok (TECHNOLOGIE, 0.9)
- Simon Willison —utilise→ test pelican sur vélo (METHODOLOGIE, 0.95)
- Ethan Mollick —utilise→ test loutre sur avion (METHODOLOGIE, 0.95)
- Ethan Mollick —affirme_que→ le vibes-based testing est insuffisant pour les organisations déployant l'IA à grande échelle (AFFIRMATION, 0.93)
- GDPval —mesure→ différences significatives de performance entre modèles par tâche (MESURE, 0.96)

---
Canonical: https://www.thekb.eu/de/fiches/mollick-giving-ai-job-interview-2025-11-12/