Zum Inhalt springen

root / tags / harnais-d-evaluation

#harnais d'évaluation

2 Fiches

Qualität & Sicherheit Automatisch geprüfte Übersetzung

GLM-5.3: Frontier Coding with Emergent Cyber Capabilities

Ankündigungsbeitrag, veröffentlicht im **offiziellen Z.ai-Blog** (ehemals Zhipu AI, chinesisches Labor) am **14. August 2026**, **ohne namentliche Autorenangabe**, ~2.000 Wörter plus Fußnoten. Er kündigt **GLM-5.3** an, den Nachfolger von GLM-5.2, und eröffnet mit einer methodischen These: *« Scaling post-training is all we did for GLM-5.3. »* Dasselbe Basismodell wie GLM-5.2 — *« every gain comes from post-training »*. Drei Ankündigungen. **(A) Ein Coding-Modell mit offenen Gewichten**: +50 % beansprucht auf **Z.ai Code Bench**, einem unveröffentlichten internen Benchmark. **(B) Eine als „emergent" dargestellte Cyber-Fähigkeit**, die der Fließtext auf eine Trainingsentscheidung zurückführt — *« As part of post-training, we introduced vulnerability discovery data and environments into the training mix. We expected this to make the model better at finding and reasoning about vulnerabilities »* — überraschend waren die Geschwindigkeit und der Wandel in der Natur: Das Modell geht von der Identifizierung isolierter Schwachstellen zu *« coherent plans for complete exploitation chains »* über. Die Gewinne wachsen mit der Position in der Exploitation-Kette: CyberGym 77,2 → **84,5 %**, ExploitBench 24,4 → **54,4 %** (×2,2), ExploitGym 29 → **105** Aufgaben in 2 h (×3,6), wobei der Abstand zur geschlossenen Frontier weiterhin groß bleibt (181 und 247 Aufgaben). Z.ai formuliert es so: *« Capability is growing fastest exactly where we are furthest behind. »* Der Beitrag veröffentlicht zudem ein **Z.ai Security Disclosure Ledger**: **2.436 identifizierte Schwachstellen in 269 Open-Source-Projekten** — Kernel, Betriebssysteme, Browser-Engines, Infrastruktur, Webanwendungen, Netzwerkprotokolle — die älteste eingeführt **1981**, durchschnittliche Lebensdauer bis zur Entdeckung **26,6 Jahre**, davon **53 offengelegt** und **2.383 unter Embargo**. **(C) Eine Gewichtsfreigabe** *« within two weeks of launch, once safety evaluation and hardening are complete »*. Der am ehesten übertragbare methodische Beitrag: **Synthese von Umgebungen und Verifiern**, wobei Letztere ohne Zugriff auf die Referenzlösung erzeugt und erst nach einem Triptychon negativer Kontrollen zugelassen werden — **oracle**, **no-op**, **unsolved-state**. Alle agentischen Evaluierungen werden **in Claude Code 2.1.207** durchgeführt.

#GLM-5.3#GLM-5.2#Z.ai

**Z.ai** (anciennement **Zhipu AI**) · laboratoire d'IA chinois · éditeur de la famille **GLM**. Billet **institutionnel et non signé** : aucun auteur nommé · aucun chercheur mis en avant · aucun lien vers un rapport technique ou une carte de modèle. Publié le **14 août 2026**. La page est une SPA React — le HTML servi est un `<div id="root">` vide · et le texte comme les scores ont dû être extraits du bundle `glm-5.3-BCnx8T5_.js` · où ils figurent en valeurs source.

KI-Coding-Agenten & Skills Automatisch geprüfte Übersetzung

DeepSeek Harness developer preview: Everything is a plugin

Offizielle Produktseite von **DeepSeek**, veröffentlicht am **13. August 2026**, **nicht namentlich gezeichnet**, ca. 450 Wörter, die die *Developer-Preview*-Veröffentlichung von **DeepSeek Harness** (`dsh`) ankündigt — ein Coding-Agent-Harness, **Open Source unter der MIT-Lizenz**, dessen Repository am selben Tag eröffnet wurde. Eine Drei-Wort-These, wiederholt im Titel und in der Repository-Beschreibung: *« Everything is a plugin »*, gepaart mit einem zweiten Versprechen, *« Every run is traceable »*. Die Seite formuliert die Gleichung *« AGENT = MODEL + HARNESS »* und listet die steckbaren Fähigkeiten auf — *« models, tools, skills, sessions, sandboxes, storage, loops, scheduling, and the UI »*. Vier Modi werden ausgeliefert: **Standard** (vollständiger Coding-Agent), **Code** (Tools, die über das *Code Mode SDK* freigelegt werden und es dem Modell erlauben, mehrstufige Operationen innerhalb eines TypeScript-Programms zu komponieren), **Minimal** (*« two-tool coding agent with persistent bash and str_replace_editor »*, ausdrücklich *« for benchmarking models in a minimal environment »*), und **Creator** (Laufzeitinspektion, In-Memory-Plugin-Tests). Die technische Substanz liegt im Repository, nicht auf der Seite: `docs/architecture.md` formuliert eine Logging-Invariante — *« Model-visible means logged. Anything that reaches a model request must be reconstructable from the log, and a runtime invariant asserts it »* — und stellt fest, dass *« there is no privileged core to patch »*. Der technische Kern stammt nicht von DeepSeek selbst: DSH baut auf **Cordis** auf (dem `cordiverse`-Projekt, einem Dritten), **vendort** in `vendor/` mit Manifest und Sync-Verfahren, und die Seite platziert das *« Cordis paper »* auf derselben Navigationsebene wie „GitHub“ und „Developer docs“. Zwei LLM-Adapter werden ausgeliefert — `dsh-llm-deepseek` und `dsh-llm-pi-ai`, ein generischer Multi-Provider-Adapter. Das Repository warnt in Großbuchstaben: *« THERE WILL BE COMPATIBILITY-BREAKING CHANGES »*, und `CLAUDE.md` legt fest, dass `SESSION_FORMAT_VERSION` bei `0` bleibt, *« with no compatibility promise »*, wobei Backends alte Formate auf der Festplatte ablehnen. Zeitachse: DSH erscheint an dem Tag, an dem **DeepSeek-V4-Pro GA erreicht**, drei Tage bevor am **16. August 2026 um 16:00 UTC** ein neuer API-Preisplan in Kraft tritt, mit Spitzen-/Nebenzeittarifen und einem Nebenzeit-Rabatt von **−50 %**.

#DeepSeek Harness#dsh#Agent-Harness

**DeepSeek** (DeepSeek AI, laboratoire chinois) · en tant qu'institution. Page produit **non signée** : aucun auteur · aucun ingénieur mis en avant · aucun billet de blog ni papier technique associé. Le « nous » n'apparaît qu'une fois · en dernière phrase — *« We look forward to exploring the limits of intelligence with developers worldwide »*. Publiée le **13 août 2026**. La page est rendue en JavaScript : `curl` sur l'URL renvoie **HTTP 202 avec un corps vide** · le texte n'existant qu'après exécution du bundle. Deux documents de politique sont liés en pied de page — *Safe Use Policy* et *Data Processing Statement*.