# sfeir-zml-llmd-docker-llm-inference-souveraine-2026-07-09

## Veille

SFEIR-Analyse (Stimme eines Beratungsunternehmens) zur Markteinführung von **LLMD** am 8. Juli 2026 durch das Pariser Startup **ZML** (gegründet von **Steeve Morin**, ehemaliger VP Engineering bei Zenly): ein Inferenzserver, der LLMs über **fünf Chip-Familien** hinweg ausführt (NVIDIA CUDA, AMD ROCm, Google TPU, Intel oneAPI, Apple Metal) **aus einer einzigen Codebasis**. Strukturierende These: Das Training tritt zugunsten der **Inferenz** in den Hintergrund, wo Kosten pro Token, Latenz und vor allem die **Abhängigkeit vom Silizium** nun entschieden werden. Die Wette von ZML — zusammengefasst im Motto *model to metal* — besteht darin, **das Modell von der Hardware zu entkoppeln** über einen in **Zig + MLIR** geschriebenen Compiler, der ein hermetisches natives Binary erzeugt, ohne Python im Ausführungspfad, bereitgestellt über eine **OpenAI-kompatible API**. Zwei Komponenten, zwei Lizenzen: **ZML** (das Framework, Apache-2.0, >90% Zig) ist Open Source; **LLMD** (der Server) ist es nicht, bei Markteinführung kostenlos. Der Artikel betrachtet das Objekt durch drei Brillen eines Beratungsunternehmens — **Token-FinOps**, **architektonische Freiheit** (Design to Exit), **Souveränität** (aufkommende europäische Chips, Integration in den VSORA-Jotunn8-Prozessor) — und liefert dann ein schonungsloses Urteil: Es handelt sich um eine **Alpha**, die "unter aktiver Beobachtung" zu halten ist, heute noch kein Wechsel.

## Titre Article

ZML/LLMD : et si le « Docker des LLM » était français ?

## Date

2026-07-09

## URL

https://www.sfeir.com/articles/zml-llmd-docker-llms-inference-souveraine/

## Keywords

LLM Inference, serving, ZML, LLMD, Steeve Morin, model to metal, Docker for LLMs, model-hardware decoupling, portable not leveled, Zig, MLIR, AOT-Kompilierung, hermetic native binary, OpenAI-kompatible API, continuous batching, paged attention, prefix caching, tool calling, DFlash, speculative decoding, zero-copy, Hugging Face, NVIDIA CUDA, AMD ROCm, Google TPU, Intel oneAPI, Apple Metal, cold start, AI FinOps, Kosten pro Token, Kosten pro Ergebnis, architektonische Freiheit, Design to Exit, Reversibilität, lock-in, Souveränität, europäische Chips, Axelera, Kalray, SiPearl, VSORA, Jotunn8, Scaleway, Region Île-de-France, VivaTech 2026, Yann LeCun, Solomon Hykes, Clément Delangue, Julien Chaumond, Xavier Niel, vLLM, llama.cpp, technical preview, DGX Spark, Ryzen AI Max+ 395, Apple Silicon, Hardware-Souveränität

## Authors

SFEIR (voix éditoriale du cabinet)

## Ton

**Profil**: Technische Analyse eines Beratungsunternehmens (SFEIR Thought Leadership), gerichtet an CIOs, Architekten und Infrastruktur-Entscheidungsträger. Pädagogisches, strukturiertes Register ("Kurz gesagt", Stack-Schichten, "Kernpunkte"), hohe Technizität, aber zugänglich gemacht, mittlere Länge (~1800 Wörter). Klar verortete Haltung: Das Unternehmen spricht zu seinen Kunden und knüpft das Objekt an sein Angebot an (Token-FinOps, Multi-Cloud/Multi-Hardware, Design to Exit).

**Stil**: Führt die **Docker-Metapher** fort ("das *docker run* der Inferenz: ein Modell, ein Befehl, jeder Chip"), ohne sich davon täuschen zu lassen — die Anekdote über den Investor Solomon Hykes dient dieser Figur. Ein beanspruchtes Gleichgewicht zwischen Enthusiasmus und Vorsicht: Jedes Herstellerversprechen wird **mit einem Vorbehalt gepaart** ("diese Zahlen bleiben Herstellerangaben, vorbehaltlich unabhängiger Messungen"; der angekündigte DFlash-Gewinn von "bis zu 10×" wird gegen die "~6,17×" aus der zugrunde liegenden Forschung relativiert). Der Abschnitt "Das Urteil, schonungslos" nimmt die Haltung eines Analysten ein: unterscheidet *Technical Preview* von Produktion, benennt, was der Hersteller **weder benennt noch benchmarkt** (DGX Spark, Ryzen AI Max+). Systematische Verankerung im eigenen Haus: Verweist zurück auf SFEIR-Artikel zur souveränen Multi-LLM-Architektur und zur Wahl zwischen Multi-Cloud und souverän sowie auf den Kundenfall France Télévisions (Plattform ALIX). Explizite, nummerierte Quellenangaben (zml.ai, TechCrunch, X, arXiv, GlobeNewswire).

## Pense-betes

- **Kerngedanke: Inferenz ist der neue Engpass.** Nach zwei Jahren, in denen der Fokus auf Modellgröße und Trainingskosten lag, verschiebt der Produktionseinsatz den Fokus: Was im Alltag zählt, sind die **Kosten pro bedientem Token**, die wahrgenommene Latenz und die **Abhängigkeit von einem einzigen Silizium-Anbieter**. Serving wird "sowohl die Cloud-Rechnung als auch der strategische Handlungsspielraum".
- **Die Wette von ZML: *model to metal*, Entkopplung des Modells von der Hardware.** Nicht ein weiteres Modell, sondern eine Abstraktionsschicht. Der Stack besteht aus **vier Schichten**: (1) Modelle (Qwen, Gemma, Mistral, LLaMa), geladen **zero-copy** über ein virtuelles Dateisystem aus HF/S3/GCS, ohne lokalen Download; (2) **LLMD**, ein Server, der eine **OpenAI-kompatible API** (drop-in) bereitstellt mit Continuous Batching, Paged Attention, Prefix Caching, Tool Calling, Prometheus-Metriken; (3) **ZML**, ein **AOT**-Compiler (Zig + MLIR) zu einem **hermetischen nativen Binary**, ohne Python im Ausführungspfad; (4) Ausführung auf **5 Backends**: NVIDIA CUDA, AMD ROCm, Google TPU, Intel oneAPI, Apple Metal.
- **Eine entscheidende Designentscheidung: "portabel, nicht nivelliert".** Statt alle Beschleuniger auf einen kleinsten gemeinsamen Nenner zu reduzieren, **erhält ZML chipspezifische Pfade** (FlashAttention bei NVIDIA, AITER-Kernel bei AMD). Das unterscheidet eine nützliche Abstraktion von einer Leistungsuntergrenze.
- **Angekündigte Zahlen (Herstellerangaben, zu verifizieren).** Sehr kompakte Container-Images: ~**1,7 GB** (CUDA), **280 MB** (TPU), **~140 MB** (Apple-Build). **Cold Start** in der Größenordnung von **1 bis 2 s** bei einem 8B-Modell. Das Unternehmen betont: "vorbehaltlich unabhängiger Messungen".
- **DFlash — eingebautes spekulatives Decoding.** ZML preist "bis zu **10×**" an; die zugrunde liegende Forschung (arXiv:2602.06036, *block diffusion for flash speculative decoding*) berichtet stattdessen von **~6,17×** bei Qwen3-8B. Eine Nuance, die es sich lohnt, vor einem technischen Publikum zu bewahren.
- **Die Zwei-Befehle-Demo (Apple-Silicon-Mac).** `brew install zml/zml/llmd` dann `llmd --model=hf://Qwen/Qwen3.6-27B` → ein lokaler Server mit einer OpenAI-API, abfragbar über `curl localhost:8000/v1/chat/completions`. Der gesamte Wert der OpenAI-Kompatibilität: Skripte/Bibliotheken lassen sich **ohne Umschreiben** wieder anschließen. Zwei Vorbehalte: Die erste Anfrage ist langsamer (Kompilierung des Graphen); ein **27B-Modell in BF16** erfordert **≥ 64 GB Unified Memory**.
- **Zwei Komponenten, zwei Lizenzen (vor dem Aufbau darauf zu beachten).** **ZML** = Open-Source-Framework (Apache-2.0, Zig). **LLMD** = Server, **nicht Open Source**, bei Markteinführung kostenlos, während **Nutzungsdaten gesammelt werden** im Hinblick auf eine künftige Monetarisierung.
- **Drei Interessen aus Sicht eines Beratungsunternehmens.** (1) **Wirtschaftlich / FinOps**: Die Entkopplung der Arbeitslast vom Silizium = das Recht, den günstigsten oder verfügbarsten Chip zu wählen → auf die Kosten pro Token einwirken (eine Logik der "Kosten pro Ergebnis"). (2) **Architektonische Freiheit**: Sich von "einer Codebasis pro Hardware-Ziel" zu entfernen, reduziert technische Schulden und Migrationskosten und bewahrt die **Verhandlungsmacht** — das ist **Design to Exit** (im Voraus für die Schicht bezahlen, die den Anbieter ersetzbar macht), erweitert bis auf die Chip-Ebene; eine Parallele zum Fall der **Plattform France Télévisions / ALIX**. (3) **Souveränität**: ZML positioniert sich als Enabler für **aufkommende europäische Chips** (Axelera, Kalray, SiPearl, VSORA).
- **Ein konkreter Souveränitätsanker: VivaTech 2026.** Eine Partnerschaft **ZML × Scaleway × VSORA × Region Île-de-France** rund um eine souveräne Inferenz-Wertschöpfungskette (vom Silizium bis zum Betrieb), mit der ZML-Schicht integriert in den **VSORA-Jotunn8**-Prozessor.
- **Glaubwürdigkeit durch Finanzierung.** Gegründet 2023 in Paris, ~20 Mitarbeitende, ~**20 Mio. $** eingeworben (20VC, Kima Ventures/Xavier Niel, Kindred Capital, LocalGlobe, Puzzle Ventures). Bemerkenswerte Business Angels: **Solomon Hykes** (Schöpfer von Docker — ein Verweis auf die Metapher), **Clément Delangue** & **Julien Chaumond** (Hugging Face) und **Yann LeCun** (Turing), der es öffentlich unterstützt.
- **Schonungsloses Urteil.** LLMD ist eine **Technical Preview**: nicht für die Produktion geeignet, mit einem wachsenden Modellkatalog. Vor allem lässt sich die Unterstützung der lokalen Maschinen, die jeder im Kopf hat (**DGX Spark** ARM64+Blackwell, **Ryzen AI Max+ 395**, aktuelle Macs), **aus den Backends ableiten**, wird aber **weder benannt noch benchmarkt** — "selbst zu verifizieren". Wettbewerbspositionierung: **vLLM** bleibt die Referenz für Durchsatz auf Server-GPUs (auch wenn die Apple-Silicon-Unterstützung Community/experimentell ist); **llama.cpp** bleibt König der lokalen Einzelnutzer-Nutzung; LLMD zielt auf den Mittelweg — "ein vLLM, das sich auf einem Mac installieren lässt". Empfehlung: **nicht wechseln, unter aktiver Beobachtung halten.**
- **Querverweis**: die Familie "Souveränität / Multi-Cloud vs. souverän" und "souveräne Multi-LLM-Architektur" (SFEIR-Artikel); Generative-AI-FinOps und Kosten pro Ergebnis (Notiz von Didier Girard zu AI4IT vs. AI4Business); Steeve Morin bereits im Korpus vorhanden (Moderator des Podcasts "À la French").

## RésuméDe400mots

Am 8. Juli 2026 veröffentlichte das Pariser Startup **ZML** **LLMD**, einen Inferenzserver, der große Sprachmodelle über **fünf Chip-Familien** hinweg (NVIDIA, AMD, Google, Intel, Apple) aus **einer einzigen Codebasis** ausführt. SFEIR liest dies als Signal: Während das Training zugunsten der **Inferenz** in den Hintergrund tritt, verlagert sich das eigentliche Schlachtfeld — und Kostenzentrum — hin zum **Serving**, wo Kosten pro Token, Latenz und Abhängigkeit vom Silizium entschieden werden.

Die Wette von ZML lässt sich auf drei Worte bringen, *model to metal*: nicht ein weiteres Modell anbieten, sondern eine Schicht, die **das Modell von der Hardware entkoppelt**. Der Stack besteht aus vier Schichten. Oben Modelle (Qwen, Gemma, Mistral, LLaMa), geladen **zero-copy** über ein virtuelles Dateisystem aus Hugging Face, S3 oder GCS. Dann **LLMD**, ein Server, der eine **OpenAI-kompatible API** (drop-in) bereitstellt mit Continuous Batching, Paged Attention, Prefix Caching, Tool Calling und Prometheus-Metriken. Darunter kompiliert **ZML** den Graphen **im Voraus, ein für alle Mal**, zu einem **hermetischen nativen Binary** in **Zig + MLIR**, ohne Python im Ausführungspfad. Dieses Binary läuft auf fünf Backends: CUDA, ROCm, TPU, oneAPI, Metal. Die Eleganz liegt darin, "portabel, nicht nivelliert" zu sein — chipspezifische Pfade (FlashAttention, AITER) bleiben erhalten. Angekündigte Zahlen (laut Hersteller): Images von 1,7 GB (CUDA) bis ~140 MB (Apple), Cold Start von 1-2 s bei einem 8B-Modell, und der **DFlash**-Beschleuniger (behauptet "bis zu 10×", ~6,17× in der zugrunde liegenden Forschung).

Zwei Komponenten, zwei Lizenzen: **ZML** (das Framework) ist Open Source (Apache-2.0, >90% Zig); **LLMD** (der Server) ist es nicht, bei Markteinführung kostenlos, während Nutzungsdaten gesammelt werden. Die Demo läuft in zwei Befehlen auf Macs mit Apple Silicon; ein 27B-Modell in BF16 erfordert ≥ 64 GB Unified Memory.

SFEIR betrachtet das Objekt durch drei kundenorientierte Brillen: **FinOps** (den günstigsten Chip wählen → auf die Kosten pro Token einwirken), **architektonische Freiheit** (**Design to Exit**, eingebaute Reversibilität, vgl. France Télévisions/ALIX) und **Souveränität** (europäische Chips Axelera, Kalray, SiPearl, VSORA; eine VivaTech-2026-Partnerschaft mit Scaleway, VSORA und der Region Île-de-France, Integration in den Jotunn8-Prozessor).

Schonungsloses Urteil: Es handelt sich um eine **Alpha**, nicht für die Produktion geeignet; die Unterstützung spezifischer lokaler Maschinen (DGX Spark, Ryzen AI Max+) wird weder benannt noch benchmarkt. Gegenüber vLLM (Server-GPU-Durchsatz) und llama.cpp (lokaler Einzelnutzer-Betrieb) zielt LLMD auf den Mittelweg. Heute noch kein Wechsel, aber "unter aktiver Beobachtung" zu halten: ein ernstzunehmender, *made in France*-Kandidat, um zum "*docker run* der Inferenz" zu werden.

## GrapheDeConnaissance

- ZML —publie→ LLMD (TECHNOLOGIE, 0.98)
- Steeve Morin —dirige→ ZML (ORGANISATION, 0.95)
- LLMD —permet→ inférence LLM sur cinq familles de puces depuis une seule base de code (AFFIRMATION, 0.95)
- LLMD —utilise→ ZML (TECHNOLOGIE, 0.95)
- ZML —utilise→ Zig (TECHNOLOGIE, 0.95)
- ZML —utilise→ MLIR (TECHNOLOGIE, 0.9)
- LLMD —utilise→ API compatible OpenAI (CONCEPT, 0.95)
- LLMD —utilise→ DFlash (TECHNOLOGIE, 0.9)
- DFlash —améliore→ vitesse de décodage jusqu'à ~6,17× sur Qwen3-8B (MESURE, 0.8)
- model to metal —réduit→ dépendance à un unique fournisseur de silicium (CONCEPT, 0.9)
- LLMD —s_applique_à→ FinOps de l'IA générative (METHODOLOGIE, 0.85)
- LLMD —s_applique_à→ Design to Exit (METHODOLOGIE, 0.85)
- ZML —collabore_avec→ Scaleway (ORGANISATION, 0.9)
- ZML —collabore_avec→ VSORA (ORGANISATION, 0.9)
- ZML —fait_partie_de→ Jotunn8 (TECHNOLOGIE, 0.85)
- Yann LeCun —soutient→ ZML (ORGANISATION, 0.9)
- Solomon Hykes —a_créé→ Docker (TECHNOLOGIE, 0.97)
- LLMD —concurrence→ vLLM (TECHNOLOGIE, 0.85)
- LLMD —concurrence→ llama.cpp (TECHNOLOGIE, 0.85)
- ZML —est_variante_de→ Apache-2.0 (open source) (CONCEPT, 0.9)
- SFEIR —recommande→ mettre LLMD sous surveillance active plutôt que basculer en production aujourd'hui (AFFIRMATION, 0.92)

---
Canonical: https://www.thekb.eu/de/fiches/sfeir-zml-llmd-docker-llm-inference-souveraine-2026-07-09/