# sfeir-zml-llmd-docker-llm-inference-souveraine-2026-07-09

## Veille

Analisi SFEIR (voce da società di consulenza) del lancio, l'8 luglio 2026, di **LLMD** da parte della startup parigina **ZML** (fondata da **Steeve Morin**, ex VP Engineering di Zenly): un server di inferenza che esegue LLM su **cinque famiglie di chip** (NVIDIA CUDA, AMD ROCm, Google TPU, Intel oneAPI, Apple Metal) **a partire da un'unica codebase**. Tesi strutturante: il training sta cedendo il centro della scena all'**inferenza**, dove si decidono ormai il costo per token, la latenza e soprattutto la **dipendenza dal silicio**. La scommessa di ZML — riassunta dal motto *model to metal* — consiste nel **disaccoppiare il modello dall'hardware** tramite un compilatore scritto in **Zig + MLIR** che produce un binario nativo ermetico, senza Python nel percorso di esecuzione, esposto tramite una **API compatibile con OpenAI**. Due componenti, due licenze: **ZML** (il framework, Apache-2.0, >90% Zig) è open source; **LLMD** (il server) non lo è, gratuito al lancio. L'articolo legge l'oggetto attraverso tre lenti da società di consulenza — **FinOps dei token**, **libertà architetturale** (Design to Exit), **sovranità** (chip europei emergenti, integrazione nel processore VSORA Jotunn8) — per poi emettere un verdetto senza sconti: si tratta di un'**alpha**, da mettere "sotto osservazione attiva", non da adottare oggi.

## Titre Article

ZML/LLMD : et si le « Docker des LLM » était français ?

## Date

2026-07-09

## URL

https://www.sfeir.com/articles/zml-llmd-docker-llms-inference-souveraine/

## Keywords

Inferenza LLM, serving, ZML, LLMD, Steeve Morin, model to metal, Docker per gli LLM, disaccoppiamento modello-hardware, portabile, non livellato, Zig, MLIR, compilazione AOT, binario nativo ermetico, API compatibile con OpenAI, continuous batching, paged attention, prefix caching, tool calling, DFlash, speculative decoding, zero-copy, Hugging Face, NVIDIA CUDA, AMD ROCm, Google TPU, Intel oneAPI, Apple Metal, cold start, FinOps dell'IA, costo per token, costo per risultato, libertà architetturale, Design to Exit, reversibilità, lock-in, sovranità, chip europei, Axelera, Kalray, SiPearl, VSORA, Jotunn8, Scaleway, Regione Île-de-France, VivaTech 2026, Yann LeCun, Solomon Hykes, Clément Delangue, Julien Chaumond, Xavier Niel, vLLM, llama.cpp, technical preview, DGX Spark, Ryzen AI Max+ 395, Apple Silicon, sovranità hardware

## Authors

SFEIR (voix éditoriale du cabinet)

## Ton

**Profilo**: analisi tecnica da società di consulenza (thought leadership SFEIR), rivolta a CIO, architetti e decisori infrastrutturali. Registro pedagogico e strutturato ("In breve," livelli dello stack, "Punti chiave"), alta tecnicità ma resa accessibile, lunghezza media (~1800 parole). Posizionamento chiaramente situato: la società si rivolge ai propri clienti e riconduce l'oggetto alla propria offerta (FinOps dei token, multi-cloud/multi-hardware, Design to Exit).

**Stile**: gioca con la **metafora Docker** ("il *docker run* dell'inferenza: un modello, un comando, qualsiasi chip") senza lasciarsene ingannare — l'aneddoto sull'investitore Solomon Hykes serve la figura. Un equilibrio dichiarato tra entusiasmo e cautela: ogni promessa del fornitore è **accompagnata da una riserva** ("queste cifre restano dichiarazioni del fornitore, in attesa di misurazioni indipendenti"; il guadagno DFlash annunciato "fino a 10×" viene ricontestualizzato rispetto al "~6,17×" della ricerca sottostante). La sezione "Il verdetto, senza sconti" adotta la postura di un analista: distingue la *technical preview* dalla produzione, indica ciò che il fornitore lascia **né citato né sottoposto a benchmark** (DGX Spark, Ryzen AI Max+). Ancoraggio sistematico alla casa: rimanda agli articoli SFEIR sull'architettura multi-LLM sovrana e sulla scelta multi-cloud vs. sovrano, e al caso cliente France Télévisions (piattaforma ALIX). Fonti esplicite e numerate (zml.ai, TechCrunch, X, arXiv, GlobeNewswire).

## Pense-betes

- **Idea centrale: l'inferenza è il nuovo collo di bottiglia.** Dopo due anni concentrati sulla dimensione dei modelli e sul costo del training, la messa in produzione sposta il focus: ciò che conta giorno per giorno è il **costo per token servito**, la latenza percepita e la **dipendenza da un unico fornitore di silicio**. Il serving diventa "al tempo stesso la bolletta cloud e il margine di manovra strategico".
- **La scommessa di ZML: *model to metal*, disaccoppiare il modello dall'hardware.** Non l'ennesimo modello, ma un layer di astrazione. Lo stack ha **quattro livelli**: (1) modelli (Qwen, Gemma, Mistral, LLaMa) caricati in **zero-copy** tramite un FS virtuale da HF/S3/GCS, senza download locale; (2) **LLMD**, un server che espone una **API compatibile con OpenAI** (drop-in) con continuous batching, paged attention, prefix caching, tool calling, metriche Prometheus; (3) **ZML**, un compilatore **AOT** (Zig + MLIR) verso un **binario nativo ermetico**, senza Python nel percorso di esecuzione; (4) esecuzione su **5 backend**: NVIDIA CUDA, AMD ROCm, Google TPU, Intel oneAPI, Apple Metal.
- **Una scelta di design decisiva: "portabile, non livellato."** Invece di ridurre tutti gli acceleratori a un minimo comune denominatore, ZML **preserva i percorsi specifici per ciascun chip** (FlashAttention su NVIDIA, kernel AITER su AMD). È ciò che distingue un'astrazione utile da un semplice pavimento prestazionale.
- **Cifre annunciate (dichiarazioni del fornitore, da verificare).** Immagini container molto compatte: ~**1,7 GB** (CUDA), **280 MB** (TPU), **~140 MB** (build Apple). **Cold start** dell'ordine di **1-2 s** su un modello da 8B. La società sottolinea: "in attesa di misurazioni indipendenti".
- **DFlash — speculative decoding integrato.** ZML rivendica "fino a **10×**"; la ricerca sottostante (arXiv:2602.06036, *block diffusion for flash speculative decoding*) riporta invece **~6,17×** su Qwen3-8B. Una sfumatura da tenere presente davanti a un pubblico tecnico.
- **La demo in due comandi (Mac Apple Silicon).** `brew install zml/zml/llmd` poi `llmd --model=hf://Qwen/Qwen3.6-27B` → un server locale con una API OpenAI, interrogabile tramite `curl localhost:8000/v1/chat/completions`. Tutto il valore della compatibilità OpenAI: script e librerie si ricollegano **senza riscrittura**. Due avvertenze: la prima richiesta è più lenta (compilazione del grafo); un **modello da 27B in BF16** richiede **≥ 64 GB di memoria unificata**.
- **Due componenti, due licenze (da tenere a mente prima di costruirci sopra).** **ZML** = framework open source (Apache-2.0, Zig). **LLMD** = server **non open source**, gratuito al lancio mentre vengono **raccolti dati di utilizzo** in vista di una futura monetizzazione.
- **Tre poste in gioco da società di consulenza.** (1) **Economica / FinOps**: disaccoppiare il carico di lavoro dal silicio = il diritto di scegliere il chip più economico o più disponibile → agire sul costo per token (una logica di "costo per risultato"). (2) **Libertà architetturale**: allontanarsi da "una codebase per ogni target hardware" riduce il debito tecnico e il costo di migrazione, e preserva il **potere negoziale** — è il **Design to Exit** (pagare a monte per il layer che rende il fornitore sostituibile), esteso fino al livello del chip; un parallelo con il caso della **piattaforma France Télévisions / ALIX**. (3) **Sovranità**: ZML si posiziona come abilitatore dei **chip europei emergenti** (Axelera, Kalray, SiPearl, VSORA).
- **Un ancoraggio concreto alla sovranità: VivaTech 2026.** Una partnership **ZML × Scaleway × VSORA × Regione Île-de-France** attorno a una catena del valore sovrana dell'inferenza (dal silicio all'operatività), con il layer ZML integrato nel processore **VSORA Jotunn8**.
- **Credibilità tramite i finanziamenti.** Fondata a Parigi nel 2023, ~20 persone, ~**20 milioni di $** raccolti (20VC, Kima Ventures/Xavier Niel, Kindred Capital, LocalGlobe, Puzzle Ventures). Business angel di rilievo: **Solomon Hykes** (creatore di Docker — un rimando alla metafora), **Clément Delangue** e **Julien Chaumond** (Hugging Face), e **Yann LeCun** (Turing), che la sostiene pubblicamente.
- **Verdetto senza sconti.** LLMD è una **technical preview**: non pronta per la produzione, con un catalogo di modelli in espansione. Soprattutto, il supporto per le macchine locali che tutti hanno in mente (**DGX Spark** ARM64+Blackwell, **Ryzen AI Max+ 395**, Mac recenti) **può essere dedotto** dai backend ma **non è né citato né sottoposto a benchmark** — "da verificare da soli." Posizionamento competitivo: **vLLM** resta il riferimento per il throughput su GPU server (anche se il supporto Apple Silicon è community/sperimentale); **llama.cpp** resta il re dell'uso locale monoutente; LLMD punta a una via di mezzo — "un vLLM che si installa su un Mac." Raccomandazione: **non adottare, mettere sotto osservazione attiva.**
- **Da incrociare con**: la famiglia "sovranità / multi-cloud vs. sovrano" e "architettura multi-LLM sovrana" (articoli SFEIR); il FinOps dell'IA generativa e il costo per risultato (nota di Didier Girard AI4IT vs AI4Business); Steeve Morin già presente nel corpus (conduttore del podcast "À la French").

## RésuméDe400mots

L'8 luglio 2026, la startup parigina **ZML** ha rilasciato **LLMD**, un server di inferenza che esegue grandi modelli linguistici su **cinque famiglie di chip** (NVIDIA, AMD, Google, Intel, Apple) a partire da **un'unica codebase**. SFEIR legge questo evento come un segnale: mentre il training cede il centro della scena all'**inferenza**, il vero campo di battaglia — e centro di costo — si sposta verso il **serving**, dove si decidono il costo per token, la latenza e la dipendenza dal silicio.

La scommessa di ZML si riassume in tre parole, *model to metal*: non proporre l'ennesimo modello, ma un layer che **disaccoppia il modello dall'hardware**. Lo stack conta quattro livelli. In cima, i modelli (Qwen, Gemma, Mistral, LLaMa) caricati in modalità **zero-copy** tramite un file system virtuale da Hugging Face, S3 o GCS. Poi **LLMD**, un server che espone una **API compatibile con OpenAI** (drop-in) con continuous batching, paged attention, prefix caching, tool calling e metriche Prometheus. Al di sotto, **ZML** compila il grafo **a monte, una volta per tutte**, in un **binario nativo ermetico** in **Zig + MLIR**, senza Python nel percorso di esecuzione. Questo binario gira su cinque backend: CUDA, ROCm, TPU, oneAPI, Metal. L'eleganza sta nell'essere "portabile, non livellato" — i percorsi specifici per ciascun chip (FlashAttention, AITER) vengono preservati. Cifre annunciate (dal fornitore): immagini da 1,7 GB (CUDA) a ~140 MB (Apple), cold start di 1-2 s su un modello da 8B, e l'acceleratore **DFlash** (rivendicato "fino a 10×", ~6,17× nella ricerca sottostante).

Due componenti, due licenze: **ZML** (il framework) è open source (Apache-2.0, >90% Zig); **LLMD** (il server) non lo è, gratuito al lancio mentre vengono raccolti dati di utilizzo. La demo gira in due comandi su Mac Apple Silicon; un modello da 27B in BF16 richiede ≥ 64 GB di memoria unificata.

SFEIR legge l'oggetto attraverso tre lenti rivolte ai clienti: **FinOps** (scegliere il chip più economico → agire sul costo per token), **libertà architetturale** (**Design to Exit**, reversibilità integrata, cfr. France Télévisions/ALIX) e **sovranità** (chip europei Axelera, Kalray, SiPearl, VSORA; una partnership VivaTech 2026 con Scaleway, VSORA e la Regione Île-de-France, integrazione nel processore Jotunn8).

Verdetto senza sconti: si tratta di un'**alpha**, non pronta per la produzione; il supporto per macchine locali specifiche (DGX Spark, Ryzen AI Max+) non è né citato né sottoposto a benchmark. Rispetto a vLLM (throughput su GPU server) e llama.cpp (uso locale monoutente), LLMD punta a una via di mezzo. Non da adottare oggi, ma da mettere "sotto osservazione attiva": un candidato serio, *made in France*, a diventare il "*docker run* dell'inferenza".

## GrapheDeConnaissance

- ZML —publie→ LLMD (TECHNOLOGIE, 0.98)
- Steeve Morin —dirige→ ZML (ORGANISATION, 0.95)
- LLMD —permet→ inférence LLM sur cinq familles de puces depuis une seule base de code (AFFIRMATION, 0.95)
- LLMD —utilise→ ZML (TECHNOLOGIE, 0.95)
- ZML —utilise→ Zig (TECHNOLOGIE, 0.95)
- ZML —utilise→ MLIR (TECHNOLOGIE, 0.9)
- LLMD —utilise→ API compatible OpenAI (CONCEPT, 0.95)
- LLMD —utilise→ DFlash (TECHNOLOGIE, 0.9)
- DFlash —améliore→ vitesse de décodage jusqu'à ~6,17× sur Qwen3-8B (MESURE, 0.8)
- model to metal —réduit→ dépendance à un unique fournisseur de silicium (CONCEPT, 0.9)
- LLMD —s_applique_à→ FinOps de l'IA générative (METHODOLOGIE, 0.85)
- LLMD —s_applique_à→ Design to Exit (METHODOLOGIE, 0.85)
- ZML —collabore_avec→ Scaleway (ORGANISATION, 0.9)
- ZML —collabore_avec→ VSORA (ORGANISATION, 0.9)
- ZML —fait_partie_de→ Jotunn8 (TECHNOLOGIE, 0.85)
- Yann LeCun —soutient→ ZML (ORGANISATION, 0.9)
- Solomon Hykes —a_créé→ Docker (TECHNOLOGIE, 0.97)
- LLMD —concurrence→ vLLM (TECHNOLOGIE, 0.85)
- LLMD —concurrence→ llama.cpp (TECHNOLOGIE, 0.85)
- ZML —est_variante_de→ Apache-2.0 (open source) (CONCEPT, 0.9)
- SFEIR —recommande→ mettre LLMD sous surveillance active plutôt que basculer en production aujourd'hui (AFFIRMATION, 0.92)

---
Canonical: https://www.thekb.eu/it/fiches/sfeir-zml-llmd-docker-llm-inference-souveraine-2026-07-09/