Andy Warfield, ingénieur du service S3 chez AWS, publie le 26 août 2026 un billet invité sur All Things Distributed, présenté par Werner Vogels. Il y explique pourquoi les moteurs analytiques embarqués comme DuckDB prennent de l'importance, et annonce que DuckLabs, l'équipe qui développe DuckDB, rejoint AWS.
Sa grille de lecture est celle d'une « physique » mobile. Là où les sciences physiques explorent des invariants, l'informatique système cherche le compromis élégant face à des rapports qui bougent : vitesse de la mémoire contre celle du réseau, richesse des abstractions contre puissance disponible. Il cite trois moments — le projet NOW de Berkeley, ses propres travaux sur Xen, les recherches MonetDB et X100 au CWI d'Amsterdam, où le goulot du traitement de requêtes s'était déplacé du disque vers le CPU — et note que ces contraintes reviennent par cycles.
You can have a second computer once you've shown you know how to use the first one.
Appliquée aux données, cette grille explique le traitement distribué. Le traitement est toujours plus simple et plus efficace sur une seule machine rapide, mais quand le disque ou la carte réseau d'un serveur ne suffisent plus à lire le volume voulu, on partitionne. C'était la contrainte du début des années 2000, celle qui a produit MapReduce puis les RDD de Spark. Warfield relève deux qualités de ces systèmes : ils ont beaucoup innové sur l'ergonomie développeur, et ils ont assumé un coût fixe de planification et de distribution en pariant sur le débit obtenu par ajout de machines plutôt que sur l'efficacité unitaire.
Or les rapports ont changé. Une instance actuelle offre environ cinquante fois la mémoire, les cœurs et la bande passante réseau de la plus grosse instance EC2 de 2007, tandis que la croissance des jeux de données suit une distribution dont les cas extrêmes sont la queue. Le papier Scalability! But at what COST? de 2015 avait déjà montré qu'une implémentation mono-thread soignée pouvait battre des frameworks distribués sur cent vingt-huit cœurs.
DuckDB, lancé en 2018 par Hannes Mühleisen et Mark Raasveldt, applique cette logique : un moteur analytique en bibliothèque, tournant dans l'espace d'adressage de l'application, sur le modèle de diffusion de SQLite. AWS en est devenu client puis sponsor de l'extension Iceberg, dans le sillage de S3 Tables ; l'extension supporte Iceberg v2 et v3 et dépasse 800 000 téléchargements par semaine.
Warfield ne présente pas l'embarqué comme un remplacement : quand un traitement exige mille machines, il les exige. Ce qui change, écrit-il, c'est qu'une grande part du travail sur données n'avait jamais besoin d'un cluster. DuckLabs rejoint AWS comme filiale, le projet restant open source sous licence MIT et sous la garde de la DuckDB Foundation.