Andy Warfield, ingegnere nel team S3 di AWS, ha pubblicato un guest post su All Things Distributed il 26 agosto 2026, introdotto da Werner Vogels. Nel testo, spiega perché i motori analitici incorporati come DuckDB stanno guadagnando importanza, e annuncia che DuckLabs, il team che sviluppa DuckDB, entra a far parte di AWS.
La sua griglia di lettura è quella di una «fisica» mobile. Laddove le scienze fisiche esplorano invarianti, l'informatica dei sistemi ricerca il compromesso elegante rispetto a rapporti che si spostano: velocità della memoria contro velocità della rete, ricchezza delle astrazioni contro potenza disponibile. Cita tre momenti — il progetto NOW di Berkeley, il proprio lavoro su Xen, e la ricerca su MonetDB e X100 al CWI di Amsterdam, dove il collo di bottiglia dell'elaborazione delle query si era spostato dal disco alla CPU — e osserva che questi vincoli si ripresentano ciclicamente.
Quando un lavoro ha davvero bisogno di mille macchine, ha bisogno di mille macchine.
Applicata ai dati, questa griglia spiega l'elaborazione distribuita. L'elaborazione è sempre più semplice ed efficiente su un'unica macchina veloce, ma quando il disco o la scheda di rete di un server non riescono più a leggere il volume desiderato, si partiziona. Era questo il vincolo dei primi anni 2000, quello che ha prodotto MapReduce e poi gli RDD di Spark. Warfield rileva due qualità di questi sistemi: hanno innovato molto sull'ergonomia per gli sviluppatori, e hanno accettato un costo fisso di pianificazione e distribuzione, scommettendo sul throughput ottenuto aggiungendo macchine piuttosto che sull'efficienza per unità.
Ma i rapporti sono cambiati. Un'istanza attuale offre circa cinquanta volte la memoria, i core e la banda di rete della più grande istanza EC2 del 2007, mentre la crescita dei dataset segue una distribuzione i cui casi estremi ne formano la coda. Il paper del 2015 Scalability! But at what COST? aveva già dimostrato che un'implementazione single-thread accuratamente ottimizzata poteva battere framework distribuiti eseguiti su centoventotto core.
DuckDB, lanciato nel 2018 da Hannes Mühleisen e Mark Raasveldt, applica questa logica: un motore analitico a libreria in-process, che gira nello spazio di indirizzamento dell'applicazione, seguendo il modello di distribuzione di SQLite. AWS è diventata cliente di DuckLabs e poi sponsor dell'estensione Iceberg, parallelamente al proprio lavoro su S3 Tables; l'estensione ora supporta Iceberg v2 e v3 e supera 800.000 download a settimana.
Warfield non presenta il modello incorporato come una sostituzione: quando un lavoro richiede mille macchine, le richiede. Ciò che sta cambiando, scrive, è che gran parte del lavoro svolto sui dati in realtà non ha mai avuto bisogno di un cluster. DuckLabs entra in AWS come filiale, con il progetto che resta open source sotto licenza MIT e sotto la governance della DuckDB Foundation.