È un articolo di posizione firmato da Fivetran (e quindi va letto tenendo conto di chi lo scrive), ma il tema è concreto: il modern data stack (MDS), pensato dieci anni fa per portare i dati in un unico posto, modellarli e farli interrogare dagli analisti, mostra i suoi limiti quando si mette l’AI in produzione su un’architettura warehouse-centrica. Il punto dell’autrice, Amy Peterson, non è che l’architettura sia rotta, ma che sta facendo un lavoro per cui non era stata progettata, con costi di compute poco spiegabili, latenza e proliferazione di copie di dati.
La proposta: Open Data Infrastructure
L’idea centrale della Open Data Infrastructure (ODI) è separare storage e compute: invece di ingerire i dati in ogni piattaforma, li si archivia una volta in un lake aperto e governato, lasciando che Snowflake, Databricks e altri engine leggano dalla stessa fonte. Snowflake e Databricks restano quindi ottimi layer di compute; ciò che cambia è dove vivono i dati. Questo elimina pipeline duplicate, riduce i costi di ingestion e compute e mantiene i dati coerenti tra team e strumenti.
Le obiezioni, affrontate
L’articolo è costruito attorno alle domande degli scettici. Sul “data lake del 2018 diventato uno swamp”: quei lake erano dump di file senza garanzie transazionali, mentre oggi gli open table format come Iceberg e Delta portano transazioni ACID, schema evolution e time travel sopra l’object storage, con query engine competitivi. Sull’”openness” quando Databricks possiede ora Tabular (che ha sviluppato Iceberg): l’apertura è uno spettro, e ciò che conta operativamente è che storage e catalog siano abbastanza aperti da poter cambiare engine senza re-ingerire petabyte di dati.
Il punto più tecnico riguarda dove il carico AI “rompe i conti”: non nei primi esperimenti, ma quando un singolo task di un agente (una raccomandazione) si traduce in una dozzina di query — retrieval sul comportamento utente, lookup prodotto, controllo inventario, inference, re-ranking — moltiplicate per migliaia di agenti concorrenti. A questo si aggiunge la latenza: i warehouse sono tarati sul throughput di query grandi, non su lookup a bassa latenza, e nelle catene di retrieval ogni centinaio di millisecondi si accumula. Il consiglio pratico è strumentare end-to-end un workflow reale e guardare costo per task e latenza p95.
Da dove iniziare
La raccomandazione non è smantellare il warehouse, ma smettere di trattarlo come centro di tutto: spostare prima lo storage su formati aperti (Iceberg o Delta su object storage controllato), poi togliere un singolo workload dal warehouse instradandolo su un engine diverso a parità di storage per misurare la differenza, e infine investire sul context layer di metadata e semantica, cruciale perché gli agenti non agiscano su definizioni stantie.
- Il modern data stack warehouse-centrico fatica con i carichi AI: costi che scalano con le query, latenza e copie di dati duplicate.
- La Open Data Infrastructure separa storage e compute, con dati in formati aperti (Iceberg, Delta) letti da più engine.
- Il percorso suggerito è incrementale: storage aperto prima, migrazione di un workload poi, context layer alla fine.
Fonte: Modern data stack vs. Open Data Infrastructure — https://www.fivetran.com/blog/modern-data-stack-vs-open-data-infrastructure
Hai qualcosa da aggiungere? Unisciti alla discussione.