Fivetran e dbt Labs hanno annunciato una serie di novità di prodotto pensate per rendere il data stack più aperto e pronto per gli agenti. Il pezzo centrale è dbt Core v2.0: dbt Labs rende open source il runtime Fusion, distribuendolo sotto licenza Apache 2.0. Il motore, scritto in Rust, promette parse time fino a 10 volte più rapidi, migliore scalabilità sui progetti grandi e un modello di contribuzione degli adapter più pulito.
La mossa conta perché sposta l’investimento commerciale direttamente sulla distribuzione open source, invece di mantenerla in parallelo. dbt Core v2.0 debutta in alpha nello stesso repository GitHub dbt-core; per chi vuole parsing più veloce senza un major upgrade, arriva anche dbt Core v1.12 in beta con il parser Rust. L’ecosistema dbt, ricorda l’annuncio, conta oltre 1 miliardo di download su PyPI e più di 100.000 progetti attivi ogni settimana.
Meno compute e agenti che capiscono il progetto
dbt State introduce build state-aware: controlla i metadati del warehouse e il SQL dei modelli per decidere cosa ricostruire, saltare, clonare o rinviare. In media riduce il compute generato da dbt di oltre il 30% sulle run di produzione. CarGurus riferisce una riduzione del 9% del compute, il 35% di modelli in meno ricostruiti e un calo del 15% dei costi di backfill su Snowflake.
dbt Wizard è l’agente costruito per il ciclo di lavoro dell’analytics engineering: indaga i problemi, comprende i progetti, propone modifiche e valida i risultati. Sull’ultimo set di 75 task ADE-bench ottiene un punteggio del 76%. Endress+Hauser Infoserve segnala una riduzione del 15-20% degli incidenti in produzione dopo l’adozione.
Sul fronte ingestion, il Fivetran AI Connector Agent (in beta) genera connettori gestiti a partire dalla documentazione delle API: la analizza, costruisce il connettore e lo valida, con revisione umana per i casi che non gestisce da solo. Infine, Agents Schema propone uno schema del warehouse come layer di contesto per gli agenti, con definizioni di metriche, modelli semantici e lineage dbt in tabelle SQL.
Il filo conduttore è dichiarato: apertura e interoperabilità, efficienza dei costi e lavoro sui dati AI-native. Per un data engineer, il segnale pratico è che l’ottimizzazione delle pipeline dbt passa sempre più dalla riduzione delle build inutili e dal contesto strutturato che gli agenti possono leggere.
In sintesi
- dbt Core v2.0 apre il runtime Fusion (Apache 2.0) con motore Rust e parse time fino a 10x più veloci.
- dbt State riduce in media oltre il 30% del compute; dbt Wizard segna 76% su 75 task ADE-bench.
- Fivetran aggiunge un AI Connector Agent in beta e Agents Schema come layer di contesto per gli agenti.
Fonte: Fivetran + dbt: An open, agent-ready future for data teams — https://www.fivetran.com/blog/fivetran-dbt-an-open-agent-ready-future-for-data-teams
Hai qualcosa da aggiungere? Unisciti alla discussione.