dbt Labs — ora insieme a Fivetran dopo la fusione — ha fatto il punto sul futuro di dbt Core, provando a fugare i timori nati un anno fa attorno al dbt Fusion engine e all’unione con Fivetran. La sintesi: più codice in the open, non meno.
La prova principale è dbt Core v2.0: la stessa base che alimenta la dbt platform, ora sotto licenza Apache 2.0. Insieme sono arrivati dbt State, un caching layer che taglia oltre il 30% del compute dbt-driven dei clienti, e dbt Wizard, un coding agent pensato per dbt.
Un solo engine, in Rust
Circa 18 mesi fa dbt Labs ha acquisito SDF Labs, il cui engine — scritto in Rust — era per molti versi tecnicamente superiore al dbt Core storico. Combinando i due è nato il dbt Fusion engine. Ma Fusion e dbt Core convivevano su fondamenta diverse (Rust e Python) e licenze diverse. Con dbt Core v2.0 il progetto Apache-licensed passa all’implementazione Rust creata da Fusion: l’alpha è partita il 1° giugno.
La prima cosa che si nota è la velocità della CLI. C’è poi una novità sui metadata: oltre ai consueti manifest.json e run_results.json, dbt produce ora file Parquet che formano la base di un context layer, interrogabili in locale con DuckDB. Fusion resta un superset di dbt Core v2.0, con in più la comprensione nativa del SQL (refactoring più semplice, autocorrect, column-level lineage). E dbt Core v2.0 resta distribuibile via PyPI nonostante il cuore Rust: oltre 100.000 deployment partono da pip install.
dbt State: il caching che fa risparmiare
dbt State è un caching layer per i DAG: se nulla è cambiato a livello di colonna, tabella o codice e si è dentro la freshness window, dbt salta il modello. Il risparmio dichiarato è oltre il 30% del compute dbt-driven; per la stessa dbt Labs è stato circa il 64%, con circa 400.000 dollari tagliati all’anno dal budget della data platform. In Fivetran un modello che impiegava circa 40 minuti è sceso a circa 40 secondi. È una feature a pagamento ma non richiede la dbt platform: gira anche con dbt Core più Airflow, dalla v1.7 con plugin e in modo incorporato dalla v1.12. Oltre 100 clienti l’hanno già adottata.
Infine dbt Wizard: un coding harness simile a Codex o Claude Code, ma tarato sui task di dbt, che usa il modello e l’API key dell’utente attingendo allo stesso token budget.
In sintesi
- dbt Core v2.0 è Apache 2.0 e passa all’engine Rust di Fusion; Fusion resta un superset con la comprensione nativa del SQL.
- dbt State taglia oltre il 30% del compute dbt-driven (il 64% per dbt Labs stessa) e funziona anche con dbt Core più Airflow.
- dbt Wizard è un coding agent verticale per dbt che usa il modello e il token budget dell’utente.
Fonte: Fivetran + dbt Labs: The future of dbt Core v2.0 — https://www.getdbt.com/blog/fivetran-dbt-20-future
Hai qualcosa da aggiungere? Unisciti alla discussione.