Fivetran ha annunciato una nuova integrazione con dbt Cloud che permette di orchestrare i job dbt Cloud direttamente dalla sua piattaforma. In pratica, tutte le fasi dell’integrazione dati — extraction, loading e transformation — possono essere gestite da un unico punto. È un passo che interessa chi ha già uno stack ELT e vuole ridurre l’orchestrazione manuale tra strumenti diversi.
Il contesto
Non è la prima mossa in questa direzione. Nel 2022 Fivetran aveva introdotto l’integrated scheduling per dbt Core, la sua soluzione per orchestrare trasformazioni dbt open-source self-hosted: le trasformazioni venivano attivate al completamento delle sync dei connettori, mantenendo aggiornate le tabelle a valle ed evitando trasformazioni ridondanti che consumano compute. In parallelo è cresciuta una libreria di data model dbt open-source e gratuiti, che standardizzano i casi d’uso base per sorgenti SaaS comuni, incluso un modello per SAP.
Cosa cambia con dbt Cloud
dbt Cloud è la versione fully managed delle trasformazioni di dbt Labs: niente infrastruttura da provisionare e sviluppo collaborativo via web UI. La nuova integrazione porta l’integrated scheduling anche a dbt Cloud: analisti ed engineer possono schedulare i job perché partano al load riuscito dei dati dai connettori a monte, e monitorare le pipeline dalla GUI di Fivetran tramite i run log. Secondo dbt Labs, i circa 1.000 clienti in comune possono così evitare l’orchestrazione manuale e lavorare sui dati più freschi disponibili. Il vantaggio economico citato è che il compute non si attiva finché non ci sono nuovi dati da trasformare.
Come si configura
La configurazione avviene nella sezione “Transformations” della dashboard, che propone Quickstart data models, dbt Core e dbt Cloud. Si sceglie dbt Cloud, si autentica l’account con un service token, si seleziona il progetto e si aggiungono i job. Per la schedulazione ci sono due modalità: integrata, con i job che partono al completamento dei connettori a monte, oppure custom, con esecuzione a intervalli o orari fissi. Nel caso integrato si indicano quali connettori devono fare da trigger.
- L’integrazione porta l’orchestrazione dei job dbt Cloud dentro Fivetran, unificando extract, load e transform.
- La schedulazione integrata lega le trasformazioni al load dei connettori, evitando run ridondanti e compute inutile.
- Si affianca ai data model dbt pre-costruiti già disponibili per sorgenti SaaS comuni.
Fonte: Fully managed data integration is finally here — https://www.fivetran.com/blog/fully-managed-data-integration-is-finally-here
Hai qualcosa da aggiungere? Unisciti alla discussione.