Fivetran ha annunciato nuove funzionalità per orchestrare insieme i propri connettori e le trasformazioni realizzate con dbt Core, il progetto open source di dbt Labs molto diffuso nella comunità degli analisti. L’obiettivo dichiarato è ridurre la latenza dei dati, monitorare le pipeline ELT e far risparmiare tempo di engineering. Il tema di fondo è concreto: secondo un sondaggio di Dimensional Research e Fivetran, quasi 1 azienda su 2 dichiara che i dati chiave non sono utilizzabili per le decisioni, e il 68 percento dei data engineer non ha abbastanza tempo per estrarre il massimo valore dai dati esistenti.
Scheduling integrato
La funzionalità più richiesta dai clienti è lo scheduling integrato: da Fivetran è possibile pianificare l’esecuzione automatica dei modelli dbt Core subito dopo il completamento di un sync di un connettore. Questo riduce la latenza accelerando la pipeline ELT end-to-end e aiuta a contenere i costi di compute: se un sync fallisce, le trasformazioni a valle non partono, evitando di eseguire calcoli su dati vecchi.
Grafi di data lineage
I grafi di lineage combinano le informazioni su pipeline e trasformazioni per dare una visione d’insieme del flusso ELT. Gli analisti possono vedere visivamente il percorso dei dati e le trasformazioni applicate a ogni stadio del progetto dbt Core, mentre gli engineer possono valutare le prestazioni della pipeline e individuare dove si sono verificati errori. Il lineage supporta anche le strategie di governance, permettendo di tracciare i cambiamenti e aumentare la visibilità su movimento e qualità dei dati.
Data model pre-costruiti
Dal lancio dei data model SQL pre-costruiti, oltre 800 membri della comunità dbt hanno scaricato 1.500 Fivetran Data Model. Si tratta di SQL che trasforma i dati grezzi in dataset pronti per l’analisi, consumabili da strumenti di visualizzazione per dashboard e report. I team possono produrre nuovi report in pochi minuti con appena due righe di codice, e i modelli sono estensibili con SQL custom per la propria logica di business.
dbt Core è un marchio di dbt Labs; Fivetran Transformations non è un prodotto di dbt Labs né da essa approvato. Trattandosi di un annuncio di prodotto, alcune funzionalità erano al momento in preview o in arrivo.
- Lo scheduling integrato lancia i modelli dbt Core dopo il sync, riducendo latenza e spese di compute inutili.
- I grafi di lineage aumentano la visibilità sulle pipeline ELT e supportano la governance.
- I data model SQL pre-costruiti permettono di generare dataset pronti per l’analisi con poche righe di codice.
Fonte: New Levels of Automation for Your Data Transformation — https://www.fivetran.com/blog/new-levels-of-automation-for-data-transformation-with-fivetran
Hai qualcosa da aggiungere? Unisciti alla discussione.