Il data lineage serve a una domanda semplice e brutale: se questa sorgente cambia, cosa si rompe a valle? Finché il grafo copriva solo le tabelle dentro Databricks, la risposta era parziale. Con External Lineage ora in general availability su Unity Catalog, il grafo si estende all’intero stack.
Cosa cambia
External Lineage permette di registrare nel grafo di Unity Catalog anche asset che vivono fuori da Databricks: sorgenti operative come Salesforce o MySQL, e strumenti di visualizzazione come Tableau o Power BI. Il risultato è un’unica mappa che segue il dato dalla sua origine fino alla dashboard finale, indipendentemente da dove ogni pezzo risiede.
Il dettaglio più utile è l’integrazione con Lakeflow Connect: le pipeline di ingestion gestite registrano il lineage in automatico, dalla tabella sorgente alla destinazione in Unity Catalog. Niente mappature manuali, niente buchi nel grafo.
Perché è importante in produzione
Due benefici pratici. Il primo è la impact analysis: quando una sorgente cambia schema, vedi subito quali tabelle e quali report ne risentono, prima che lo scopra un utente. Il secondo è il troubleshooting: di fronte a un numero sbagliato in un cruscotto, puoi risalire la catena fino al punto in cui il dato è entrato.
Per chi lavora su ambienti ibridi, con decine di sorgenti eterogenee e team diversi che consumano gli stessi dati, un lineage davvero end-to-end non è documentazione: è uno strumento operativo che riduce le sorprese.
Il quadro più ampio
La governance dei dati si gioca sempre più sulla visibilità. Sapere dove nasce un dato, chi lo trasforma e chi lo usa è il presupposto di qualsiasi discorso su qualità, compliance e fiducia. Estendere il lineage oltre i confini della piattaforma è un passo nella direzione giusta: il dato raramente vive in un solo posto, e la sua tracciabilità non dovrebbe farlo nemmeno.
Fonte: Databricks Release Notes — External lineage is now generally available
Hai qualcosa da aggiungere? Unisciti alla discussione.