Il data lineage è utile solo se è completo. Finché si ferma ai confini di una piattaforma, lascia buchi proprio dove servono le risposte. Con External Lineage ora generally available su Unity Catalog, quel confine si allarga all’intero stack.
Cosa fa
External Lineage permette di registrare asset esterni — sorgenti come Salesforce o MySQL, dashboard Tableau o Power BI — direttamente nel grafo di lineage di Unity Catalog. Il risultato è un unico grafo che copre il flusso dei dati dalla sorgente alla visualizzazione, indipendentemente da dove ciascun asset vive.
La parte più concreta è l’integrazione con Lakeflow Connect: le managed ingestion pipeline registrano automaticamente il lineage dalla tabella sorgente alla destinazione in Unity Catalog. Nessuna configurazione manuale, nessun buco nel grafo.
Perché conta
Per chi lavora su ambienti ibridi con molte sorgenti eterogenee, questo cambia la qualità della governance e del troubleshooting. Un lineage end-to-end rende l’impact analysis affidabile: quando una sorgente cambia schema, si vede subito cosa ne risente a valle. Meno sorprese in produzione, meno indagini manuali quando qualcosa si rompe.
In sintesi
External Lineage non aggiunge una feature isolata: completa il quadro che Unity Catalog vuole offrire, cioè una mappa unica e attendibile di dove vivono i dati e di come si muovono. È il genere di capacità che si nota soprattutto quando manca.
Fonte: External lineage is now generally available — Databricks Release Notes
