Databricks ha annunciato la Public Preview dell’accesso esterno alle tabelle Delta managed di Unity Catalog. La novità conta perché elimina un compromesso finora noto: chi aveva bisogno di accesso multi-engine ripiegava sulle tabelle external, che però non offrono le ottimizzazioni di performance né le garanzie di governance delle tabelle managed. Ora motori esterni possono creare, leggere e scrivere direttamente sulle managed table mantenendo la governance centralizzata.
Per chi lavora con lakehouse e data stack, il punto pratico è poter usare il motore più adatto a ciascun workload su una sola copia di dati governata. In Public Preview i motori supportati includono Apache Spark (batch e streaming), Apache Flink, Starburst, DuckDB e StreamNative, con catalog commits che rendono Unity Catalog il coordinatore delle scritture e la fonte di verità sullo stato della tabella.
Performance e API aperte
Le tabelle managed sfruttano la Predictive Optimization, che pulisce lo storage, raccoglie statistiche e seleziona automaticamente le colonne di Liquid clustering. Secondo Databricks questi benefici possono portare fino al 50% di risparmio sui costi di storage e query fino a 20 volte più veloci, senza tuning manuale. L’accesso esterno è costruito su API aperte per metadati, credential vending (credenziali temporanee e scoped in base ai privilegi UC) e coordinamento dei commit, tramite le UC Delta API del progetto open-source Unity Catalog: gli engine supportati funzionano sia con Databricks UC sia con UC OSS. Delta Kernel permette agli engine di integrarsi senza reimplementare il protocollo da zero, ereditando automaticamente le nuove funzionalità; DuckDB, dalla v1.5.1, legge e scrive tabelle managed direttamente.
Governance e migrazione
Unity Catalog resta l’unico layer di governance su ogni engine: i team di piattaforma controllano quali principal possono accedere e cosa possono fare tramite i privilegi UC, con Cross-engine ABAC che filtra righe e maschera colonne anche in lettura da motori esterni. Le tabelle external esistenti possono essere convertite in place con ALTER TABLE SET MANAGED, senza riscrittura dei dati e preservando l’interoperabilità. Per iniziare serve abilitare l’external data access sul metastore, concedere EXTERNAL USE SCHEMA e connettersi con Delta 4.3 e il client Unity Catalog 0.5.1.
- L’accesso esterno alle managed table elimina il trade-off tra performance/governance e accesso multi-engine.
- API aperte (UC Delta API) e Delta Kernel abilitano un ecosistema crescente compatibile sia con Databricks UC sia con UC OSS.
- La migrazione dalle external table è in place con
ALTER TABLE SET MANAGED, senza riscrivere i dati.
Fonte: How Unity Catalog managed tables bring interoperability, performance, and unified governance — https://www.databricks.com/blog/how-unity-catalog-managed-tables-bring-interoperability-performance-and-unified-governance
Hai qualcosa da aggiungere? Unisciti alla discussione.