Databricks ha portato in general availability (16 luglio 2026) la possibilità di registrare user-defined function (UDF) in Scala e Java dentro Unity Catalog. È un tassello che chiude una lacuna per chi ha logica applicativa già scritta sulla JVM e vuole riusarla in modo governato.
Cosa cambia
Con questa novità è possibile registrare una UDF Scala o Java in Unity Catalog e riutilizzarla trasversalmente su notebook, job e SQL warehouse, con la governance di Unity Catalog applicata come a qualsiasi altro asset. In pratica la funzione diventa un oggetto catalogato e soggetto ai privilegi UC, invece di restare confinata al singolo notebook o job in cui era definita.
Due i vantaggi dichiarati. Il primo è il riuso della logica JVM esistente: team che hanno già librerie e funzioni collaudate in Scala o Java non devono riscriverle per portarle nella piattaforma, ma possono esporle come UDF governate. Il secondo è la performance: secondo Databricks queste UDF offrono prestazioni migliori rispetto alle UDF Python su ogni tipo di compute, incluso il serverless. È un punto rilevante, perché le UDF Python soffrono tipicamente dell’overhead di serializzazione tra JVM e runtime Python, mentre una UDF che gira nativamente sulla JVM evita quel passaggio.
Perché interessa
Per un data engineer, il beneficio combinato è governance e riuso senza sacrificare le prestazioni. Registrare le UDF in Unity Catalog significa applicare gli stessi controlli di accesso e la stessa tracciabilità usati per tabelle e altri oggetti, mantenendo un unico punto di gestione dei permessi. E poter contare su UDF Scala/Java più efficienti delle equivalenti Python su serverless amplia i casi in cui conviene spingere la logica custom direttamente nel motore di esecuzione, anziché aggirarla con trasformazioni intermedie.
In sintesi
- Le UDF Scala e Java sono ora registrabili in Unity Catalog e riutilizzabili su notebook, job e SQL warehouse con governance UC.
- Permettono di riusare la logica JVM esistente senza riscriverla, esponendola come oggetto catalogato e governato.
- Secondo Databricks offrono performance migliori delle UDF Python su ogni compute, serverless incluso.
Fonte: Scala and Java UDFs in Unity Catalog are now generally available — https://docs.databricks.com/aws/en/release-notes/product/2026/july#scala-and-java-udfs-in-unity-catalog-are-now-generally-available
Hai qualcosa da aggiungere? Unisciti alla discussione.