Databricks ha annunciato Apache Spark 4.2, disponibile in Databricks Runtime 19 Beta. La release sposta dentro il motore parti dello stack dati e AI che finora vivevano attorno a esso: metriche governate, primitive vettoriali e top-K, un percorso Python più orientato ad Arrow, change data capture di prima classe e fondamenta più solide per lo streaming. L’obiettivo dichiarato è migliorare qualità e freschezza dei dati forniti agli agenti AI e rendere Spark più facile da invocare come servizio di esecuzione remoto.
Semantic layer, SQL AI-native e Python più veloce
La novità più rilevante è il metric view, un semantic layer nativo in Spark SQL: le metriche di business vengono definite una volta sola e usate in modo coerente da dashboard, applicazioni e strumenti AI. Conta soprattutto per le metriche non additive, come rapporti, distinct count e retention, che danno risultati sbagliati quando ogni consumer riscrive la formula a un diverso livello di aggregazione. Un agente non dovrebbe calcolare il fatturato in modo diverso da una dashboard, e la metric view fornisce a SQL, BI e AI una sola fonte di verità.
Sul fronte SQL arrivano funzioni di distanza e similarità vettoriale con NEAREST BY per il ranking top-K, utili per retrieval, raccomandazioni ed entity resolution, insieme ai tipi GEOMETRY e GEOGRAPHY con funzioni ST_* per l’analytics geospaziale senza estensioni esterne. Lato Python, l’esecuzione Arrow-optimized delle UDF è attiva di default, così le UDF esistenti usano il percorso columnar più veloce senza riscritture, con supporto a Pandas 3. Via Arrow C Data Interface e PyCapsule, i DataFrame di Spark si spostano verso Polars o DuckDB senza copiare o serializzare i dati.
Auto CDC, Real-Time Mode e Data Source V2
Spark Declarative Pipelines introduce Auto CDC, che porta nel motore la gestione SCD di tipo 1: invece di scrivere a mano la merge logic per applicare un change feed, si configura come gli eventi CDC aggiornano la tabella target. Real-Time Mode nello Structured Streaming, con latenza end-to-end nell’ordine dei millisecondi, viene esteso a PySpark per le query stateless. Data Source V2 aggiunge il CDC di prima classe, interrogabile con la nuova clausola SQL CHANGES, oltre a miglioramenti su row-level operations, schema evolution e le fondamenta di una transaction API. La release include anche una modernizzazione della Web UI con Bootstrap 5 e dark mode e il supporto a JDK 25, con oltre 1.900 commit da più di 260 contributor.
- Le metric view danno a SQL, BI e agenti AI una definizione condivisa delle metriche, evitando calcoli divergenti su misure non additive.
- Auto CDC nelle pipeline dichiarative sostituisce la merge logic scritta a mano per i carichi SCD Type 1.
- Real-Time Mode arriva su PySpark per le query stateless, con latenza nell’ordine dei millisecondi.
Fonte: Introducing Apache Spark 4.2 — https://www.databricks.com/blog/introducing-apache-spark-42
Hai qualcosa da aggiungere? Unisciti alla discussione.