Databricks ha reso generally available il tipo di dato Variant e, insieme, il Variant shredding. Variant è pensato per i dati semi-strutturati e punta a offrire performance di query paragonabili a quelle dei dati strutturati proprio grazie allo shredding, il meccanismo che scompone i campi del documento in colonne fisiche interrogabili in modo efficiente.
A cosa serve
Il caso d’uso tipico è l’ingestion di dati che arrivano senza uno schema rigido: sorgenti di streaming come Kinesis o Event Hub, risposte di API REST, database schemaless. Con Variant si possono acquisire questi payload mantenendo comunque un accesso in query ad alte prestazioni, senza dover appiattire tutto in uno schema fisso a monte né rinunciare alla velocità di lettura.
Sul piano operativo ci sono due dettagli di versione da conoscere. A partire da Databricks Runtime 17.3, il Variant shredding viene abilitato automaticamente quando si crea una nuova tabella con colonne VARIANT. Per ottenere il massimo dalle query, però, Databricks consiglia Databricks Runtime 18.1 o superiore, versione a partire dalla quale si sfruttano la raccolta di statistiche sul Variant e il data skipping.
Perché conta
Chi costruisce pipeline di data engineering conosce bene il compromesso tra flessibilità e performance quando si trattano JSON o strutture annidate: o si conserva il grezzo e si paga in fase di query, o si normalizza in anticipo con tutto il lavoro di manutenzione dello schema che ne consegue. Variant con shredding prova a ridurre questo trade-off, tenendo il dato semi-strutturato ma rendendolo interrogabile come se fosse colonnare.
Un’ultima nota per gli ambienti regolamentati: Variant è indicato come “in arrivo” per i workspace con il compliance security profile abilitato, quindi al momento non è ancora disponibile in quei contesti.
In sintesi
- Variant e Variant shredding sono in GA per i dati semi-strutturati, con performance vicine a quelle dei dati strutturati.
- Dal Runtime 17.3 lo shredding è automatico sulle nuove tabelle con colonne VARIANT; per statistiche e data skipping si consiglia il Runtime 18.1+.
- Il supporto per i workspace con compliance security profile è annunciato come imminente.
Fonte: Variant and Variant shredding are now generally available — https://docs.databricks.com/aws/en/release-notes/product/2026/july#variant-and-variant-shredding-are-now-generally-available
Hai qualcosa da aggiungere? Unisciti alla discussione.