Databricks: Trigger.AvailableNow per lo streaming OpenSharing arriva in GA

Databricks ha portato in general availability (14 luglio 2026) il supporto al trigger Trigger.AvailableNow per le letture in streaming dalle tabelle OpenSharing. È un cambiamento piccolo nell’enunciato ma rilevante per chi costruisce pipeline incrementali su dati condivisi.

Cosa cambia

Con questo trigger, una lettura Structured Streaming su una tabella OpenSharing cattura la versione corrente della tabella condivisa nel momento in cui parte, processa tutti i dati disponibili distribuendoli su una o più micro-batch — rispettando i parametri maxFilesPerTrigger e maxVersionsPerRpc — e poi si ferma. È il comportamento adatto a un’elaborazione incrementale schedulata, di tipo batch: si avvia il job, consuma tutto ciò che è arrivato dall’ultima esecuzione e termina, senza tenere attivo un cluster in ascolto continuo.

Il punto pratico sta nel confronto con il passato. In precedenza, Trigger.AvailableNow su una sorgente OpenSharing veniva convertito in Trigger.Once, che processava una singola micro-batch per esecuzione. La differenza conta quando il volume di dati accumulato è grande: Trigger.Once tentava di gestire tutto in un solo batch, mentre Trigger.AvailableNow lo suddivide in più micro-batch controllate dai limiti sopra citati, con un profilo di consumo delle risorse più prevedibile e gestibile.

Implicazioni per chi lavora con i dati condivisi

Per un data engineer, questo allinea il comportamento delle sorgenti OpenSharing a quello delle tabelle locali: si può schedulare un job incrementale “batch-like” su dati provenienti da un provider esterno o da un altro workspace Databricks-to-Databricks, senza dover mantenere uno stream sempre acceso e senza il rischio di far collassare tutto in un’unica micro-batch. I parametri maxFilesPerTrigger e maxVersionsPerRpc restano le leve per calibrare quanto lavoro entra in ciascun ciclo. Il requisito è avere Databricks Runtime 18.0 o superiore.

La funzionalità è documentata sia per i recipient Databricks-to-Databricks sia per i recipient open sharing che accedono a una tabella condivisa tramite Spark Structured Streaming.

In sintesi

• Trigger.AvailableNow è ora in GA per lo streaming dalle tabelle OpenSharing e sostituisce la vecchia conversione a Trigger.Once.
• Cattura la versione corrente, processa tutto in una o più micro-batch (rispettando maxFilesPerTrigger e maxVersionsPerRpc) e si ferma: ideale per pipeline incrementali schedulate.
• Richiede Databricks Runtime 18.0 o superiore.

Fonte: Trigger.AvailableNow support for OpenSharing streaming (GA) — https://docs.databricks.com/aws/en/release-notes/product/2026/july#triggeravailablenow-support-for-opensharing-streaming-ga