Nelle release notes di Databricks, nella sezione “What’s coming”, è annunciato un cambiamento in arrivo a inizio agosto 2026 per le continuous Lakeflow pipelines e i continuous jobs. L’obiettivo dichiarato è semplificare la configurazione e la gestione dello stato, ma alcune modifiche sono breaking e conviene rivederle per tempo.
Continuous pipelines
Sarà possibile configurare uno schedule continuo direttamente dalla pagina della pipeline, incluse impostazioni a livello di job come la performance mode. Configurandolo in questo modo, la pipeline viene incapsulata in un continuous job. Databricks raccomanda esplicitamente di eseguire le continuous pipelines tramite un continuous job invece che con l’impostazione continuous interna alla pipeline: quando un job avvolge la pipeline, è il job a gestirne il ciclo di vita di esecuzione. L’impostazione interna non viene rimossa, ma le nuove pipeline continue dovrebbero adottare il pattern con il continuous job.
Continuous jobs: le modifiche breaking
La gestione dello stato dei continuous jobs viene semplificata, con questi effetti:
- Aggiungere uno schedule continuo a un job cancella le run attive, sia che lo schedule sia in pausa sia che sia attivo.
- Rimuovere uno schedule continuo da un job cancella le run attive.
- Eseguire un continuous job in pausa lo riattiva (unpause).
- Mettere in pausa un continuous job cancella anche la run attiva.
- Fermare la run attiva di un continuous job mette in pausa il job stesso.
Inoltre, un nuovo campo API in sola lettura terrà traccia dello stato del continuous job.
Per chi orchestra pipeline in produzione, l’implicazione pratica è che comportamenti finora “sicuri” — mettere in pausa, rimuovere uno schedule, fermare una run — ora hanno effetti collaterali sulle run attive. Databricks invita a rivedere qualunque automazione o workflow che dipenda dagli attuali comportamenti dei continuous jobs e ad aggiornarlo prima del rilascio.
In sintesi
- Da inizio agosto 2026 le continuous pipelines potranno essere schedulate dalla pagina della pipeline, incapsulandole in un continuous job (pattern raccomandato).
- Diverse azioni sui continuous jobs (pausa, rimozione schedule, stop) diventano breaking e cancellano le run attive.
- Arriva un campo API read-only per lo stato del job: da rivedere le automazioni esistenti prima del rilascio.
Fonte: Behavior changes for continuous jobs and pipelines — https://docs.databricks.com/aws/en/release-notes/whats-coming#behavior-changes-for-continuous-jobs-and-pipelines
Hai qualcosa da aggiungere? Unisciti alla discussione.