DevOps e DataOps condividono la radice culturale ma si applicano a oggetti diversi: il DevOps costruisce, testa e rilascia software; il DataOps fa lo stesso con i data product. Un articolo di Fivetran mette in fila somiglianze e differenze, e soprattutto quali pratiche del mondo dev conviene portare in quello dei dati.
Sul fronte DevOps, il pezzo richiama due sistemi di misura ormai standard. Il primo sono le quattro metriche DORA: mean lead time for changes, deployment frequency, failure rate e mean time to recovery (MTTR). Il secondo sono gli SLI/SLO, che definiscono lo stato di normalità di un sistema e generano alert quando se ne discostano. L’obiettivo del DevOps è chiaro: migliorare velocità e affidabilità del ciclo di sviluppo, con una pipeline CI/CT/CD che, a maturità, gira senza intervento umano.
Cosa misura il DataOps
Il DataOps si valuta invece su tre parametri di base — performance, security e quality — e per la qualità dei dati usa il controllo statistico di processo su sei metriche: accuracy, completeness, consistency, timeliness, validity e uniqueness/integrity. La differenza pratica sta nella pipeline: mentre il codice vive in un repository Git con struttura prevedibile, i dati arrivano da sorgenti e formati eterogenei. Per questo, spiega l’articolo, dopo la fase di cattura e storage arriva la validazione, che come i test unitari blocca l’avanzamento quando fallisce, evitando che dati sporchi passino allo stadio successivo prima di essere trasformati e pubblicati nel warehouse.
Le lezioni da portare nel mondo dei dati
Le due discipline condividono principi lean — miglioramento continuo, eliminazione degli sprechi, standardizzazione — ma il DevOps ha alle spalle molti più strumenti e ricerca. Da qui i suggerimenti per chi guida un team dati: automatizzare il più possibile, gestire tutto come codice (infrastruttura, configurazione, pipeline), disaccoppiare e componentizzare per il riuso, inserire test e validazioni a ogni passaggio. E, soprattutto, tenere sempre a mente l’end-user: come nel DevOps tutto punta a servire chi usa il prodotto, nel DataOps conta sapere a chi servono i dati e per farci cosa.
Il messaggio di fondo è che il DataOps è una disciplina più giovane e ancora in evoluzione: copiare qualche pagina dal manuale DevOps è un modo concreto per accorciare i tempi, senza illudersi che i due mondi siano identici.
In sintesi
- Il DevOps rilascia software e si misura con metriche DORA e SLI/SLO; il DataOps rilascia data product e si misura su performance, security e sei metriche di data quality.
- La pipeline DataOps aggiunge una fase di validazione che blocca i dati sporchi prima della trasformazione, per via dell’eterogeneità delle sorgenti.
- Le pratiche DevOps da portare nei dati: automazione, tutto come codice, componentizzazione, test a ogni passo e focus sull’end-user.
Fonte: DevOps vs. DataOps: Taking the Dev World into Data — https://www.fivetran.com/blog/devops-vs-dataops-taking-lessons-from-the-dev-world-into-the-modern-data-era
Hai qualcosa da aggiungere? Unisciti alla discussione.