Molte delle scelte che per decenni hanno definito il lavoro sui dati nascevano da vincoli tecnologici precisi: compute, storage e banda costosi e scarsi. Quando quei vincoli si allentano, i tradeoff che sembravano inevitabili smettono di esserlo. Questo articolo ripercorre alcune di queste tensioni e mostra come l’architettura dati moderna, nata con il cloud, le abbia ridimensionate.
ETL contro ELT
Dagli anni Settanta l’ETL (Extract, Transform, Load) è stato lo standard per l’integrazione dei dati, al punto che i due termini vengono spesso usati come sinonimi. L’ETL trasforma i dati prima di caricarli a destinazione, e questo richiede di sapere in anticipo come verranno usati e forti assunzioni sulla logica di business. Il limite è che ogni pipeline diventa una soluzione costruita a mano, da rivedere ogni volta che cambia lo schema a monte o serve un nuovo modello a valle.
L’ELT (Extract, Load, Transform) rinvia le trasformazioni a quando i dati sono già nella destinazione. Estrazione e caricamento vengono disaccoppiati dalle trasformazioni: la pipeline non va ricostruita a ogni cambio di schema o modello, e la parte di movimento dei dati può essere standardizzata e automatizzata. L’ELT è più flessibile, ma diventa praticabile solo quando compute, storage e banda smettono di essere risorse scarse. Il cloud ha reso possibile proprio questo, trasformando il movimento dei dati da processo centrato sull’engineering a qualcosa di più accessibile anche agli analisti, più vicini ai problemi di business.
Data science contro data engineering
Il ruolo di data scientist è associato ad analytics e machine learning, ma nella pratica molti data scientist finiscono per dedicare gran parte del tempo a compiti a monte più propriamente di data engineering. In assenza di connettori pronti all’uso e di strumenti di movimento automatizzato, le organizzazioni che trascuravano l’engineering non riuscivano a mettere in produzione analytics e machine learning. Il movimento dei dati automatizzato e basato su ELT permette ai data scientist di riprendere il controllo del processo di integrazione e di dedicare più tempo alle attività per cui sono stati assunti.
Accesso contro compliance
Storicamente le organizzazioni hanno dovuto scegliere tra accesso e compliance. Team legali e di sicurezza tendono a restringere l’accesso per mantenere visibilità sugli asset di dati, mentre chi consuma i dati preferisce meno vincoli. Senza strumenti dedicati, il risultato è spesso una stratificazione di procedure che produce dati stantii e scarsa data literacy. Una pipeline automatizzata con funzionalità robuste di governance e sicurezza (provisioning programmatico degli utenti, lineage dei modelli, cattura dei metadati e logging) consente invece di garantire accesso e compliance insieme, e quindi di decentralizzare le decisioni senza perdere coordinamento.
- Molti tradeoff storici sui dati derivano da vincoli hardware ormai superati dal cloud.
- L’ELT disaccoppia estrazione e trasformazione, rendendo le pipeline più robuste ai cambi di schema.
- Una buona governance permette di conciliare accesso, compliance e decentralizzazione delle decisioni.
Fonte: Modern data architecture allows you to have your cake and eat it, too — https://www.fivetran.com/blog/modern-data-architecture-allows-you-to-have-your-cake-and-eat-it-too
Hai qualcosa da aggiungere? Unisciti alla discussione.