Fivetran e la normalizzazione: dove avviene conta per i costi di compute

Uno dei costi meno visibili di un data stack moderno è la data normalization: non tanto se farla, ma dove farla. In un post sul proprio blog, Fivetran sostiene che il punto in cui un provider ELT normalizza i dati incide in modo diretto sul consumo di credits del data warehouse.

Il ragionamento è lineare. Con strumenti warehouse-native come AWS Glue o Azure Data Factory la normalizzazione dei dati atterrati ricade sull’utente, e serve compute del warehouse per operazioni come la deduplica dei record. Anche molti tool di data movement di terze parti — Fivetran cita Stitch, Matillion, Domo, Hevo e Airbyte — eseguono la normalizzazione dentro il warehouse del cliente. Fivetran dichiara invece di normalizzare i dati all’interno del proprio VPC, così che l’ingestion non pesi sul conto del compute.

I numeri citati

Il post riporta un confronto su uno stesso carico mensile: Matillion 143,69 credits (61% del costo di compute), Domo 69,33 (30%) e Fivetran 6,74 (3%). Un altro cliente, in una settimana con volumi simili, avrebbe visto Stitch consumare 53,6 credits contro i 6,8 di Fivetran. ButterflyMX, dopo il passaggio da Stitch, dichiara un risparmio del 20% sui costi di ingest compute, pari a 3.600 dollari l’anno. Per chi arriva da connettori DIY o open-source, Fivetran parla di riduzioni dell’80–90%.

Vanno presi per quello che sono: dati di un vendor, su casi selezionati. Ma l’osservazione tecnica di fondo regge a prescindere dal fornitore: spostare la normalizzazione fuori dal warehouse cambia la voce di costo che finisce in bolletta. Per un team che ragiona in ottica FinOps, sapere dove avviene la trasformazione è un criterio di valutazione concreto quando si confrontano tool di ingestion, insieme a qualità degli schemi e rischio di lock-in.

In sintesi

• Il luogo della normalizzazione (VPC del provider o warehouse del cliente) determina quanta compute paghi in fase di ingestion.
• Fivetran cita risparmi rilevanti rispetto a Stitch, Matillion e Domo, ma sono dati di parte, da verificare sul proprio carico.
• Il test più affidabile resta caricare gli stessi dati con tool diversi e confrontare i credits consumati.

Fonte: How the Fivetran approach to data normalization cuts compute costs — https://www.fivetran.com/blog/how-the-fivetran-approach-to-data-normalization-cuts-compute-costs