Quando si pensa all’agricoltura non viene subito in mente l’analisi di supply chain globali o la computer vision su video da drone. Eppure è la quotidianità di Riley Buss, Senior Manager of IT Engineering di CHS Inc., cooperativa agribusiness da oltre 45 miliardi di dollari con 10.000 dipendenti al servizio di più di 75.000 produttori. In una conversazione sul podcast di Fivetran, Buss ha descritto un caso di data engineering interessante per la sua complessità di sorgenti.
La complessità delle sorgenti
CHS gestisce terabyte di dati da dispositivi IoT e PLC che alimentano indici di monitoraggio, oltre a 50 applicazioni di business e 14 diversi sistemi ERP, uno dei quali con 36 istanze. È un’azienda asset-heavy — elevatori per grano, terminali fluviali, porti, raffinerie di etanolo — e ogni asset produce grandi quantità di dati. La sfida non è più, come otto anni fa, la banda (all’epoca connessioni T1 da 1,5 Mbps e ERP su Citrix), ma l’alto volume di dati in ingresso.
Dal batch al CDC
L’architettura precedente, basata su Cloudera, si appoggiava a ingestion di tipo batch, più lente e onerose. Il passaggio a un modern data stack composto da Fivetran, Snowflake e dbt ha permesso di adottare il change data capture (CDC): CHS fa CDC su tutti i dati, li porta in streaming dentro Snowflake e restituisce analytics quasi in tempo reale al business. Deduplicazione e cancellazioni vengono gestite prima che i dati arrivino a valle. Buss cita in particolare la funzionalità di compare and repair, che dà garanzia di integrità verificando che i dati caricati in Snowflake corrispondano alla sorgente — utile quando si lavora su decine di ERP e applicazioni.
Dati puliti e prodotti dati
Una volta in Snowflake, i dati sono normalizzati e pronti per il consumo, il che semplifica anche la condivisione con partner esterni. Con dbt Cloud, il team costruisce data product automatizzati che rispettano standard di qualità rigorosi. Sul fronte organizzativo, Buss punta su team misti capaci di dialogare con gli utenti di business e tradurne i processi in soluzioni tecniche, più che su singoli specialisti.
- Il passaggio da batch a CDC è stato il cambiamento chiave per abilitare analytics quasi in tempo reale.
- La funzionalità compare and repair aiuta a garantire l’integrità dei dati caricati in Snowflake.
- dbt Cloud viene usato per costruire data product automatizzati con standard di qualità definiti.
Fonte: How the modern data stack powers real-time decisions at CHS — https://www.fivetran.com/blog/how-the-modern-data-stack-powers-real-time-decisions-at-chs
Hai qualcosa da aggiungere? Unisciti alla discussione.