Databricks ha pubblicato un case study firmato dal team Enterprise Data & AI di Dow, che racconta come l’azienda chimica abbia costruito un Carbon Footprint Ledger (CFL) sulla Databricks Data Intelligence Platform per calcolare Product Carbon Footprint (PCF) verificabili sull’intero portfolio in una frazione del tempo precedente.
Un PCF rappresenta le emissioni totali di gas serra, misurate in CO2 equivalente (CO2e), generate dall’estrazione delle materie prime fino alla produzione (cradle-to-gate). Calcolarlo per un’azienda vasta come Dow è complesso: ogni prodotto richiede dati da sourcing, manufacturing execution, consumo energetico, trasporti, monitoraggio delle emissioni e database di lifecycle inventory. In precedenza il calcolo richiedeva settimane, con i dati chiusi in silos tra funzioni e geografie.
L’architettura sulla Data Intelligence Platform
Il team ha costruito una pipeline end-to-end dentro l’Integrated Data Hub (IDH). Al centro c’è Apache Spark su Databricks, che unisce e trasforma a scala i dati provenienti da domini funzionali diversi, riconciliandoli in PCF cradle-to-gate accurati e auditabili. Ogni stage della pipeline è persistito come Delta table, con transazioni ACID, time travel per gli audit storici e upsert efficienti. Unity Catalog fornisce il layer di governance con controlli di accesso a grana fine su dati di manufacturing sensibili, emission factor proprietari e allocazioni di carbonio specifiche per cliente.
La capacità centrale è un modello di ottimizzazione che individua dinamicamente il percorso produttivo a minori emissioni nella rete manifatturiera globale, coerente con la metodologia assured. Usando l’approccio MLOps di Databricks con MLflow, il team sviluppa e deploya questa capacità come servizio di produzione con versioning e monitoring completi, e i risultati confluiscono nella pipeline CFL con lineage tracciato.
Impatto e requisiti
Il CFL è third-party limited assured rispetto a ISO 14067 e al GHG Protocol Product Standard, ed emette certificati PCF mantenendo i saldi residui in un ledger sicuro e auditabile. Fa parte dell’Advance Sustainability Program di Dow, che comprende oltre 20 track di capacità digitali, e alimenta il portfolio low-carbon Decarbia. Per i clienti l’obiettivo è ridurre in modo verificabile le emissioni Scope 3, in un contesto regolatorio che si irrigidisce (ad esempio la CSRD europea).
Per un data engineer è un esempio concreto di come Spark, Delta Lake, Unity Catalog e MLflow collassino un processo che durava settimane, con lineage e governance di livello audit come requisito, non come optional.
In sintesi
- Dow calcola PCF cradle-to-gate su tutto il portfolio con una pipeline su Apache Spark, Delta Lake, Unity Catalog e MLflow.
- Il tempo di calcolo end-to-end passa da settimane a una frazione, con lineage e governance audit-grade.
- Il CFL è assured rispetto a ISO 14067 e GHG Protocol, emette certificati PCF e alimenta il portfolio Decarbia per le emissioni Scope 3 dei clienti.
Fonte: How Dow Built a Carbon Footprint Ledger on Databricks to Accelerate Sustainability at Scale — https://www.databricks.com/blog/how-dow-built-carbon-footprint-ledger-databricks-accelerate-sustainability-scale
Hai qualcosa da aggiungere? Unisciti alla discussione.