Allo Snowflake Data Cloud Summit 2024, Dave Woodhead, Head of Aladdin Studio Engineering di BlackRock, ha illustrato l’architettura dati dietro Aladdin Data Cloud (ADC), la soluzione data-as-a-service costruita sopra la piattaforma Aladdin. È un caso interessante per chi lavora in ambito finance analytics, perché mostra come una piattaforma di investment management gestisce volumi elevati di dati di mercato con requisiti di latenza stringenti.
Cos’è Aladdin Data Cloud
ADC è una piattaforma cloud di data e analytics che permette agli utenti di archiviare, gestire e analizzare grandi volumi di dati di investimento e di mercato. Gli utenti accedono ai propri Investment Books of Record (IBOR), Accounting Books of Record (ABOR) e ad altri dati di mercato, con la possibilità di porre domande e ottenere insight rapidi. Una delle evoluzioni recenti è l’ampliamento delle capacità di data network: i clienti possono portare i propri dati dentro ADC e distribuire i dati Aladdin verso i propri ecosistemi.
L’architettura di data movement
ADC si appoggia a Fivetran per il data movement e a Snowflake come piattaforma dati cloud. Secondo Woodhead, i dati vengono spostati a bassa latenza da una singola sorgente in una landing zone Snowflake, dove vengono trasformati tramite la piattaforma dati enterprise. Il team ha costruito le pipeline a bassa latenza verso ADC in pochi mesi. Una volta che i dati sono in Snowflake, i servizi di analytics vengono esposti tramite API per reporting e automazione, e gli utenti dispongono di dynamic tables per costruire app Snowpark e porre domande time-series cross-dimensionali, con risposte quasi in tempo reale.
I problemi che risolve
L’impianto affronta tre aspetti principali: disaster recovery, recuperabilità dei dati e consolidamento di dataset prima isolati in un unico ambiente Snowflake. È lo stesso pattern che ricorre in molte migrazioni verso il lakehouse o il warehouse cloud: unificare fonti eterogenee riducendo i silos, mantenendo al tempo stesso latenza e affidabilità adeguate ai carichi di produzione.
- ADC combina data movement a bassa latenza e Snowflake per offrire analytics quasi in tempo reale sui dati di investimento.
- Le pipeline sono state costruite in pochi mesi, con trasformazioni eseguite in una landing zone Snowflake.
- Gli obiettivi principali sono disaster recovery, recuperabilità dei dati e consolidamento dei silos.
Fonte: How Fivetran helps power BlackRock’s Aladdin Data Cloud — https://www.fivetran.com/blog/how-fivetran-helps-power-blackrocks-aladdin-data-cloud
Hai qualcosa da aggiungere? Unisciti alla discussione.