Lo Snowflake Summit 2024 ha portato alcuni annunci rilevanti sul fronte data lake e lakehouse. Questo recap raccoglie i punti più tecnici emersi dalle sessioni Fivetran, utili per capire in che direzione si sta muovendo l’integrazione tra data movement e piattaforme cloud.
Managed Data Lake Service
L’annuncio principale è il Fivetran Managed Data Lake Service, pensato per automatizzare la gestione del data lake. È disponibile su Amazon S3, Azure Data Lake Storage (ADLS) e Microsoft OneLake. L’obiettivo dichiarato è ridurre il lavoro operativo di gestione del data lake, incluso il trattamento dei dati PII, liberando i data engineer per attività a maggior valore. Nel caso citato di Lyra Health, questo si traduce nel poter dedicare i team all’uso di LLM per analizzare il sentiment dei clienti.
Iceberg Table e Native Apps
Il Managed Data Lake Service include il supporto alle Apache Iceberg Table, che consente di costruire un’architettura lakehouse basata su Iceberg direttamente all’interno di Snowflake, con attenzione a data quality e governance. È un tassello importante per chi vuole evitare la complessità e la scarsa governabilità che spesso frenano l’adozione dei data lake su larga scala. Sul fronte distribuzione, Fivetran ha annunciato lo sviluppo di Native Apps per Snowflake, che permetteranno di usare i connettori direttamente dal Snowflake Marketplace, costruiti tramite Snowpark Container Services. Il vantaggio tecnico è poter eseguire connettori nativi nell’account del cliente senza fornire accesso esterno ai dati.
Casi cliente e lab GenAI
Nelle sessioni cliente, BlackRock ha descritto come la piattaforma Aladdin monitori oltre 5.000 risk factor al giorno, rispondendo a domande time-sensitive con una latenza di uno-due minuti grazie alla replica ad alto volume. Honeywell ha raccontato il consolidamento di dati da SAP e Oracle per abilitare reporting in tempo reale e dynamic pricing, con un impatto stimato dal cliente in circa un miliardo di dollari di ricavo aggiuntivo. È stato inoltre proposto un hands-on lab per costruire un’app GenAI (un assistente di viaggio) in circa 30 minuti con Snowflake, Cortex e Streamlit.
- Il Managed Data Lake Service arriva su S3, ADLS e OneLake con supporto alle Iceberg Table per architetture lakehouse su Snowflake.
- Le Native Apps permetteranno di eseguire connettori nativi senza esporre i dati all’esterno.
- I casi BlackRock e Honeywell mostrano l’uso della replica ad alto volume per analytics a bassa latenza.
Fonte: Fivetran at Snowflake Summit 2024: Key takeaways — https://www.fivetran.com/blog/fivetran-at-snowflake-summit-2024-key-takeaways
Hai qualcosa da aggiungere? Unisciti alla discussione.