Fivetran ha introdotto AI Columns per Databricks all’interno di Fivetran Activations, una funzione che applica trasformazioni basate su LLM direttamente su tabelle e view di Databricks. L’idea è portare l’AI dentro il lakehouse prima di sincronizzare i dati verso piattaforme di marketing, sales e customer engagement, senza dover scrivere processi ETL complessi o modelli ML custom.
Il funzionamento ruota attorno a tre passaggi. Si scrivono prompt in formato liquid template che trasformano dati grezzi in nuove colonne del dataset; si definiscono regole di validazione e valori di default per tenere sotto controllo la qualità; infine si riscrivono i dati trasformati in Databricks oppure si sincronizzano direttamente verso le destinazioni. Per il modello si può scegliere tra ChatGPT (OpenAI), Claude (Anthropic) o Gemini (Google), usando i credit di Fivetran Activations oppure la propria API key.
I casi d’uso principali
L’articolo indica quattro scenari concreti. Il primo è estrarre informazioni strutturate da testo non strutturato: per esempio, partire dai ticket di supporto in Databricks, chiedere all’LLM di categorizzare i problemi ed estrarre uno score di sentiment, poi mandare il risultato a Salesforce o Gainsight. Il secondo è l’arricchimento dei dati cliente per la personalizzazione, combinando usage, storico acquisti e attività sul sito per generare next-best-action da inviare a Braze, Iterable o Customer.io.
Gli altri due riguardano la classificazione per la segmentazione — determinare settore, dimensione e maturità tecnologica di un’azienda a partire da descrizioni e dati del sito — e la pulizia e normalizzazione dei dati, come standardizzare job title e reparti senza regex o Python custom. In tutti i casi, il dato normalizzato può essere riscritto in Databricks per riutilizzi futuri.
Perché interessa a chi lavora sui dati
Il valore, per un data team, sta nel ridurre il numero di passaggi tra dato grezzo e dato utilizzabile: le trasformazioni LLM vivono accanto alle tabelle invece che in un servizio separato, con regole di validazione esplicite. Restano da valutare, come sempre con approcci basati su LLM, i costi per volume di righe e la coerenza degli output: proprio per questo le regole di validazione e i default non sono un dettaglio, ma parte del design.
In sintesi
- AI Columns applica trasformazioni LLM direttamente su tabelle e view Databricks, con prompt in liquid template e regole di validazione.
- Si può scegliere tra ChatGPT, Claude o Gemini, usando i credit di Fivetran o la propria API key.
- Casi d’uso: estrazione da testo non strutturato, arricchimento cliente, classificazione per segmentazione, pulizia e normalizzazione.
Fonte: Supercharging Databricks with AI Columns — https://www.fivetran.com/blog/supercharging-databricks-with-ai-columns
Hai qualcosa da aggiungere? Unisciti alla discussione.