Estrarre informazioni strutturate da testo libero — contratti, email, referti, ticket — è uno dei compiti più ricorrenti e più noiosi del data engineering. Di solito richiede un’architettura su misura per ogni caso. La funzione ai_extract di Databricks è ora generally available e prova a ridurre tutto a una chiamata SQL.
Cosa offre
Definisci uno schema con i campi che ti servono, chiami la funzione sul testo, e ottieni dati pronti per le tue tabelle Delta. La parte interessante è la profondità: ai_extract supporta oggetti annidati, array, validazione dei tipi e — dettaglio non banale — citazioni e confidence score. In altre parole, per ogni valore estratto sai da quale punto del testo proviene e con quanta certezza è stato dedotto.
Questo trasforma l’estrazione da black box a qualcosa di verificabile. Quando un campo arriva con confidence bassa, puoi instradarlo a una revisione umana invece di trattarlo come un dato affidabile.
Anche senza scrivere codice
Per i team meno vicini al codice, Databricks affianca alla funzione una UI no-code chiamata Information Extraction: si costruiscono e si iterano gli extraction agent direttamente dall’interfaccia. È un modo per abbassare la barriera d’ingresso senza togliere nulla a chi preferisce lavorare in SQL o Python.
Perché conta
Avere l’estrazione come funzione nativa del lakehouse significa eliminare un pezzo di infrastruttura: niente servizio separato da mantenere, niente dati che escono dalla piattaforma per essere processati e poi rientrano. Lo schema definito esplicitamente, inoltre, rende il processo ripetibile e auditabile — due qualità che spesso mancano alle pipeline di document processing improvvisate.
Resta valido il principio di sempre: un modello che estrae non è infallibile. I confidence score servono proprio a questo, a decidere dove fidarsi e dove controllare.
Fonte: Databricks Release Notes — ai_extract is now generally available
Hai qualcosa da aggiungere? Unisciti alla discussione.