Thomas Reid racconta su Towards Data Science come ha costruito un sistema di intelligent document processing (IDP) interamente su AWS, in una versione semplificata di un progetto reale. L’obiettivo originale: gestire richieste in stile Freedom of Information, verificando in un database di claim assicurativi i dati di cittadini che allegavano documenti di identità via email.
Nel caso reale, il processo si è rivelato circa il 90% più efficiente rispetto al sistema manuale che sostituiva. La pipeline dell’esempio riceve email con un’immagine allegata (passaporto, patente o estratto conto), classifica il documento ed estrae le PII rilevanti: tipo documento, nome, cognome, data di nascita e indirizzo.
L’architettura
Il flusso usa una manciata di servizi AWS: EventBridge per lo scheduling, Step Functions per l’orchestrazione, Lambda per il compute, S3 per lo storage, Secrets Manager per le credenziali OAuth di Gmail, Textract per l’OCR e Bedrock per l’inferenza. Tre Lambda si occupano rispettivamente di leggere le email e salvare le immagini in S3, passare le immagini a Textract e conservare il testo estratto, e infine inviare quel testo a Bedrock.
Nell’ultimo step il modello usato è Claude Sonnet 4.6, con un prompt che classifica il tipo di documento e restituisce le PII in formato JSON. L’autore nota che nel progetto reale serviva un prompt molto più corposo per gestire input complessi come PDF e testo scritto a mano; nell’esempio semplificato basta un prompt breve.
Perché Step Functions
Reid sottolinea che, pur potendo concatenare le tre Lambda in codice, Step Functions aggiunge retry automatici dopo i fallimenti e una gestione ordinata di errori e timeout. EventBridge fa poi partire il flusso ogni giorno a orario fisso — nel progetto originale alle 23:55, per raccogliere tutte le email della giornata.
L’autore è esplicito sui limiti: per passare a produzione servirebbe gestire più tipi di allegato (Word, PDF, immagini, manoscritti), più allegati per email, un front-end Human-In-The-Loop per il cross-check delle PII e un logging completo. Ammette anche di aver “over-ingegnerizzato” l’esempio: per immagini così semplici si sarebbe potuto saltare Textract e far classificare tutto direttamente a Bedrock.
In sintesi
- Pipeline IDP su AWS: EventBridge, Step Functions, Lambda, S3, Textract e Bedrock.
- Classificazione documento ed estrazione PII affidate a Claude Sonnet 4.6 via prompt.
- Nel progetto originale il sistema era circa il 90% più efficiente del processo manuale.
Fonte: Build and Run an Intelligent Document Processing (IDP) System in the Cloud — https://towardsdatascience.com/build-and-run-an-intelligent-document-processing-idp-system-in-the-cloud/
Hai qualcosa da aggiungere? Unisciti alla discussione.