Nella seconda parte di un caso studio pubblicato sul blog AWS, il team di engineering di Flo Health racconta come ha portato in produzione un sistema di revisione e generazione di contenuti medici costruito su Amazon Bedrock, partendo da un proof of concept sviluppato con l’AWS Generative AI Innovation Center. Il risultato: tempo di revisione ridotto del 60% e throughput di contenuti triplicato, senza ampliare il team medico.
Il collo di bottiglia era la revisione medica. Gli esperti di Flo dedicano in media sette giorni lavorativi ad articolo per verificare fatti, controllare le fonti e applicare una checklist di accuratezza medica in 10 punti. Assumere più revisori non era sostenibile: professionisti qualificati con competenze editoriali sono scarsi e costosi. L’obiettivo diventava quindi amplificare il lavoro degli esperti esistenti, non sostituirlo.
AI Judges e validazione a tre livelli
Il sistema segue un approccio di validazione a tre livelli: controllo rispetto alle linee guida mediche interne, verifica contro fonti mediche esterne affidabili (strumenti clinici evidence-based, riviste peer-reviewed, enti regolatori) e infine revisione umana su un’interfaccia che evidenzia le regole applicate e i link alle fonti.
Il cuore è un insieme di AI Judges, ciascuno con il proprio prompt e i propri esempi, dedicato a una specifica dimensione di revisione: accuratezza medica, compliance legale, brand style e altro. Ogni Judge viene testato con modelli diversi e scelto in base a soglia di qualità, livello di rischio, latenza e costo operativo: per i controlli ad alto rischio contano accuratezza e affidabilità, per quelli più semplici basta un modello più leggero. Questo consente di migliorare ogni Judge in modo indipendente senza introdurre regressioni.
Generazione con RAG e selezione dei modelli
Per la generazione dei contenuti, Flo riutilizza Bedrock con un approccio chain-of-thought multi-stadio e una strategia di model selection differenziata: Claude Haiku per classificazione leggera e analisi di routine, i modelli Claude Sonnet più potenti per la generazione ad alta fedeltà e il ragionamento complesso. La Retrieval Augmented Generation recupera dalla knowledge base solo le informazioni rilevanti (linee guida, regole, conoscenza medica, template) e le inietta nel contesto del modello, tenendo traccia delle fonti usate per ogni contenuto generato.
Tra le lezioni pratiche: YAML si è rivelato più robusto di JSON come formato di output; arricchire le regole con esempi concreti (few-shot) riduce gli errori più di elenchi di divieti; l’AI resta un assistente, non un sostituto. Catturare ogni correzione degli esperti come regola ed esempio riutilizzabile ha ridotto gli errori ripetuti di oltre il 70%, le correzioni di compliance di routine dell’80% e il tempo medio di revisione del 60%.
- La chiave non è stata l’automazione completa, ma combinare AI Judges specializzati, feedback loop strutturati e selezione dei modelli a più livelli.
- La revisione umana resta in controllo: l’AI fa pre-screening, assistenza in tempo reale e annotazione, lasciando agli esperti le sfumature che richiedono giudizio umano.
- Per domini ad alta fiducia conviene partire da standard documentati, progettare per l’apprendimento continuo e misurare sia efficienza sia qualità.
Fonte: Scaling medical content review at Flo Health with Amazon Bedrock – Part 2 — https://aws.amazon.com/blogs/machine-learning/scaling-medical-content-review-at-flo-health-with-amazon-bedrock-part-2/
Hai qualcosa da aggiungere? Unisciti alla discussione.