Chi usa un modello linguistico in produzione prima o poi ci sbatte contro: una risposta sicura di sé, ben scritta e completamente falsa. Le chiamiamo "allucinazioni", e la ricerca le studia da anni. Una delle sintesi più citate è il Survey of Hallucination in Natural Language Generation, che mette ordine in un fenomeno spesso frainteso.
Cos’è davvero un’allucinazione
In letteratura, un’allucinazione è un output fluente e plausibile ma non fedele alla fonte o ai fatti. Il survey distingue due famiglie: le allucinazioni intrinseche, che contraddicono l’input fornito, e quelle estrinseche, che aggiungono informazioni non verificabili a partire dall’input. La distinzione è utile perché le due richiedono difese diverse.
Il punto chiave è che non si tratta di un guasto occasionale. Un modello linguistico è addestrato a produrre testo probabile, non testo vero: quando non "sa", tende comunque a generare la continuazione più verosimile. L’allucinazione è una conseguenza del meccanismo, non un’eccezione.
Da dove nascono
La ricerca individua cause su due fronti. Lato dati: corpora di addestramento rumorosi, incompleti o contraddittori. Lato modello e decoding: la tendenza a privilegiare fluidità e coerenza superficiale rispetto all’aderenza ai fatti, amplificata da certe strategie di generazione.
Come si mitigano in pratica
Non esiste una soluzione unica, ma alcune direzioni funzionano. Ancorare le risposte a fonti esterne verificabili — l’idea alla base della retrieval-augmented generation — riduce le allucinazioni estrinseche. Chiedere al modello di citare le fonti e poi controllarle sposta il problema da "fidarsi" a "verificare". Misurare la fedeltà con metriche dedicate, infine, permette di sapere quanto ci si può fidare di un sistema prima di metterlo in produzione.
La lezione pratica
Trattare l’output di un LLM come una bozza da verificare, non come una verità, non è pessimismo: è igiene di base. Capire perché allucina aiuta a progettare i controlli giusti nel punto giusto — soprattutto quando il modello alimenta decisioni che contano.
Fonte: Ji et al., Survey of Hallucination in Natural Language Generation, arXiv:2202.03629
Hai qualcosa da aggiungere? Unisciti alla discussione.