Se oggi quasi ogni applicazione aziendale basata su LLM usa una qualche forma di "recupero documenti", lo si deve a un’idea formalizzata nel paper Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. È diventata il pattern di riferimento per dare ai modelli accesso a conoscenza che non hanno memorizzato.
Il problema che risolve
Un modello linguistico sa solo ciò che ha visto durante l’addestramento. Non conosce i tuoi documenti interni, non ha le ultime notizie, e quando gli manca un’informazione tende ad inventarla. Riaddestrarlo ogni volta che la conoscenza cambia è impraticabile.
L’idea della RAG
La retrieval-augmented generation separa due cose: la conoscenza e la capacità di generare testo. Quando arriva una domanda, il sistema prima recupera dai documenti rilevanti i passaggi più pertinenti, poi li passa al modello come contesto, infine il modello genera la risposta basandosi su quel materiale.
In pratica: invece di chiedere al modello "cosa sai?", gli si chiede "data questa documentazione, rispondi". La conoscenza vive in una base esterna aggiornabile, non nei pesi del modello.
Perché è il pattern più usato in azienda
Tre vantaggi spiegano il successo della RAG. La conoscenza è aggiornabile senza riaddestrare nulla: basta cambiare i documenti. Le risposte sono verificabili, perché si può mostrare da quali fonti provengono. E il rischio di allucinazioni cala, perché il modello lavora su materiale fornito invece di attingere solo alla memoria.
I limiti da conoscere
La RAG non è magia. La qualità della risposta dipende dalla qualità del recupero: se il sistema porta i documenti sbagliati, il modello risponde bene a partire da basi sbagliate. Per questo il cuore di un buon sistema RAG non è il modello, ma l’indicizzazione, la ricerca e la cura dei dati sottostanti — un altro promemoria del fatto che, con gli LLM, il valore sta quasi sempre nei dati.
Fonte: Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, arXiv:2005.11401
Hai qualcosa da aggiungere? Unisciti alla discussione.