Cercando “RAG vs fine-tuning” online si trova molto contenuto che tratta la questione come una gara con un vincitore: per alcuni vince RAG perché costa meno da mettere in piedi, per altri vince il fine-tuning perché dà risultati migliori. Maria Mouschoutzi, su Towards Data Science, spiega perché questa cornice è fuorviante: RAG e fine-tuning non competono, risolvono problemi diversi a livelli diversi di un’applicazione. Capire cosa fa davvero ciascuno è il prerequisito per decidere bene.
Cosa fa RAG
Il RAG (Retrieval-Augmented Generation) recupera informazione esterna rilevante al momento dell’inference e la inietta nel prompt. Il modello non viene modificato in alcun modo: cambia ciò che vede in input. I documenti della knowledge base vengono trasformati in embedding e salvati in un vector database; la query dell’utente viene a sua volta trasformata in embedding, si recuperano i chunk più simili semanticamente e li si passa all’LLM insieme alla domanda. RAG è forte quando serve rispondere su documenti mai visti dal modello, restare aggiornati senza retraining, fornire risposte tracciabili e citabili e gestire in sicurezza informazione privata. Non cambierà però comportamento, tono o stile di ragionamento del modello.
Cosa fa il fine-tuning
Il fine-tuning prende un modello pre-addestrato e continua l’addestramento su un dataset task-specific, aggiornandone i pesi. Se RAG cambia gli input, il fine-tuning cambia il modello stesso: partendo da coppie input-output di esempio, i pesi si adattano a produrre output simili a quelli. È bravo a insegnare un formato di output, un tono o uno stile consistenti, a migliorare una task ristretta (per esempio generare sempre JSON valido) e a ridurre la necessità di system prompt lunghi e ripetitivi.
Il punto controintuitivo, ben sottolineato nell’articolo: il fine-tuning non serve a far “apprendere” al modello informazioni specifiche in modo affidabile. Fare fine-tuning sui documenti aziendali non produce un modello che li ricorda accuratamente; la memorizzazione di fatti è fragile e l’esito più probabile è un modello che allucina sui temi degli esempi. Se serve knowledge retrieval, lo strumento giusto è RAG, non il fine-tuning.
Quando usarli, e quando entrambi
La chiave è che i due operano su layer indipendenti: RAG sul layer della conoscenza (cosa il modello può vedere), il fine-tuning sul layer del comportamento (come processa l’informazione e genera le risposte). Lo scenario in cui si usano entrambi è in realtà il più comune nei sistemi in produzione. L’esempio: un assistente di customer support che deve rispondere sempre con un certo tono e formato (fine-tuning) e avere conoscenza accurata e aggiornata della documentazione di prodotto (RAG). In pratica si chiama il modello fine-tuned come qualsiasi altro modello e vi si inietta il contesto recuperato nel system prompt.
In sintesi
- Non è una domanda “RAG contro fine-tuning”, ma “quale problema stai cercando di risolvere”.
- Il modello non conosce qualcosa? È un problema di conoscenza, lo risolve RAG. Il modello si comporta in modo incoerente o produce output nel formato sbagliato? È un problema di comportamento, lo risolve il fine-tuning.
- La regola pratica: fine-tune per il comportamento, RAG per la conoscenza; se il modello fallisce per entrambe le ragioni, servono entrambi.
Fonte: RAG vs Fine-Tuning Explained: What They Actually Do and When to Use Each — https://towardsdatascience.com/rag-vs-fine-tuning-explained-what-they-actually-do-and-when-to-use-each/
Hai qualcosa da aggiungere? Unisciti alla discussione.