Un paper recente formalizza il calo di attenzione oltre la finestra di addestramento. Riassumiamo i risultati senza la matematica pesante.
Il problema
La ricerca parte da un’osservazione empirica nota a chiunque lavori con modelli di linguaggio: le prestazioni calano mano a mano che il contesto si allunga. Ma fino ad ora mancava una formalizzazione rigorosa del fenomeno.
L’approccio
Gli autori introducono una metrica — che chiamano «attention decay rate» — per quantificare quanto ciascun layer del transformer perde capacità di collegare token distanti. La misurano su sei famiglie di modelli, da 1B a 70B parametri.
- Il decay è più pronunciato nei layer intermedi (12-18 su modelli a 32 layer).
- Modelli più grandi non sono immuni: la curva è più dolce ma il plateau arriva comunque.
- Il fine-tuning su contesti lunghi mitiga il problema, ma non lo elimina.
I transformer non «dimenticano» nel senso classico. Piuttosto, l’informazione distante viene progressivamente dominata dal rumore dei token recenti.
— dagli autori del paper
Cosa significa per i practitioner
Per chi costruisce sistemi RAG o summarization su documenti lunghi, la lezione è chiara: la posizione dell’informazione nel prompt conta almeno quanto la sua rilevanza. Strategie come il chunking intelligente e il re-ranking per posizione non sono workaround — sono necessità architetturali.
Il paper è in open access su arXiv. Consigliamo la lettura delle sezioni 3 e 5, che contengono i grafici più informativi.
