Per anni la corsa ai modelli linguistici è stata una corsa ai parametri: più grande, meglio è. Il paper di DeepMind Training Compute-Optimal Large Language Models — noto come Chinchilla — ha messo in discussione questa idea con un risultato tanto semplice quanto influente.
La scoperta
Dato un certo budget di calcolo per l’addestramento, esiste un equilibrio ottimale tra il numero di parametri del modello e la quantità di dati su cui viene addestrato. La ricerca ha mostrato che molti dei modelli più grandi dell’epoca erano sottoaddestrati: avevano tanti parametri ma erano stati nutriti con troppi pochi token rispetto alla loro dimensione.
In altre parole, gran parte della capacità di quei modelli era sprecata, perché non avevano visto abbastanza dati per sfruttarla.
Il risultato pratico
Chinchilla ha proposto una regola di bilanciamento: a parità di calcolo, conviene un modello più piccolo addestrato su più dati rispetto a un modello enorme addestrato su pochi. Il modello "Chinchilla", più piccolo di alcuni concorrenti ma addestrato su molti più token, li superava su numerosi benchmark.
Perché conta ancora
L’impatto è stato profondo. Ha spostato l’attenzione dalla sola dimensione del modello alla qualità e quantità dei dati di addestramento, e ha reso evidente che modelli più piccoli, se ben addestrati, possono essere più efficienti da servire — un punto cruciale per chi paga i costi di inferenza in produzione.
È anche un promemoria che attraversa tutto il settore: il valore non sta solo nella scala del modello, ma nei dati. Una verità che vale per l’addestramento dei modelli tanto quanto per le applicazioni che ci costruiamo sopra.
Fonte: Hoffmann et al., Training Compute-Optimal Large Language Models, arXiv:2203.15556
Hai qualcosa da aggiungere? Unisciti alla discussione.