Leggere le leaderboard degli LLM è più complicato di quanto sembri: benchmark diversi misurano cose diverse, con metodologie di scoring che non sono confrontabili tra loro. Una panoramica di Fivetran aiuta a orientarsi, partendo da come vengono condotti i test.
Prima di tutto, come si prompta
Molti confronti indicano lo stile con cui è stato eseguito il test. Nel few-shot il modello riceve alcuni esempi insieme al prompt: non è addestramento, ma contesto per orientare la risposta (1-shot, 2-shot e così via). Il chain-of-thought, detto anche zero-shot, non fornisce esempi. La conseguenza pratica è duplice: bisogna confrontare risultati ottenuti nelle stesse condizioni — un 0-shot può essere molto diverso da un 5-shot — e scegliere il modello in base a come lo si userà davvero.
I benchmark più citati
Sul fronte generale, l’MMLU sottopone i modelli a domande su 57 materie, oltre 16.000 quesiti; gli esperti umani si attestano intorno all’89,8% e, poiché circa il 9% delle domande è mal formulato o ambiguo, il 90% è considerato di fatto il tetto raggiungibile. In cima alla classifica MMLU, secondo l’articolo, ci sono Claude 3.5 Sonnet e GPT-4o, entrambi a 88,7.
Per il ragionamento ci sono BIG-Bench Hard (23 task particolarmente difficili) e DROP (oltre 9.500 sfide di ragionamento numerico e multi-step), mentre HellaSwag testa il senso comune con 10.000 completamenti di frase. Sul versante matematico, GSM8k propone problemi da scuola elementare in 2-8 passaggi, e MATH raccoglie 12.500 problemi tra geometria, algebra, probabilità e calcolo, dove studenti molto preparati possono fermarsi al 40%. Per il codice, HumanEval di OpenAI usa 164 problemi che simulano un colloquio da junior engineer, con Claude 3.5 Sonnet (92,0) e GPT-4o (90,2) in testa.
Come usarli
Il punto per chi lavora con gli LLM non è inseguire il numero più alto in assoluto, ma capire quale benchmark è vicino al proprio caso d’uso — ragionamento, matematica, codice, senso comune — e in quali condizioni di prompting è stato misurato. Va tenuto presente che i punteggi citati fotografano un momento preciso e invecchiano in fretta: valgono come metodo di lettura più che come classifica definitiva.
In sintesi
- Confronta sempre risultati ottenuti nello stesso setup di prompting: 0-shot e 5-shot non sono paragonabili.
- Ogni benchmark misura una capacità diversa — MMLU per conoscenza generale, GSM8k e MATH per la matematica, HumanEval per il codice, HellaSwag per il senso comune.
- Scegli il benchmark più vicino al tuo caso d’uso; i punteggi assoluti invecchiano rapidamente.
Fonte: Understanding LLM Benchmarks — https://www.fivetran.com/blog/understanding-llm-benchmarks
Hai qualcosa da aggiungere? Unisciti alla discussione.