Secondo un articolo di MarkTechPost, Perplexity AI ha rilasciato WANDR (Wide ANd Deep Research), un benchmark aperto e un harness di valutazione con 500 task realistici pensati per misurare i research agent su un compito finora poco coperto: raccogliere grandi insiemi di dati con evidenze verificabili, non produrre una singola risposta. Un contributo interessante, da leggere però tenendo presente che l’autore del benchmark è anche uno dei sistemi valutati.
Cosa misura davvero
Il benchmark mette alla prova due esigenze simultanee: scoprire insiemi ampi e spesso open-ended di entità qualificanti — la ricerca «in larghezza» — e insieme investigare ogni entità a fondo con prove a supporto, la ricerca «in profondità». È un’impostazione diversa da DRACO, il benchmark gemello di Perplexity dedicato invece ai report long-form. I task usano una gerarchia di qualificazione componibile, del tipo company(n) → employee(m) → url(k), e il grader rifetcha le pagine citate per verificare che gli estratti esistano davvero e sostengano ogni affermazione, con punteggi di precision e recall in varianti «soft» (credito parziale) e «hard» (sottoalbero completo). Questo re-fetch è il dettaglio metodologicamente più solido: rende difficile barare con citazioni inventate.
Scala e risultati
I numeri danno la misura dell’ambizione: 500 task richiedono circa 170.495 record con fonte, con un task mediano che chiede 50 membri e 245 record totali, distribuiti su tre livelli di difficoltà. Sui risultati, però, serve la massima cautela: sono vendor-reported, e non a caso il sistema di Perplexity («Search as Code») guida la classifica con 0,363 di soft F1 e 0,133 di hard F1, davanti ad Anthropic (0,249 e 0,072) e agli altri sistemi testati. Quando chi pubblica il benchmark risulta anche il primo classificato, il dato va preso come indicativo e non come verdetto neutrale: la scelta dei task e delle metriche può favorire, anche involontariamente, l’architettura di casa.
Il segnale che conta
Al di là della classifica, il messaggio più utile è un altro: nessun sistema si avvicina a risolvere il benchmark. I punteggi bassissimi, soprattutto in modalità hard, dicono che il progresso parziale è comune ma la copertura completa è rara. L’analisi individua quattro pattern: la scala amplifica la difficoltà, la discovery è il collo di bottiglia strutturale principale, ed estrarre evidenza completa da una pagina è più difficile che trovare la pagina stessa. È una fotografia onesta dei limiti attuali degli agenti di ricerca, indipendentemente da chi la scatta.
In sintesi
- WANDR valuta la capacità di raccogliere grandi collezioni di dati con evidenze verificate, colmando un vuoto rispetto ai benchmark a risposta singola.
- Il re-fetch delle pagine citate è un punto di forza metodologico; i punteggi sono però vendor-reported, con Perplexity prima nella propria classifica.
- Il dato più significativo è che nessun sistema risolve il benchmark: la discovery e l’estrazione di evidenza restano problemi aperti.
Fonte: Perplexity AI Releases WANDR, an Open Benchmark Evaluating Research Agents
Hai qualcosa da aggiungere? Unisciti alla discussione.