Motorway, marketplace britannico di auto usate, gestisce un’asta giornaliera con fino a 8.000 dealer che fanno offerte su fino a 2.500 veicoli. Insieme al team PACE di AWS ha costruito un agente di ricerca conversazionale — “trovami SUV diesel sotto i 25k vicino alla concessionaria” — e ha condiviso su AWS Machine Learning Blog la pipeline di valutazione che lo tiene affidabile. Il risultato dichiarato: risposte sbagliate ridotte da 1 query su 8 a 1 su 50, e tempo di rilevamento dei problemi passato da qualche ora a pochi minuti.
Perché valutare un agente è diverso dal valutare un LLM. Le metriche classiche misurano coerenza e accuratezza del testo; con un agente conta se ha chiamato il tool giusto, con i parametri corretti, mantenendo il contesto su più turni. Un agente può dare una risposta fluente e aver comunque sbagliato tutto.
Il framework proposto lavora su tre layer, ciascuno con una soglia: Tool Usage (oltre il 95%, con grader deterministici sulla selezione dei tool e sull’ordine delle chiamate), Reasoning (oltre l’85%, con LLM-as-judge sulla qualità del ragionamento) e Output Quality (oltre il 90%, sull’utilità della risposta). Tutti e tre devono passare prima del deploy.
Un punto tecnico interessante è la gestione del non-determinismo. Poiché l’output di un LLM varia tra run, un test a tentativo singolo inganna. Gli autori usano due metriche dalla ricerca sul code generation: pass@k (riuscire almeno una volta su k tentativi) e pass^k (riuscire in k tentativi consecutivi). Per un agente rivolto agli utenti conta il secondo: un agente con il 75% di successo per tentativo ha solo il 42% di probabilità di superare tre run di fila (0,75³).
La pipeline di deploy ha cinque stadi con quality gate: build-time evaluation, staging, shadow mode (traffico reale in parallelo senza impatto sugli utenti, almeno 4 ore), A/B testing sul 5% del traffico e rollout in produzione con monitoraggio continuo. In produzione entra AgentCore Evaluations, che campiona il traffico all’1–5% e applica evaluator in background. I numeri finali di Motorway: tool selection accuracy dall’87% al 98%, task completion dall’82% al 96%, context retention multi-turn dal 71% al 94%, incidenti in produzione da 12 a 2 al mese.
Il messaggio per chi porta agenti in produzione è chiaro: una risposta fluente non significa che l’agente abbia fatto la cosa giusta; vanno verificati tool, parametri, ragionamento e consistenza su run ripetuti.
In sintesi
- Valutazione a tre layer — tool usage (>95%), reasoning (>85%), output quality (>90%) — come gate prima del deploy.
- pass^k invece del singolo tentativo: 75% per-trial significa solo 42% su tre run consecutivi.
- Shadow mode e monitoraggio campionato all’1–5% catturano ciò che i test sintetici mancano.
Fonte: Evaluating AI Agents: A production blueprint with Strands and AgentCore — https://aws.amazon.com/blogs/machine-learning/evaluating-ai-agents-a-production-blueprint-with-strands-and-agentcore/
Hai qualcosa da aggiungere? Unisciti alla discussione.