Pratik Rupareliya racconta un caso concreto: un’azienda SaaS mid-market aveva costruito un agente per gestire ticket di billing e account, strumentandolo contro un eval harness a dodici metriche pubblicato dallo stesso autore due mesi prima. Task completion, faithfulness, retrieval precision, tool-call accuracy, latency, hallucination rate: ogni metrica dentro la banda target. Eppure il CFO ha spento l’agente. Il motivo: il costo per ticket risolto, contando anche i tentativi falliti, era superiore a quanto l’azienda pagava le persone per lo stesso lavoro.
La tesi dell’articolo e che l’harness misura se l’agente e corretto, ma non se si ripaga. E nel 2026 e la seconda domanda a decidere quali agenti restano in produzione. Il costo per token e sceso, ma le architetture agentiche sono diventate piu affamate: una singola risoluzione non e una chiamata al modello, ma un piano, piu tool call, passaggi di reasoning, a volte un self-critique e dei retry.
Cost per successful outcome
La metrica mancante e il cost per successful outcome: il costo fully-loaded per produrre un esito di business riuscito, diviso per il numero di esiti riusciti. Con i numeri del caso: ogni tentativo costava circa 3,40 dollari, l’agente risolveva il 71% dei ticket ed escalava il restante 29% a un umano. Su mille ticket, l’agente spende 3.400 dollari tentandoli tutti e ne risolve 710. Il costo per risoluzione riuscita non e 3,40 ma 3.400 diviso 710, cioe 4,79 dollari, contro i 4,20 di un umano. L’agente era piu accurato e piu costoso.
Il calcolo e piu difficile di quanto sembri per tre motivi: attribuire il costo dei tentativi falliti alle risoluzioni riuscite; il doppio pagamento sulle escalation, perche si paga l’agente per provare e poi l’umano per finire; e la definizione del valore di un esito, non sempre un numero pulito.
Le leve quando il numero e sott’acqua
Un cost per successful outcome negativo non e una condanna. Le leve sono tre: ridurre il costo per tentativo senza toccare il resolution rate (l’azienda e passata da 3,40 a 2,30 dollari sfoltendo reasoning e retry); alzare il resolution rate; restringere lo scope ai task dove l’agente e gia sotto la linea di valore, instradando il resto agli umani sin dall’inizio. Cosi il cost per successful outcome e sceso a 3,10 dollari e l’agente e diventato circa il 25% piu economico degli umani, restando in produzione.
La stessa metrica funziona nell’altra direzione. Un agente legale che rivede contratti costava circa 18 dollari a run ed era il candidato numero uno ai tagli su una dashboard cost-per-call. Ma individuava una clausola di rischio reale in circa un contratto su nove: 162 dollari per clausola intercettata, contro un’esposizione da decine di migliaia di dollari per una clausola mancata. La vista cost-per-call diceva di tagliare, il cost per successful outcome diceva di espandere.
Sul piano operativo, l’autore mostra come strumentarla senza rebuild: il costo per tentativo (gia loggato a livello di chiamata), la label dell’esito (risolto, escalato, fallito) e un trace ID stabile che lega tutte le chiamate di un tentativo multi-step a un singolo attempt. Poi un solo numero per workflow: quanto vale un esito riuscito. Il calcolo diventa una query: spesa totale diviso esiti riusciti, confrontata con la linea di valore.
- Un agente puo superare tutte le metriche di qualita ed essere comunque in perdita per ogni unita di lavoro.
- Il cost per successful outcome deve stare sotto il valore dell’esito, e peggiora con la scala anziche migliorare.
- Si strumenta senza rebuild: costo per tentativo, label dell’esito e un trace ID che lega le chiamate a un singolo tentativo.
Fonte: Your AI Agent Passed Every Eval. Finance Still Killed It. — https://towardsdatascience.com/your-ai-agent-passed-every-eval-finance-still-killed-it/
Hai qualcosa da aggiungere? Unisciti alla discussione.