C’è un paradosso che dovrebbe far riflettere chiunque stia portando agenti in produzione, e una survey di VentureBeat (Pulse Research) su 157 aziende lo mette nero su bianco: le organizzazioni concedono agli agenti sempre più autonomia proprio mentre si fidano sempre meno delle valutazioni che dovrebbero governarla.
Il numero che colpisce: metà delle aziende (50%) ha, nell’ultimo anno, mandato in produzione un agente o una feature LLM che aveva superato le eval interne e poi ha causato un fallimento davanti al cliente; un quarto lo ha visto più di una volta. Sul versante della fiducia, solo il 5% si fida pienamente della valutazione automatica, e il limite più citato (29%) è proprio il più insidioso: le eval si allineano male con gli esiti reali. Una eval superata non è un agente funzionante.
L’autonomia cresce comunque
Qui sta il punto critico. Nonostante quella sfiducia, due terzi delle aziende (66%) già permettono il deploy in produzione con valutazione automatica e zero intervento umano per agenti a basso rischio (34%), oppure stanno costruendo la pipeline per arrivarci entro un anno (33%). Si toglie l’umano dal loop proprio mentre si ammette che i test non riflettono la realtà. E il monitoraggio non aiuta: circa tre quarti delle aziende non fanno valutazione automatica della correttezza in tempo reale sul traffico di produzione — vedono se il sistema è su e quanto costa, ma danno per buona la correttezza delle risposte.
Lo stack, del resto, è immaturo: lo strumento primario più diffuso sono le eval native dei provider (17%), a pari merito con “nessun tooling dedicato” (17%). Un segnale interessante arriva però dai budget: la seconda voce di investimento in crescita, dopo l’observability, sono gli human review workflow (26%), più delle pipeline di valutazione automatica (16%). Le aziende, in fondo, sentono il divario anche mentre lo scavalcano.
La lettura più corretta è quella degli autori stessi: campione modesto e auto-selezionato, quindi segnale direzionale. Ma la direzione è netta, e l’obiezione di merito regge: l’autonomia va concessa sulla base di valutazioni che rispecchiano la realtà, non solo che “passano”. Chi non misura la correttezza a runtime sta delegando fiducia a un test che non ha ancora meritato.
In sintesi
- 50% ha spedito in produzione agenti che avevano passato le eval e poi hanno fallito col cliente; solo il 5% si fida pienamente della valutazione automatica.
- Due terzi permettono o stanno costruendo il deploy senza umano nel loop, ma circa 3/4 non monitorano la correttezza a runtime.
- Investimenti in crescita su observability e human review: il settore percepisce il divario mentre lo scavalca.
Fonte: The agent evaluation gap: Enterprise AI organizations have a reality-alignment problem, not a coverage problem — https://venturebeat.com/ai/the-agent-evaluation-gap-enterprise-ai-organizations-have-a-reality-alignment-problem-not-a-coverage-problem-and-most-are-shipping-to-production-anyway
Hai qualcosa da aggiungere? Unisciti alla discussione.