Quasi ogni configurazione di un agente contiene una riga tipo ESCALATION_THRESHOLD = 0.90: sopra quel valore l’agente agisce da solo, sotto passa la mano a una persona. È comodo e regolabile, ma secondo Hoda Rezvanjoo è la domanda sbagliata. La soglia di escalation non è mai stata davvero una percentuale: è un prezzo.
Il punto non è se l’agente sappia emettere un rimborso o scrivere una query, ma quanto costa un suo errore rispetto a quanto costa coinvolgere un umano. Se agisce, rischi il costo di uno sbaglio; se fai escalation, paghi il tempo di una persona a prescindere. Messa in numeri, conviene agire da soli quando (1 - p) * costo_errore < costo_escalation, dove p è la probabilità che l’agente abbia ragione. Riordinando, si fa escalation quando p < 1 - (costo_escalation / costo_errore). La soglia reale, quindi, dipende solo dal rapporto tra due costi, non dal modello. È la regola di reiezione di Chow del 1970, base della ricerca odierna sul learning-to-defer.
Due ticket, stessa confidenza
L’esempio usa numeri inventati ma coerenti. Un rimborso di routine: errore stimato in 15 sterline, escalation in 4. La soglia viene 1 meno 4/15, circa 0,73: a una confidenza del 90% l’agente dovrebbe agire, perché spendere 4 sterline per evitarne 1,50 attese non ha senso. Un possibile furto d’account: errore stimato in 2.000 sterline, escalation ancora 4. La soglia sale a 0,998, cioè quasi sempre si fa escalation. Stesso agente, stesso 90%, decisioni opposte: la regola fissa nel secondo caso brucia circa 196 sterline a ticket per risparmiare tre minuti.
Il vincolo che tutti dimenticano
Tutta l’aritmetica regge su un’assunzione: quando l’agente dice 90%, ha ragione il 90% delle volte. È la calibrazione, ed è diversa dalla confidenza dichiarata. Se uno 0,95 dichiarato vale in realtà 0,70, il costo atteso dell’errore è sei volte quello calcolato. L’autrice suggerisce di loggare ogni decisione con la confidenza dichiarata, confrontarla con l’accuratezza reale per fascia e classe, e correggere con isotonic regression o Platt scaling. Nota che gli agenti sono peggio calibrati proprio sulla classe rara ad alto rischio, quella che porta la soglia estrema.
Il risultato pratico è che un agente avrà più soglie, non una: più autonomia dove gli errori costano poco, molta meno dove costano molto. E le soglie si muovono da sole quando cambiano i costi, senza bisogno di una riunione.
In sintesi
- La soglia di escalation va derivata dal rapporto costo_errore/costo_escalation, non decretata come numero fisso.
- Senza calibrazione verificata, ogni soglia è fittizia: la confidenza dichiarata va mappata sull’accuratezza reale.
- Il lavoro vero è stimare i tre input (costo errore, costo escalation, probabilità corretta), non litigare sul valore magico.
Hai qualcosa da aggiungere? Unisciti alla discussione.