Come si misura il valore reale dell’AI? In un intervento firmato dalla CFO Sarah Friar, OpenAI propone una metrica sintetica — «intelligenza utile per dollaro» — che sposta l’attenzione dai tassi di adozione al lavoro effettivamente svolto. Un’idea sensata, che però conviene leggere sapendo chi la propone e perché.
Quattro misure al posto dell’hype
La proposta articola il valore in quattro dimensioni. Il lavoro utile prodotto — ticket risolti, codice rilasciato, contratti revisionati — al posto dei token elaborati. Il costo per task riuscito, che somma compute, tempo umano, revisione e tentativi ripetuti e lo divide per i completamenti effettivi. La affidabilità, misurata distinguendo tra risultati pronti all’uso, quelli da correggere e quelli da escalare. E i ritorni su scala, ovvero se il lavoro completato cresce più in fretta dei costi totali nel tempo. È un framework onesto e, va detto, più maturo del marketing basato sul numero di utenti.
Una metrica che favorisce chi la scrive
Qui serve spirito critico. L’argomento centrale — «un modello di frontiera può offrire il valore migliore anche per un compito di routine» se riesce al primo tentativo — porta comodamente alla conclusione che i modelli più costosi (e più recenti) di OpenAI siano la scelta economicamente razionale. A sostegno, l’azienda cita numeri sui propri prodotti, come un GPT-5.6 «Sol» dato al 72,7% su un benchmark di coding usando «il 54% di token in meno» rispetto ai concorrenti. Sono dati dichiarati dal vendor, misurati su benchmark scelti dal vendor: interessanti come illustrazione della tesi, non come prova indipendente.
Cosa portarsi a casa
Al netto dell’interesse commerciale, l’invito a ragionare per «costo per task riuscito» è genuinamente utile per chi valuta progetti AI in azienda. Il costo per token è fuorviante: ciò che conta è quante volte il sistema arriva a un risultato usabile senza rilavorazione. La cornice di OpenAI è un buon punto di partenza, a patto di misurare con benchmark propri, sui propri casi d’uso, e senza dare per scontato che «più frontiera» significhi sempre «più conveniente».
In sintesi
- OpenAI propone di misurare l’AI per «intelligenza utile per dollaro»: lavoro prodotto, costo per task riuscito, affidabilità e ritorni su scala.
- Il framework è valido, ma orienta la conclusione verso i modelli di frontiera dell’azienda stessa.
- I benchmark citati sono dichiarati dal vendor: adottate la metrica, ma testatela sui vostri dati e casi d’uso.
Fonte: A scorecard for the AI age
Hai qualcosa da aggiungere? Unisciti alla discussione.