Il tema dell’episodio del podcast Kettle di The Register è la sorpresa — nemmeno troppo — dei dirigenti davanti al costo reale dell’AI enterprise. Con il passaggio dei fornitori alla fatturazione a consumo, molte aziende scoprono che gli strumenti da cui sono ormai dipendenti costano parecchio più del previsto.
I numeri citati vengono da un report di KPMG, basato su una survey di oltre 2.000 dirigenti senior in 20 Paesi: il 29% fatica a comprendere gli operating cost man mano che i deployment di AI scalano, e quasi la metà valuta di ridimensionare i progetti quando i costi superano il valore atteso. Il “re-phase” non significa abbandonare, ma rallentare e cercare un mix di modelli — anche a fidelità più bassa e più economici — invece di puntare sempre su quelli più costosi.
Da flat-fee al token
Anthropic, OpenAI e GitHub sono passati da un modello ad abbonamento all-you-can-eat alla fatturazione basata sui token. Un report di Gartner (ricercatore Nitish Tyagi) segnala la scarsa trasparenza sui costi dei coding agent e l’assenza di strumenti di cost optimization tipici del cloud: il costo di un coding agent per sviluppatore supererebbe lo stipendio medio globale di uno sviluppatore nel 2028, e in aree a salari più bassi come l’India lo supererebbe già oggi, dato che il prezzo degli agent è uniforme nel mondo. Un dato controintuitivo emerso: non c’è relazione diretta tra aumento del consumo di token e aumento della produttività.
Sul quadro macro, una banca d’affari stima 1,5 trilioni di dollari di capex per datacenter AI nei cinque anni fino al 2030. Spencer Kimball, CEO di Cockroach Labs, racconta di non fare tokenmaxxing: usa molti modelli, inclusi open source ed economici, perché saturare un modello senza il giusto context restituisce solo output scadente.
Tagliare il grasso: il “tokenminning”
Sul fronte opposto c’è un progetto open source nato come esperimento personale di un ingegnere di Netflix (nell’episodio citato come Project Headroom). Partendo da una bolletta di 287 dollari su Claude Sonnet, ha scoperto che gran parte del token consumption veniva dall’input, e per lo più da materiale ridondante: schema di database, template JSON, log verbosi. I suoi “squasher” tagliano queste parti in modo reversibile — circa il 90% dei server log e il 70% del JSON risultano eliminabili. Secondo i dati di telemetria opt-in, il tool avrebbe fatto risparmiare circa 200 miliardi di token, pari a circa 700.000 dollari.
La stessa logica muove i vendor: Pinecone, ad esempio, punta a un semantic layer tra agent e dati per ridurre le chiamate all’LLM. Il sottotesto è finanziario: si è citato il caso Oracle, con una pipeline di datacenter da 450 miliardi di dollari di cui 300 miliardi legati a OpenAI.
In sintesi
- La fatturazione a token sta trasformando i costi AI in una voce difficile da prevedere, spingendo verso mix di modelli e ottimizzazione.
- Report di KPMG e Gartner convergono: più token non significa più produttività, e la trasparenza sui costi è ancora scarsa.
- Strumenti open source e semantic layer nascono per tagliare l’input ridondante e ridurre le chiamate agli LLM.
Fonte: Sticker shock has execs rethinking this whole AI thing — https://www.theregister.com/ai-and-ml/2026/07/13/sticker-shock-has-execs-rethinking-this-whole-ai-thing-1/5270073
Hai qualcosa da aggiungere? Unisciti alla discussione.