Quanto costa davvero far girare un LLM in locale? Euro per milione di token, misurati

“Gira sulla mia GPU, quindi è gratis” è un’affermazione che regge finché nessuno la misura. Arsen Apostolov l’ha misurata: su una singola RTX 3090 da 24 GB ha eseguito un benchmark controllato su otto modelli locali, prezzando ogni run in base all’energia GPU realmente consumata. La potenza è campionata da nvidia-smi ogni 10 secondi e integrata sull’intera finestra di ciascun run, alla tariffa elettrica reale dell’autore (0,30 BGN di giorno / 0,18 BGN di notte, con 1 BGN ≈ 0,5113 euro). Il risultato è un solo numero per modello: euro per milione di token in output.

Il metodo

Tre modelli gemma (gemma3:1b, gemma4:26b da 25,8B, gemma3:27b), tutti in quantizzazione Q4_K_M via ollama, sono stati eseguiti con lo stesso carico fisso: un loop di generazioni da 256 token su cinque prompt, sostenuto per circa 240 secondi in modo da raggiungere uno stato stabile. Il tracciamento passa da HomeLab Monitor, dashboard open source dell’autore che integra la potenza in kWh e la moltiplica per la tariffa. La formula: euro per 1M token = (costo_run in BGN × 0,5113) ÷ (token_output / 1.000.000). Gli altri cinque modelli provengono da un benchmark separato su task agentici multi-step, con la stessa formula ma throughput effettivo (token diviso tempo totale, deliberazione inclusa).

I numeri e la sorpresa

Cinque modelli su otto sono risultati più economici del riferimento cloud (un modello Flash-class come Gemini 2.5 Flash o GPT-4o-mini costa circa 0,60 dollari per 1M token in output, ~0,55 euro; il tier più economico, Gemini 3.1 Flash-Lite, sta intorno a 0,40 dollari). Ma i tre più costosi non sono quelli che si sceglierebbero guardando i parametri. GLM-4.5-Air, il più grande con 106B, costa 1,040 euro/1M. Eppure il più caro in assoluto è DeepSeek-R1-Distill (32,8B) a 1,526 euro/1M, pur assorbendo meno potenza di gemma3:27b (155 W contro 283 W).

Il motivo è la velocità effettiva. DeepSeek genera a 6,7 token/secondo quando produce attivamente, ma un modello reasoning-distilled passa gran parte del tempo a “deliberare” tra una generazione e l’altra: il suo delivery rate effettivo scende a 3,7 token/secondo, il più basso del test (contro 7,1 di Seed-OSS e 5,0 di GLM). Il contatore paga il tempo di wall-clock sulla scheda, non i parametri. gemma3:1b, veloce (136 tok/s) e leggero (154 W), è il più economico; Devstral assorbe più potenza di tutti (320 W) ma resta a metà classifica perché abbastanza veloce.

• Il costo per token segue la velocità di consegna effettiva, non il numero di parametri: watt diviso throughput.
• Le cifre coprono solo l’energia GPU marginale, non l’acquisto della scheda, l’idle, il raffreddamento o CPU/DRAM: sono un pavimento, non il TCO.
• La regola pratica: scegliere il modello più piccolo e veloce che supera la soglia di qualità, e misurare sul proprio hardware perché tariffa, quantizzazione e scheda spostano ogni numero.

Fonte: How Much Does It Actually Cost to Run a Local LLM? — https://towardsdatascience.com/how-much-does-it-actually-cost-to-run-a-local-llm-e-per-million-tokens-measured/