Databricks ha pubblicato i risultati di un benchmark interno costruito per una domanda molto concreta: quale coding agent conviene davvero usare, e a quale costo, su un codebase reale da milioni di righe. Invece di affidarsi a benchmark pubblici come SWE-Bench o TerminalBench — le cui soluzioni finiscono nel tempo nei dati di training — il team ha usato le proprie pull request, filtrate per recency, presenza di test di qualità e provenienza umana.
Il primo risultato smonta una semplificazione diffusa: la Pareto frontier (miglior qualità a un dato costo) include modelli di OpenAI, di Anthropic e open source. In particolare GLM 5.2 si colloca nel tier più alto, statisticamente alla pari con Opus 4.8 sulla qualità ma a 1,28 $/task contro 1,94 $. Un segnale che gli open model sono ormai candidati credibili come daily driver per il coding quotidiano.
Il prezzo per token inganna
Il secondo punto interessa chi ragiona sui costi. Il prezzo per token è un cattivo indicatore del costo end-to-end di un task. Sonnet 5 costa circa 1,7x meno per token di Opus 4.8, ma sui task Databricks ha speso 2,09 $/task contro 1,94 $, completando l’81% dei task contro l’87% e consumando 1,9x più token perché lavorava più a lungo. La lezione: serve un benchmark a livello di task, non di token.
Terzo, conta l’harness. Lo stesso modello con lo stesso thinking effort, chiamato da due harness diversi, ha mostrato differenze di costo superiori a 2x a parità di qualità. L’harness Pi inviava circa 3x meno context per turno, gestendo meglio la working set. Da qui una decisione operativa: spostare più lavoro verso modelli della classe Haiku e GPT 5.4 Mini per i task comuni, tenendo i modelli più costosi per le esplorazioni di design.
Perché conta per chi lavora con i dati
Il metodo è replicabile: qualunque team con uno storico di PR mergeate ha già un benchmark che nessun modello ha visto in training, con i test scritti internamente come giudice. Un dettaglio di rigore: niente LLM come giudice (premia il “sembrare giusto”) e git history sigillata durante ogni run, dopo che alcuni punteggi troppo alti si erano rivelati agenti che recuperavano la soluzione dalla cronologia.
Per data e platform engineer il messaggio è pratico: le scelte su modelli e strumenti vanno misurate sul proprio codice, non sui leaderboard generici.
In sintesi
- La frontiera costo/qualità mescola modelli OpenAI, Anthropic e open source; GLM 5.2 è nel tier alto a 1,28 $/task.
- Il costo per token non predice il costo per task: Sonnet 5 è costato più di Opus 4.8 pur essendo più economico per token.
- L’harness può più che raddoppiare il costo a parità di qualità: il context per turno è la variabile chiave.
Fonte: Benchmarking Coding Agents on Databricks’ Multi-Million Line Codebase — https://www.databricks.com/blog/benchmarking-coding-agents-databricks-multi-million-line-codebase
Hai qualcosa da aggiungere? Unisciti alla discussione.