Nel mondo degli agenti la saggezza corrente dice che risposte migliori costano più token: lascia esplorare l’agente più a lungo, fagli verificare e ritentare, e l’accuratezza sale. Un benchmark interno di Databricks su Genie Code — il loro data agent — arriva alla conclusione opposta.
Il team ha valutato Genie Code contro tre coding agent molto diffusi dei principali AI lab su 401 task self-contained distillati dall’uso interno reale: discovery di asset, scrittura e modifica di query, debugging, spiegazione di codice, lookup di numeri esatti dalle tabelle. Ogni agente usava il proprio harness, i modelli frontier più recenti e l’MCP di Databricks, con lo stesso budget di 20 minuti di wall-clock per task; un timeout contava come fallimento e un giudice indipendente valutava correttezza e utilità.
I numeri: Genie Code chiude al 76,6% di accuratezza con una media di 0,55 $ per task. Il coding agent più vicino si ferma al 72,1% ma a 1,09 $, mentre gli altri due scendono nella fascia mid-50 (55,9% e 56,1%), penalizzati soprattutto dai timeout su scansioni lunghe e query non limitate su tabelle molto grandi. In pratica Genie Code è il più accurato e anche il più economico, a circa metà del costo per task del concorrente più vicino.
Il motivo non è un merge loop BPE migliore né un modello diverso — tutti accedono allo stesso tier di modelli frontier. La differenza è come l’agente trova i dati. Sui task più difficili gli asset non sono nominati esplicitamente e l’agente deve localizzare tabelle, notebook e business logic. I coding agent generici ripiegano su un’esplorazione a forza bruta del workspace, che alza sia gli errori sia i costi. Genie Code usa semantic search sul catalogo, memoria persistente e comprensione del contesto enterprise per saltare quel “random walk”, con una media di 8,3 tool call per task, meno di ogni altro agente testato.
Per chi lavora con data stack la lezione è duplice: il contesto semantico sul workspace conta più della potenza bruta del modello, e le leaderboard generiche non misurano l’esperienza quotidiana degli utenti. Vale però ricordare che è un benchmark interno del vendor, con task e giudice propri: utile come indicazione relativa, non come verdetto assoluto.
In sintesi
- Su 401 task reali Genie Code raggiunge 76,6% di accuratezza a 0,55 $/task, più accurato e più economico dei tre coding agent generici testati.
- Il vantaggio nasce da semantic search e memoria del workspace, che evitano l’esplorazione a forza bruta (8,3 tool call medie per task).
- È un benchmark interno del vendor: leggere i numeri in termini relativi.
Fonte: Why A Frontier Data Agent Outperforms General Coding Agents in Quality and Cost — https://www.databricks.com/blog/why-frontier-data-agent-outperforms-general-coding-agents-quality-and-cost
Hai qualcosa da aggiungere? Unisciti alla discussione.