Prime Intellect ha rilasciato verifiers 0.2.0, che presenta un core riscritto sotto il nuovo namespace verifiers.v1. Il contesto e’ chiaro: le valutazioni moderne fanno girare coding agent con tool, compaction e subagent, e la versione precedente non era pensata per questi carichi agentici su scala. Per chi lavora su MLOps e valutazione di modelli, il punto interessante e’ architetturale: il disaccoppiamento tra dati, logica dell’agente e infrastruttura.
Tre pezzi componibili
Prima, un ambiente impacchettava insieme dati, logica dell’agente e infrastruttura. La v1 spezza quel blocco in tre parti. Un taskset definisce il lavoro: dati, tool e scoring. Un harness risolve il task e produce un rollout, e puo’ essere un loop ReAct, un CLI agent o uno proprio. Il rollout gira dentro un runtime, locale o in sandbox. Poiche’ i pezzi sono disaccoppiati, qualsiasi taskset gira sotto qualsiasi harness compatibile, e la logica di scoring resta indipendente dall’agente testato.
Come comunicano i pezzi
Il fulcro e’ l’interception server gestito da verifiers, che si frappone tra il runtime dell’agente e l’inference server: fa da proxy per richieste e risposte, registra la trace, imposta i parametri di sampling e puo’ riscrivere le risposte dei tool, un aiuto per mitigare i reward hack durante il training. Ogni server multiplexa un numero costante di rollout, di default 32, e un pool scala elasticamente con la concorrenza osservata. In fase di valutazione un EvalClient agisce da proxy HTTP cieco, mentre in training un TrainClient avvolge i renderer per un RL fedele token-in. Poiche’ gli harness parlano dialetti diversi, verifiers ne supporta tre: OpenAI Chat Completions, OpenAI Responses e Anthropic Messages, normalizzati in tipi canonici da un dialect adapter.
Sul piano pratico, la trace passa da una crescita quadratica nei turni (coppie ripetute) a una lineare (nodi unici in un message-graph), abilitando il training long-horizon con compaction e subagent nativi. I dataset Harbor e harness come Codex e Terminus 2 funzionano out of the box: Prime Intellect ha portato Terminal Bench 2 nella v1 con una piccola classe, eguagliando nei test interni le prestazioni di Harbor sugli stessi task. Gli stessi ambienti si collegano direttamente a prime-rl: in un’ablation con length-penalty, GLM-4.5-Air e’ stato addestrato su ScaleSWE su sei nodi H200 in due giorni, valutando su SWE-Bench-Verified.
- Un ambiente si divide in taskset (cosa), harness (come) e runtime (dove), rendendo riusabili le tre parti.
- L’interception server fa da proxy tra harness e inference e registra le trace, con supporto a tre dialetti di API.
- La trace lineare a message-graph sostituisce le coppie quadratiche della v0, abilitando training agentici piu’ lunghi.
Fonte: Prime Intellect Releases Verifiers v1 — https://www.marktechpost.com/2026/07/13/prime-intellect-releases-verifiers-v1/
Hai qualcosa da aggiungere? Unisciti alla discussione.