I grandi modelli MoE ibridi come Nemotron-3-Super sono accurati ma costosi da servire: parametri attivi, KV cache e stato Mamba limitano quanti utenti un nodo può sostenere a un dato token rate per utente. NVIDIA ha rilasciato Nemotron-Labs-3-Puzzle-75B-A9B, una variante compressa del modello padre, con un obiettivo di deployment fissato prima della ricerca architetturale: raddoppiare il throughput del server a 100 token al secondo per utente e servire 8 richieste concorrenti da 1M di token su una singola H100. I pesi sono su Hugging Face in tre checkpoint: BF16, FP8 e NVFP4.
Cosa cambia rispetto al modello padre
Il padre ha 120,7B parametri totali e 12,8B attivi; la versione compressa scende a 75,3B totali e 9,3B attivi, preservando esattamente il layout a 88 blocchi (40 Mamba, 40 MoE, 8 di attention). A cambiare è la capacità interna: lo stato SSM di Mamba passa da 128 a 96 canali, la dimensione intermedia degli expert MoE e il numero di expert attivati per token vengono ridotti in modo eterogeneo. Le attention layer restano intatte, perché Nemotron-3-Super è già molto efficiente sulla KV cache. Il risultato non è un teacher scalato uniformemente: Puzzle preserva capacità in alcuni layer intermedi e tardivi e taglia altrove.
Prestazioni e metodo
Su un nodo 8xB200 il throughput totale cresce da 1,60x fino a 2,14x rispetto a Super, a peso NVFP4 e user throughput allineati, con il regime decode-heavy (8K/64K) che guadagna di più e quello prefill-heavy (50K/2K) di meno. Il salto più vistoso è sul contesto lungo: su una singola H100 a 1M di token la concorrenza passa da 1 a 8, resa possibile dal calo dei pesi da circa 70 GB a 44,5 GB. Il metodo, chiamato Iterative Puzzle, alterna compressione limitata e brevi fasi di knowledge distillation, costruendo una sequenza di modelli intermedi invece di saltare al target. Questo approccio iterativo batte il Puzzle single-step di 0,57 punti medi (69,05 contro 68,48 su dieci benchmark).
Dove la compressione costa
Il paper è esplicito sui trade-off: instruction-following e valutazioni agentiche perdono di più. Il caso peggiore è Arena-Hard-V2 a -4,2 punti, seguito da SWE-Bench a -2,6, mentre RULER e AA-LCR si muovono appena (spesso entro 1-2 punti). Sul fronte deployment, la quantizzazione NVFP4 aggiunge poco costo sopra la compressione, e la testa MTP condivisa ereditata da Super, con training aggiuntivo, porta la lunghezza di accettazione media da 3,45 a 4,34 su SPEED-Bench.
- Il target di deployment guida la ricerca architetturale, non il contrario: la compressione è progettata attorno a throughput e concorrenza desiderati.
- Il guadagno maggiore è sui carichi decode-heavy e sul contesto ultra-lungo, meno su quelli prefill-heavy.
- Il costo si concentra su instruction-following e task agentici: da valutare rispetto al proprio mix di lavoro.
Fonte: Meet Nemotron Labs 3 Puzzle 75B A9B — https://www.marktechpost.com/2026/07/09/meet-nemotron-labs-3-puzzle-75b-a9b/
Hai qualcosa da aggiungere? Unisciti alla discussione.