srt-slurm: il framework NVIDIA per benchmark riproducibili di LLM serving su SLURM

srt-slurm è un framework open source di NVIDIA che affronta un problema concreto del serving distribuito di LLM: rendere i benchmark riproducibili. Il suo strumento a riga di comando, srtctl, converte configurazioni YAML dichiarative in workflow di benchmark SLURM, così che una prova possa essere descritta, versionata e rieseguita senza dipendere da passaggi manuali.

Un tutorial di MarkTechPost mostra il flusso dentro Google Colab, usato come ambiente di sviluppo (non c’è un vero cluster SLURM). Si parte dall’installazione del repository, si ispeziona l’architettura interna, si definisce una configurazione di cluster e si eseguono in dry-run sia le recipe integrate sia una custom. Il punto chiave del dry-run è che genera gli script sbatch e valida la configurazione prima di allocare risorse GPU costose, intercettando errori quando ancora non costano nulla.

Serving disaggregato e sweep

L’esempio più avanzato modella un deployment disaggregato prefill/decode per DeepSeek-R1, separando i due carichi su pool distinti di nodi e worker. Da qui si generano parameter sweep — espansioni cartesiane della configurazione — e si interagisce con l’API Python tipizzata per caricare, validare ed espandere le recipe. I backend supportati includono adapter per SGLang, TRT-LLM e vLLM, più un mocker per gli smoke test, e ci sono recipe pronte per piattaforme come gb200-fp4, h100 e b200-fp8.

L’analisi dei risultati passa da una frontiera di Pareto throughput contro latenza inter-token, il modo naturale per confrontare varianti quando aumentare il throughput per GPU peggiora la responsività. Sul cluster reale il ciclo di lavoro diventa srtctl preflight, apply, monitor e diff tra run. Per la riproducibilità, il framework suggerisce di dichiarare un blocco identity con repo e revisione del modello, immagine del container e versioni dei framework, così da verificare che il runtime corrisponda a quanto dichiarato.

In sintesi

• srtctl trasforma YAML dichiarativi in workflow di benchmark SLURM riproducibili per il serving distribuito di LLM.
• Il dry-run genera gli script sbatch e valida la configurazione prima di allocare GPU, riducendo gli sprechi.
• Supporta serving disaggregato prefill/decode, parameter sweep e analisi Pareto throughput/latenza.

Fonte: Validating Distributed LLM Serving Benchmarks with NVIDIA srt-slurm