La customization di un modello trasforma un foundation model generico in un asset specializzato: fare fine-tuning su dati di dominio insegna al modello workflow, terminologia e stile di un’organizzazione, riducendo le hallucination. Spesso un modello open-weight più piccolo, adattato su un task mirato, eguaglia o supera modelli proprietari molto più grandi, con costi inferiori e dati che restano in un perimetro privato. Amazon SageMaker AI introduce ora la serverless model customization per i modelli NVIDIA Nemotron 3, a partire da Nemotron 3 Nano (30B parametri totali, 3B attivi) e Nemotron 3 Super (120B totali, 12B attivi).
Cosa rende diversa l’architettura Nemotron 3
Nemotron 3 è una famiglia di LLM open-weight costruita su un’architettura ibrida Mamba-Transformer con Mixture-of-Experts (MoE) e supporto nativo per context length fino a 1M di token. Interleava tre tipi di layer: Mamba-2 per il processing lineare delle sequenze, layer di attention Transformer per il recall associativo, e layer Latent MoE che comprimono i token prima del routing verso gli expert. Attivando solo una frazione dei parametri per forward pass (ad esempio 12B su 120B nella variante Super), si ottiene throughput elevato a costo di compute ridotto. Nano dichiara un throughput 4x rispetto a Nemotron 2 Nano.
Le tecniche di fine-tuning disponibili
Per Nemotron 3 la serverless customization supporta tre tecniche. Il Supervised Fine-Tuning (SFT) usa coppie input-output etichettate per insegnare nuovi comportamenti. Il Reinforcement Learning with Verifiable Rewards (RLVR) genera più risposte candidate per prompt, le valuta con una reward function e aggiorna la policy: adatto a task con obiettivi verificabili come tool calling o correttezza del codice. Il Reinforcement Learning from AI Feedback (RLAIF) usa un modello separato per guidare l’ottimizzazione senza reward etichettati a mano, utile per allineare tono, utilità e sicurezza.
Come si procede in pratica
Il flusso parte dalla console SageMaker Studio (o dal Python SDK): dalla pagina Models si seleziona il modello Nemotron 3, la tecnica, il dataset in formato JSONL, gli iperparametri (anche con default consigliati) e si lancia il job. SageMaker AI provisiona il compute, orchestra il training e logga le metriche su MLflow. La valutazione offre tre metodi: LLM-as-a-Judge con un modello frontier di Bedrock, Custom Scorer con metriche NLP come F1, ROUGE e BLEU, e Benchmarks accademici (MMLU, BBH, GPQA, MATH, IFEval). Il deploy può avvenire su SageMaker Inference endpoint (nell’esempio un’istanza ml.g6e con GPU NVIDIA L40S) oppure scaricando i pesi da S3 per un hosting self-managed; trattandosi di un LoRA fine-tune è possibile servire l’adapter separatamente o i pesi merged.
- Serverless customization: nessun cluster GPU da gestire, si paga a consumo.
- Tre tecniche (SFT, RLVR, RLAIF) coprono task supervisionati e reinforcement.
- Valutazione integrata e confronto diretto con il modello base prima del deploy.
Fonte: Fine-tune NVIDIA Nemotron 3 models with Amazon SageMaker AI serverless model customization — https://aws.amazon.com/blogs/machine-learning/fine-tune-nvidia-nemotron-3-models-with-amazon-sagemaker-ai-serverless-model-customization/
Hai qualcosa da aggiungere? Unisciti alla discussione.