Fine-tuning distribuito di modelli video e immagini con NVIDIA NeMo Automodel e Diffusers

I modelli di diffusione sono al centro di molte delle release open più interessanti degli ultimi due anni, da FLUX.1-dev per il text-to-image a Wan 2.1 e HunyuanVideo per il text-to-video. La libreria Diffusers di Hugging Face è diventata il punto di riferimento per l’inference, ma addestrare e fare fine-tuning di questi modelli richiede strumenti diversi: sharding efficiente in memoria, caching delle latenti, bucketing multirisoluzione e configurazioni che scalano da una GPU a centinaia. NVIDIA e Hugging Face hanno annunciato un’integrazione che colma proprio questo scarto tramite NeMo Automodel.

Cosa cambia per chi usa Diffusers

NeMo Automodel è una libreria open source PyTorch DTensor-native, rilasciata sotto licenza Apache 2.0. Il punto centrale è che punti pretrained_model_name_or_path a un qualsiasi model ID in formato Diffusers sull’Hub e inizi ad addestrare, senza conversione dei checkpoint e senza riscrivere il modello. I pesi pre-addestrati funzionano direttamente e il checkpoint di output ricarica in una DiffusionPipeline per l’inference o torna sull’Hub. Tutti gli strumenti a valle, come quantizzazione, compilazione e adapter LoRA, continuano a funzionare.

L’altro principio è “un programma, qualsiasi scala”: il parallelismo diventa una scelta di configurazione, non una riscrittura. Si passa tra FSDP2, tensor parallel, expert parallel, context parallel e pipeline parallel dichiarando le configurazioni. Sono supportati sia il fine-tuning completo sia il PEFT in stile LoRA, con la stessa struttura di recipe.

Modelli supportati e workflow

Le recipe pronte all’uso coprono, tra gli altri, Wan 2.1 T2V (1.3B e 14B), Wan 2.2 T2V A14B (27B totali con MoE, 14B attivi per step), FLUX.1-dev (12B), FLUX.2-dev (32B), HunyuanVideo 1.5 e Qwen-Image (20B). Il flusso tipico prevede tre passaggi: pre-encoding del dataset in latenti VAE ed embedding testuali cachati, lancio del training riusando lo YAML esistente (per esempio con override da riga di comando), e generazione dal checkpoint ottenuto. La guida mostra un fine-tune completo di FLUX.1-dev sul dataset di 78 carte dei tarocchi Rider-Waite, con il token trigger trtcrd che attiva lo stile appreso senza sostituire il comportamento globale del modello base.

Prestazioni misurate

Le misure sono state raccolte su un nodo con 8 GPU NVIDIA H100 80GB collegate via NVLink. Per il text-to-image a 512×512, FLUX.1-dev in full fine-tuning con FSDP2 raggiunge circa 35,5 immagini/s (step time 0,902 s), mentre in LoRA r64 con DDP sale a circa 53,7 immagini/s. Per il text-to-video a 512×512 su clip da 49 frame, Wan 2.1 1.3B in full training gestisce circa 8,5 clip/s, e i modelli più grandi come Wan 2.1 14B e HunyuanVideo 1.5 restano addestrabili grazie all’activation checkpointing.

• Nessuna conversione dei checkpoint: i pesi Diffusers dell’Hub funzionano out of the box e il round-trip resta pulito.
• Il parallelismo è dichiarativo, quindi lo stesso codice scala da una singola GPU a un cluster multi-nodo (SLURM oggi, Kubernetes in arrivo).
• Supporto sia per full fine-tuning che per LoRA, per bilanciare qualità massima ed efficienza.

Fonte: Fine-tune video and image models at scale with NVIDIA NeMo Automodel and Diffusers — https://huggingface.co/blog/nvidia/scale-diffusers-finetuning-nemo-automodel