Deployare modelli quantizzati con Unsloth su SageMaker: quattro pattern

Servire foundation model a precisione piena (BF16 o FP16) è costoso: richiede istanze GPU grandi e rallenta i cicli di iterazione. La quantizzazione riduce la precisione dei pesi — per esempio da 16 a 4 bit — abbattendo l’uso di memoria. Un post AWS, scritto con i co-fondatori di Unsloth, mostra quattro pattern per deployare su AWS modelli già quantizzati con Unsloth.

Dynamic quantization

La dynamic quantization di Unsloth non applica la stessa riduzione a tutti i layer: misura la sensibilità di ciascuno, tiene a precisione più alta quelli critici e comprime aggressivamente gli altri. Daniel Han la sintetizza con un esempio: un modello portato da 1,5 TB a 217 GB (86% in meno) perde solo il 14% di accuratezza. Per un modello da 8 miliardi di parametri il footprint scende da circa 16 GB a circa 5 GB — spesso la differenza tra un’istanza multi-GPU e una singola GPU.

Quattro pattern

Il principio è che sia l’artefatto a guidare il design, non l’infrastruttura. I formati GGUF (file singolo per llama.cpp, Ollama) mappano su Amazon EC2 o su un container custom di SageMaker AI; i merged safetensors (16-bit, 4-bit, FP8) su engine ad alto throughput come vLLM e SGLang, quindi container LMI di SageMaker, EKS o ECS.

I quattro pattern sono: GGUF su EC2 per iterare in fretta con accesso diretto; GGUF su SageMaker con container custom (nginx che mappa /ping e /invocations su llama-server); merged weights su SageMaker con LMI/vLLM quando contano throughput e batching; EKS o ECS quando l’inferenza deve stare nello stesso stack che già gestite. Il sample di riferimento confronta Qwen3-VL-8B-Instruct in Q4_K_XL su ml.g5.xlarge (circa 1,41 $/h) con la variante BF16 su vLLM e ml.g5.12xlarge (circa 7,09 $/h).

In sintesi

• La dynamic quantization comprime i pesi in modo selettivo, riducendo memoria e costi con degrado contenuto.
• Scegliete prima l’artefatto (GGUF o merged weights), poi il servizio AWS che meglio corrisponde.
• Attenzione a chat template e prompt formatting: incoerenze qui vengono spesso scambiate per problemi di quantizzazione.

Fonte: Deploying quantized models on Amazon SageMaker AI with Unsloth