Al Microsoft Build 2026 è stato annunciato Foundry Managed Compute insieme a Hugging Face models on Foundry: un catalogo curato di modelli open-weight dell’ecosistema Hugging Face, aggiornato ogni settimana e deployabile in un click su Foundry Managed Compute. I weight sono pre-caricati in Azure, i runtime vengono costruiti e scansionati da Microsoft, e ogni modello eredita lo stesso layer di security, governance, observability e billing degli altri modelli su Foundry.
Il punto interessante per chi lavora con data stack e serving di modelli è proprio questo: i modelli open non mancavano, mancava il layer operativo. Discovery, review delle licenze, screening di sicurezza, scelta del runtime, sizing delle GPU, build delle immagini, patching delle CVE e messa online dietro un endpoint enterprise sono i passaggi che finora rendevano faticoso portare un modello Hugging Face in produzione. Foundry si propone come quel layer operativo, gestito da Microsoft.
Managed Compute come terza opzione di deployment
Accanto al pay-per-token e al provisioned throughput, Managed Compute è un GPU platform-as-a-service gestito per modelli open-source e custom. Si descrive l’istanza in termini di modello (numero di parametri, context length, ottimizzazione per latenza o throughput) e Foundry gestisce la topologia GPU sottostante. Microsoft si occupa di aggiornamenti dei container, upgrade dei runtime e patch di sicurezza in automatico sui runtime supportati (vLLM, SGLang, TensorRT-LLM, NIM, TEI, llama.cpp), senza bisogno di rifare il deploy. Pay-per-token, provisioned throughput e Managed Compute condividono un unico endpoint, gli stessi SDK, la stessa autenticazione, la stessa observability e un’unica fattura.
La pipeline di curation
Ogni modello passa per una pipeline multi-stage: identificazione dei modelli di tendenza, screening di licenze e sicurezza (con esclusione o remediation dei modelli che richiederebbero l’esecuzione di codice via trust_remote_code), build e scan dei runtime per le CVE, upload dei weight su storage Azure sicuro e validazione di ogni combinazione modello + runtime + accelerator per conformità API e performance. Solo formato SafeTensors, nessun codice non affidabile. Poiché i weight sono pre-caricati in Azure e le immagini vivono in un registry gestito da Microsoft, i deploy non richiedono accesso di rete in uscita verso l’Hub di Hugging Face e possono girare dentro una rete privata.
I numeri citati dall’articolo per inquadrare l’ecosistema Hugging Face: 15 milioni di builder, 400.000 organizzazioni e oltre 3 milioni di modelli open pubblicati. Il template di deployment è l’unità di scelta: per esempio qwen3-32b arriva con quattro template preconfigurati (vLLM su A100 o H100, context 40K o 128K).
In sintesi
- Disponibile in preview: la Hugging Face Collection nel Foundry Model Catalog, con accelerator NVIDIA A100, H100 e AMD MI300X in scope Global e Data Zone.
- Il valore non è il modello ma il layer operativo: licenze verificate, weight in Azure, runtime scansionati per CVE e upgrade automatici senza redeploy.
- Sulla roadmap: copertura più ampia dell’ecosistema, nuove famiglie di accelerator e Bring Your Own Weights per varianti fine-tuned e proprietarie.
Fonte: Hugging Face Models on Foundry Managed Compute — https://huggingface.co/blog/microsoft/foundry-managed-compute
Hai qualcosa da aggiungere? Unisciti alla discussione.