SageMaker HyperPod: cinque nuove funzionalità per l’inference enterprise

Amazon ha introdotto cinque nuove funzionalità per l’inference su SageMaker HyperPod, pensate per rendere il serving di modelli in produzione più osservabile, veloce e controllabile a livello di sicurezza. Le funzioni sono disponibili aggiornando l’Inference Operator alla versione v3.2 e si configurano in modo dichiarativo tramite le custom resource definition (CRD) di Kubernetes. È rilevante per chi gestisce fleet di GPU e ha bisogno di governance e visibilità operativa senza rallentare il rilascio.

Data capture multi-tier

Il data capture registra input e output delle richieste di inference in tre punti del percorso, configurabili indipendentemente: Tier 1 all’endpoint SageMaker AI (compatibile con Model Monitor), Tier 2 all’Application Load Balancer (metadati come IP client, path e latenze via access log), Tier 3 al model pod (payload completi con sampling, buffering e limiti di dimensione configurabili, senza bisogno di registrare l’endpoint). Ogni tier scrive su un bucket S3, con cifratura opzionale tramite chiave KMS gestita dal cliente e controllo del volume tramite initialSamplingPercentage.

Deploy da Hugging Face, NVMe e DNS

Il secondo elemento è il deploy diretto da Hugging Face Hub senza pre-staging dei pesi su S3 o FSx, con supporto per modelli gated (via tokenSecretRef), pinning della revisione (via commitSHA) e isolamento del token; è compatibile con i runtime vLLM, TGI e SGLang. Il caricamento dei pesi dallo storage NVMe locale del nodo elimina l’hop di rete all’avvio del pod, riducendo la latenza di cold-start: utile per eventi di autoscaling, workload scale-from-zero e failover sensibili alla latenza, tipicamente sulle instance family P, G e Trn. L’integrazione con Route 53 crea e gestisce automaticamente i record DNS per i domini personalizzati: basta specificare un hosted zone ID nella CRD e l’operator gestisce creazione, aggiornamento e cleanup.

IAM a livello di pod

Infine, i custom service account con supporto IRSA permettono di assegnare permessi IAM granulari ai singoli pod di inference, dando ai team infrastruttura un controllo fine sui confini di sicurezza. Un service account può essere referenziato solo se etichettato come user-assignable, come controllo contro l’escalation di privilegi non autorizzata, e l’operator valida il service account in fase di creazione e aggiornamento.

• Il data capture su tre livelli permette di scegliere la profondità di visibilità giusta per audit, debugging e miglioramento del modello.
• Deploy da Hugging Face e caricamento da NVMe locale riducono attriti operativi e latenza di cold-start.
• Route 53 e IAM a livello di pod spostano gestione DNS e sicurezza dentro la configurazione dichiarativa del deployment.

Fonte: Enhancing enterprise inference on Amazon SageMaker HyperPod — https://aws.amazon.com/blogs/machine-learning/enhancing-enterprise-inference-on-amazon-sagemaker-hyperpod-with-data-capture-hugging-face-nvme-and-route-53-integration/