Ogni nuova release di un modello promette reasoning migliore, costi più bassi o nuove capacità, e gli sviluppatori vogliono accedervi dal primo giorno. Ma ogni provider introduce anche un altro set di API key, un’altra integrazione e un’altra superficie di governance da gestire. Senza un modo centralizzato per governare i provider, l’accesso si frammenta, le chiavi proliferano e la visibilità su utilizzo e spesa sparisce. Databricks affronta questo problema con i Model Provider Services (MPS) nella Unity AI Gateway, e li mostra usando come esempio il nuovo Muse Spark 1.1 di Meta.
Cos’è un Model Provider Service
Un Model Provider Service è un securable governato di Unity Catalog che rappresenta un provider esterno. Vive in un catalog e uno schema, e contiene la configurazione di connessione e l’API key del provider. Chi chiama fa riferimento al servizio per nome e si autentica con le proprie credenziali Databricks; è la gateway ad allegare l’API key del provider al momento della richiesta. La chiave è memorizzata tramite una connessione di Unity Catalog, cifrata con una chiave gestita dalla piattaforma o dal cliente, e non viene mai esposta direttamente ai consumer.
Una volta registrato il servizio, l’organizzazione ottiene tre cose. Choice: definisci provider e chiave una sola volta e li rendi disponibili a ogni team su ogni workspace, con la possibilità di passare tra modelli OpenAI-compatibili per valutazione e produzione. Control: il servizio è first-class, quindi governi i permessi con GRANT e REVOKE standard (EXECUTE per interrogare, READ_METADATA per visualizzare, MANAGE per aggiornare), con rate limit e policy applicati a ogni richiesta. Clarity: il tracciamento di utilizzo e spesa è attivo di default, con conteggio dei token, latenza e status code per l’attribuzione dei costi per utente, team o app.
Come funziona con Muse Spark 1.1
Poiché Muse Spark è compatibile con la OpenAI Responses API, lo si registra usando il provider type OpenAI. Nella UI di Unity Catalog si crea un model provider service, si sceglie OpenAI, si incolla la chiave Meta come API key, si imposta https://api.meta.ai/v1 come Base URL e si aggiunge muse-spark-1.1 come modello con API type /openai/v1/responses. La lista dei modelli definisce esattamente quali modelli e superfici API sono esposti: qualsiasi richiesta per un modello non elencato viene intercettata e rifiutata alla gateway prima di raggiungere Meta.
Ogni richiesta viene poi metrata: l’utilizzo finisce in system.ai_gateway.usage con token, latenza e status code, e la spesa in system.ai_gateway.external_model_spend. Si possono allegare inference table per loggare payload completi in una Delta table governata, e policy con guardrail di default per rischi comuni come PII, prompt injection e contenuti non sicuri, applicati centralmente alla gateway.
- Registrare un provider una sola volta in Unity Catalog elimina la proliferazione delle API key e centralizza l’accesso tra i team.
- Permessi, rate limit e guardrail usano le stesse primitive di Unity Catalog, senza sistemi di governance paralleli.
- Il tracciamento di token, latenza e spesa è attivo di default, abilitando budgeting e compliance su tutti i provider.
Fonte: Meta’s Spark Muse 1.1 is now available on Databricks, fully governed by Unity AI Gateway — https://www.databricks.com/blog/metas-spark-muse-11-now-available-databricks-fully-governed-unity-ai-gateway
Hai qualcosa da aggiungere? Unisciti alla discussione.