Couchbase ha adottato Amazon Bedrock per alimentare Capella iQ, l’assistente per sviluppatori che genera query, consiglia indici e gestisce conversazioni multi-turn. L’obiettivo dichiarato, raccontato sull’AWS Machine Learning Blog, era un’architettura di inferenza model-agnostic, capace di scalare durante i picchi e restare disponibile su più regioni senza capacità pre-allocata.
Come funziona
Il sistema gira su un cluster Amazon EKS in us-east-1, con tre pod principali: cp-api (riceve le richieste e orchestra l’inferenza), cp-internal-api (routing e comunicazione interna) e cp-ns (configurazioni per tenant e organizzazione). Le chiamate a Bedrock passano per un VPC interface endpoint, così prompt e risposte restano dentro l’infrastruttura AWS senza transitare sulla rete pubblica. Bedrock instrada poi le richieste con Cross-Region Inference (CRIS) tra us-east-1, us-east-2 e us-west-2, con failover automatico durante i picchi.
Il vantaggio architetturale è che cambiare modello o provider richiede solo aggiornamenti di configurazione a livello di namespace: nessuna modifica al codice, nessun downtime.
Valutazione dei modelli
Prima della produzione, il team ha costruito una suite di benchmark su tutti i workflow di Capella iQ — generazione SQL++, raccomandazioni di indici, spiegazioni delle query, iQ Insights e conversazioni multi-turn — valutando correttezza, determinismo, latenza e coerenza di formato. Claude Sonnet 4.5 ha raggiunto circa il 76% di accuratezza su una valutazione interna ispirata alla metodologia BIRD, superando la soglia di qualità richiesta senza regressioni critiche.
Le sfide ingegneristiche non sono state banali: testare il failover cross-region ha richiesto harness di test custom per simulare degradi parziali e throttling regionale, mentre il benchmarking multi-modello ha imposto una normalizzazione attenta per confrontare in modo equo tokenizzazione e formattazione diverse.
Guardando avanti, Couchbase punta a ridurre i costi con modelli più piccoli e fine-tuned tramite Custom Model Import di Bedrock per workload ad alto volume e ben delimitati, mantenendo l’approccio multi-model per adottare via via modelli più recenti come Claude Sonnet 5.
In sintesi
- Capella iQ gira su Amazon Bedrock con architettura model-agnostic: cambiare modello è una scelta di configurazione, non di codice.
- Cross-Region Inference garantisce failover e distribuzione del carico senza capacità pre-allocata.
- Claude Sonnet 4.5 ha toccato ~76% di accuratezza su una valutazione interna ispirata a BIRD.
Fonte: How Couchbase built a multi-model AI architecture for Capella iQ with Amazon Bedrock
Hai qualcosa da aggiungere? Unisciti alla discussione.