Uno dei problemi ricorrenti nel portare la computer vision in produzione è la frammentazione: sistemi che vedono, sistemi che ragionano e sistemi che agiscono restano separati, e collegarli significa gestire più API e integrazioni fragili. AWS propone un approccio che fa convergere tre tecnologie — computer vision, il framework Strands Agents e il Model Context Protocol (MCP) — in una pipeline unica dove le informazioni visive vengono catturate, comprese e trasformate in azioni. Il pezzo centrale è il Computer Vision MCP Server, che espone le capacità di analisi visiva a un agente tramite un’interfaccia standardizzata.
Architettura
Il client interagisce con i servizi AWS attraverso un ruolo IAM centralizzato che fa da gateway di sicurezza, evitando credenziali incorporate. Amazon S3 gestisce lo storage degli oggetti, Amazon OpenSearch la ricerca sui dati indicizzati, Amazon Bedrock i modelli generativi e Amazon Rekognition l’analisi delle immagini. L’interfaccia utente è una chat Streamlit dove si seleziona il foundation model (predefinito Claude 4 Sonnet con reasoning, con anche Claude 3.7 Sonnet), si caricano immagini o video (fino a 200 MB, in formati come PNG, JPG, MP4, MOV) e si interagisce in linguaggio naturale.
I due server MCP
L’implementazione si compone di due server. Il CV server consolida tre servizi AI di Amazon in un protocollo standard ed espone tool come describe_image (usa Claude su Bedrock per descrivere le immagini), analyze_video (usa le capacità video di Amazon Nova), detect_labels (integra Rekognition per rilevare oggetti con soglie di confidenza e bounding box), crop_bounding_box per il ritaglio intelligente e remove_background basato sulla libreria rembg.
Il secondo è l’OpenSearch server, orientato a ingestion e retrieval: generate_image_description per descrizioni con Claude, generate_multimodal_embedding che usa i modelli multimodali Amazon Titan per creare embedding, ingest_image_to_opensearch per la pipeline end-to-end, e tool di ricerca come query_images_by_text e query_images_by_image per la ricerca semantica per testo o per immagine, oltre a bulk_ingest_images per l’ingestion su larga scala.
Perché conta
Il valore pratico, per chi costruisce applicazioni AI, è che MCP standardizza l’integrazione tra agente e strumenti, sostituendo le connessioni ad hoc per ogni coppia modello-servizio. AWS descrive tre estensioni: una pipeline di computer vision infrastructure-less con modello pay-per-use, un sistema di cataloging intelligente basato su embedding per la ricerca semantica, e un visual memory database per il reasoning contestuale (utile per monitoraggio, tracciamento e analisi di pattern nel tempo). Il codice di esempio è disponibile su GitHub.
- Il Computer Vision MCP Server unisce computer vision, Strands Agents e MCP per far vedere, capire e agire un agente tramite un’unica interfaccia.
- Due server MCP coprono analisi (Bedrock, Rekognition, Nova) e ricerca semantica su OpenSearch con embedding Amazon Titan.
- MCP riduce la complessità di integrazione, sostituendo connessioni ad hoc con un protocollo standard per gli strumenti di visione.
Fonte: Agentic vision: Building visual intelligence with Amazon Bedrock and MCP servers — https://aws.amazon.com/blogs/machine-learning/agentic-vision-building-visual-intelligence-with-amazon-bedrock-and-mcp-servers/
Hai qualcosa da aggiungere? Unisciti alla discussione.