Gestire la governance dei dati tra più cluster Amazon Redshift in account AWS diversi è tipicamente un lavoro manuale e poco tracciabile. Un post dell’AWS Big Data Blog mostra come usare Amazon SageMaker Unified Studio per implementare la condivisione cross-account su Redshift seguendo i principi del data mesh: dati trattati come prodotto, ownership decentralizzata sui producer e governance centralizzata.
Come è strutturata l’architettura
Lo schema prevede tre account con ruoli distinti. L’account di governance centrale (A) ospita il dominio SageMaker Unified Studio, che fa da catalogo e layer di governance. L’account producer (B) contiene i dati e le pipeline; il consumer (C) ospita il Redshift target e i workflow analitici. Il produttore pubblica i dati nel catalogo, il consumatore li scopre e richiede la sottoscrizione, il produttore approva e SageMaker Unified Studio gestisce la condivisione cross-account senza connettività diretta tra i cluster.
Prerequisiti da non saltare
Il vincolo tecnico principale è che i cluster Redshift devono usare node type della famiglia RA3 (ra3.xlplus, ra3.4xlarge o ra3.16xlarge): il data sharing non è supportato su altri tipi. Servono inoltre credenziali con permessi di amministrazione sui tre account, un utente superuser su Redshift le cui credenziali vanno in AWS Secrets Manager — con tag che includono l’ARN del cluster e, se si usa una chiave KMS gestita dal cliente, una policy dedicata — e i blueprint Tooling e LakeHouseCatalog abilitati. È supportato anche Redshift Serverless, usando workgroupName al posto di clusterName.
Pubblicazione, sottoscrizione e audit
Il flusso operativo passa per la creazione di una connessione Redshift e di un data source nello Studio, l’esecuzione del data source run che porta i metadati nel catalogo e, lato consumer, la creazione di un subscription target via CLI DataZone per ogni combinazione database-schema. Dopo l’approvazione, gli asset sottoscritti compaiono come view nel cluster consumer.
Per la parte di governance, il post consiglia di abilitare CloudTrail nei tre account e l’audit logging di Redshift (tabelle STL_CONNECTION_LOG e STL_QUERY). Le approvazioni e i rifiuti delle sottoscrizioni vengono emessi a CloudTrail sotto l’event source datazone.amazonaws.com, con eventi come CreateSubscriptionRequest, AcceptSubscriptionRequest e RejectSubscriptionRequest.
In sintesi
- SageMaker Unified Studio fa da catalogo e governance per condividere dati Redshift tra account, senza connettività diretta.
- Requisito chiave: node type RA3; supportato anche Redshift Serverless.
- Tracciabilità via CloudTrail e audit logging Redshift, con eventi di subscription sotto datazone.amazonaws.com.
Fonte: Govern Amazon Redshift Data Warehouses Data Across Accounts using Amazon SageMaker Unified Studio
Hai qualcosa da aggiungere? Unisciti alla discussione.