Uno dei costi ricorrenti di ogni architettura dati è la duplicazione: per usare gli stessi dati in piattaforme diverse spesso li si copia da un sistema all’altro, moltiplicando storage, pipeline e problemi di freshness. AWS e Salesforce hanno introdotto un approccio Zero Copy che elimina questo passaggio: le tabelle Apache Iceberg archiviate su Amazon S3 possono essere interrogate direttamente da Salesforce Data 360 attraverso l’endpoint Iceberg REST di AWS Glue Data Catalog, con l’accesso ai dati gestito da AWS Lake Formation.
Cosa cambia rispetto alla replica
La chiave è la file federation (o catalog federation): il Data Catalog dialoga con il catalogo remoto per scoprire gli oggetti e autorizzare l’accesso ai dati su S3. Quando si interroga una tabella Iceberg remota, il catalogo recupera a runtime la posizione S3, lo schema corrente e le informazioni di partizionamento; l’engine di analytics legge poi i file Iceberg direttamente da S3, mentre Lake Formation gestisce l’accesso distribuendo credenziali con scope limitato. In pratica non c’è duplicazione di metadati né di dati, e Data 360 lavora sempre su una versione aggiornata delle tabelle.
Per chi si occupa di data stack, i vantaggi pratici sono concreti: si riducono i costi di storage duplicato e le risorse di calcolo per le pipeline, si accede ai dati in-Region con performance vicine a quelle native, e si semplifica l’architettura eliminando pipeline da costruire e mantenere. Data 360 diventa così il layer di contesto che collega data warehouse, data lake e segnali di terze parti alla logica e alla governance già presenti in Salesforce, alimentando anche gli agenti di Agentforce.
Come si configura
Il walkthrough di AWS parte dalla creazione di un bucket S3 e di una tabella Iceberg tramite Amazon Athena (nell’esempio, una tabella churn). La posizione va poi registrata in Lake Formation in modalità Lake Formation, abilitando l’accesso degli engine esterni con full table access. Si crea quindi un utente IAM dedicato (nell’esempio data_cloud_user) con una policy che consente lakeformation:GetDataAccess, e si concedono i permessi Select e Describe sulle tabelle.
Lato Salesforce, in Data Cloud Setup si crea una connessione al connettore AWS Glue Data Catalog inserendo access key, secret key, Catalog URL, Catalog ID (l’account AWS a 12 cifre), Signing Region e Signing Service impostato a glue, necessario per firmare le richieste con AWS Signature Version 4. Una volta attiva la connessione, si crea un data stream scegliendo database e tabella Iceberg, la chiave primaria e i campi da ingerire; da lì i dati sono visibili nel Data Explorer.
Tra le best practice consigliate: ruoli IAM con privilegi minimi, policy sui bucket S3, logging degli accessi, partizionamento allineato ai filtri di query più comuni, compaction regolare dei file Iceberg e monitoraggio dei costi di trasferimento dati.
- Zero Copy file federation permette a Data 360 di interrogare tabelle Iceberg su S3 senza copiare dati, preservando governance e freshness.
- L’accesso passa dall’endpoint Iceberg REST di AWS Glue Data Catalog, con Lake Formation che distribuisce credenziali a scope limitato.
- La configurazione richiede una tabella Iceberg registrata in Lake Formation e un connettore AWS Glue configurato lato Salesforce con firma SigV4.
Fonte: Zero Copy access to Apache Iceberg tables in Amazon S3 from Salesforce Data 360 using the Iceberg REST endpoint from AWS Glue Data Catalog — https://aws.amazon.com/blogs/big-data/zero-copy-access-to-apache-iceberg-tables-in-amazon-s3-from-salesforce-data-360-using-the-iceberg-rest-endpoint-from-aws-glue-data-catalog/
Hai qualcosa da aggiungere? Unisciti alla discussione.