Collegare un bucket Amazon S3 a Databricks è sempre stato uno dei passaggi di setup più fastidiosi. Con la disponibilità generale dell’Automatic Setup for Amazon S3, Databricks lo riduce a pochi click direttamente da Catalog Explorer, appoggiandosi ad AWS IAM temporary delegation.
Fino a ieri, autorizzare l’accesso significava creare una external location — l’oggetto di Unity Catalog che lega un percorso di storage a una storage credential — scrivendo trust policy IAM da 140 righe, configurando i permessi sul bucket, distribuendo template CloudFormation e passando di continuo tra la console AWS e Databricks. Ora il flusso è guidato.
Cosa succede sotto il cofano
Dopo aver indicato bucket e livello di accesso, viene richiesto il login ad AWS per verificare i permessi. Se sono sufficienti, si concede a Databricks un’autorizzazione temporanea e a tempo per provisionare le risorse necessarie; chi non ha i permessi può richiederli al proprio AWS admin dentro lo stesso flusso. A quel punto Databricks crea una storage credential con un ruolo IAM a least-privilege e la trust policy cross-account corretta, e registra una external location in Unity Catalog mappata al bucket, con Auto Loader e File Events abilitati automaticamente.
Un dettaglio importante per la governance: al termine del setup l’autorizzazione scade da sola. Databricks non mantiene accesso permanente all’account AWS e tutte le azioni di provisioning restano tracciate in AWS CloudTrail.
Le implicazioni pratiche per un data engineer sono concrete. La configurazione manuale che prima era sparsa su più console avviene ora in un’unica sessione dentro il workspace. Il provisioning automatico elimina i tipici punti di rottura — trust policy sbagliate, permessi mancanti sul bucket, ARN mal configurati — e ogni ruolo IAM segue il principio di least privilege. Databricks collega questo miglioramento anche all’adozione dell’architettura LTAP, dove una connessione allo storage più semplice rimuove una barriera infrastrutturale per rendere i dati operativi immediatamente interrogabili.
In sintesi
- Automatic Setup for Amazon S3 è ora GA: connessione a un bucket con un login AWS e pochi click da Catalog Explorer.
- Si basa su AWS IAM temporary delegation: ruolo IAM least-privilege, external location con Auto Loader e File Events, autorizzazione che scade da sola.
- Meno errori di configurazione (trust policy, ARN, permessi) e tracciamento completo in CloudTrail.
Fonte: Connect Amazon S3 data to Databricks with Delegated IAM Permissions — https://www.databricks.com/blog/connect-amazon-s3-data-databricks-delegated-iam-permissions
Hai qualcosa da aggiungere? Unisciti alla discussione.