La prima parte della serie di Fivetran si concentrava sull’intelligenza strutturale dell’ingestion dei file: schema inference e type detection. Questo secondo capitolo affronta invece la complessità operativa, quella dei file che nella realtà aziendale non stanno solo nei bucket cloud ma anche su file server interni, share di reparto e sistemi legacy con formati che precedono di decenni l’era del CSV.
Le cinque capacità
La prima è il filtering: regole dichiarative che, valutate prima che i dati raggiungano la destinazione, limitano le righe caricate in base ai valori delle colonne. Filtrare all’ingestion invece che in trasformazione significa che il costo di caricare dati inutili non si materializza mai.
La seconda è l’hybrid deployment: un read agent locale gira all’interno della rete dell’organizzazione, legge i file da posizioni on-premise o di rete (Windows file server, SFTP, NAS) e li inoltra a Fivetran. Una volta installato l’agent, il connector appare nella dashboard insieme a quelli cloud, con la stessa schedulazione e lo stesso monitoring.
La terza è il supporto a più formati strutturati: CSV con delimitatori ed encoding configurabili (compressi con gzip, zip, bz2 o zstd), JSON Lines, Parquet e Avro con schema embedded, ORC e XML. Per i formati colonnari binari lo schema è già dichiarato nel file, quindi Fivetran salta del tutto l’inferenza.
La quarta riguarda i dati non strutturati: file binari e documentali vengono ingeriti accanto ai dati tabellari, con colonne di metadata per tipo, dimensione, source path e timestamp di ingestion. Diventano così cittadini di prima classe del data platform, con lo stesso lineage e gli stessi access control.
La quinta è l’estensibilità: i file connector sono pensati per dati tabellari rettangolari, ma il Connector SDK e la logica di parsing custom permettono di gestire la coda lunga dei formati non standard — EDI nel retail e nella logistica, HL7 in sanità, record fixed-width dei mainframe — senza mantenere pipeline separate.
In sintesi
- Il filtering all’ingestion evita di pagare storage e compute per dati che non servono.
- Hybrid deployment e supporto multi-formato coprono i file che restano on-premise e nei formati legacy.
- Dati non strutturati ed estensibilità completano una checklist utile più come griglia di valutazione che come benchmark.
Hai qualcosa da aggiungere? Unisciti alla discussione.