Apache Polaris, il catalog open source per Apache Iceberg, è ufficialmente diventato un top-level project della Apache Software Foundation. Per chi gestisce tabelle Iceberg, o sta pianificando di farlo, è un passaggio che vale la pena capire al di là dell’annuncio.
Il progetto è stato in incubazione alla ASF da agosto 2024. In quel periodo ha rilasciato 6 release, attratto circa 100 contributor e chiuso oltre 2.800 pull request. Il voto di graduation è passato con supporto unanime dei voti vincolanti, e il board ASF lo ha approvato come progetto di primo livello, con un proprio Project Management Committee.
“Top-level project” significa che Polaris ha superato l’asticella della ASF su governance della community, maturità tecnica e neutralità rispetto ai vendor. Non è più un esperimento in incubazione.
Il buco nel catalog layer di Iceberg
Per un po’, l’ecosistema Iceberg ha avuto un problema di catalog. Potevi archiviare le tabelle in un formato aperto, ma il layer che traccia i metadati e abilita l’accesso multi-engine restava perlopiù proprietario: AWS Glue, Unity Catalog e altri, ognuno con i suoi trade-off e i suoi rischi di lock-in.
Polaris colma quel gap come standard aperto guidato dalla community. Implementa la specifica Iceberg REST API, così qualsiasi engine conforme può scoprire e interrogare le tabelle attraverso un unico catalog. È il tipo di interoperabilità che rende praticabile un’architettura open lakehouse, non solo nei talk da conferenza.
Perché conta per chi lavora coi dati
Fivetran ha costruito il proprio Iceberg REST Catalog su Polaris: è il catalog di default per ogni tabella Iceberg nel suo Managed Data Lake Service, con metadati gestiti su S3, ADLS, GCS e OneLake. La graduation aggiunge garanzie di governance a lungo termine, una base di contributor diversificata e la stabilità che serve sotto un’infrastruttura di produzione. Il messaggio pratico per i team è semplice: la fondazione di metadati sotto il data lake è ora più matura e meno esposta al lock-in di un singolo cloud o query engine.
In sintesi
- Polaris è top-level project ASF dopo l’incubazione avviata ad agosto 2024, con 6 release, circa 100 contributor e oltre 2.800 pull request.
- Implementa la Iceberg REST API, abilitando accesso multi-engine e riducendo il lock-in del catalog layer.
- Fivetran lo usa come catalog di default nel Managed Data Lake Service; per gli utenti l’uso quotidiano non cambia.
Fonte: The impact of Apache Polaris graduating to top-level Apache project — https://www.fivetran.com/blog/the-impact-of-apache-polaris-graduating-to-top-level-apache-project
Hai qualcosa da aggiungere? Unisciti alla discussione.