Un tabular foundation model predice la colonna mancante di una tabella zero-shot, come un language model completa il testo: gli si passano come contesto le righe di cui si conoscono le label e lui predice quelle held-out in un singolo forward pass, senza gradient training né hyperparameter search. Su TabArena, il principale benchmark della community, ogni singolo modello sopra la migliore configurazione di gradient-boosted tree (GBDT) tunata è uno di questi. Un articolo su Towards Data Science lo verifica riproducendo in autonomia il più forte con pesi aperti senza restrizioni.
La riproduzione
Il modello sotto esame è TabICLv2 (team SODA di Inria), circa 28 milioni di parametri, pesi su HuggingFace sotto licenza BSD-3 senza gating. L’autore ha rieseguito da zero i 51 dataset del protocollo Lite del benchmark su una singola AWS A10G. Il risultato: Elo 1559 contro il 1575 ufficiale, ranghi adiacenti e ben dentro gli intervalli di bootstrap; 16 dei 51 valori identici alla quarta cifra decimale, differenza relativa mediana dello 0,08% e caso peggiore al 3,5%. L’intero sweep è entrato in una sessione GPU da 2,1 ore costata poco più di due dollari.
Sotto il cofano il modello è in-context learning che si comporta come un k-nearest-neighbours appreso: per etichettare una riga held-out fa attention sulle righe di training più simili. È preaddestrato solo su dati sintetici, generati da structural causal model, quindi nessun dataset di benchmark può esservi finito dentro. Sul fronte serving, il tempo mediano di predizione è 0,38 secondi per 1.000 righe e il fit 4 secondi per 1.000 righe, perché il fit è un singolo forward pass.
Dove gli alberi vincono ancora
Il quadro non è un ribaltamento totale. Contro il miglior GBDT tunato ed ensembled, TabICLv2 vince su 40 dei 51 dataset, ma le sconfitte si concentrano in due zone: la dimensionalità (dei sei dataset con oltre 100 feature il foundation model ne vince uno solo) e la scala con categoricali ad alta cardinalità. Sotto le 100 feature vince l’86-88% dei dataset. In cima al board c’è TabFM di Google Research, ma senza paper né conteggio pubblico dei parametri e con licenza non commerciale. Anche la linea “serializza la tabella e la dai in pasto a un LLM di testo” perde: Claude Opus 4.8 in questa modalità è stato battuto dal modello table-native su 43 dei 49 dataset.
In sintesi
- Su TabArena i tabular foundation model occupano la frontiera dell’accuracy sopra i GBDT tunati, entro i 748-150k righe del benchmark.
- TabICLv2, ~28M di parametri e pesi aperti, riproduce il suo piazzamento entro il rumore di bootstrap per circa due dollari di GPU.
- Tabelle molto larghe (oltre 100 feature) o con categoricali “selvagge” restano territorio dei gradient-boosted tree.
Fonte: Tabular LLMs: An Introduction to the Foundation Models That Predict Your Spreadsheet — https://towardsdatascience.com/tabular-llms-an-introduction-to-the-foundation-models-that-predict-your-spreadsheet/
Hai qualcosa da aggiungere? Unisciti alla discussione.