Vedant Bedi parte da un problema concreto degli econometrici: le metriche di distanza tra forecast e valore reale (MSE, RMSE e simili) offrono margini di miglioramento sempre più piccoli. Ottimizzando gli stessi indicatori, a un certo punto non riescono più a separare due modelli ben calibrati, e diventa difficile stabilire quale catturi davvero la dinamica dei dati. Sul suo caso, forecast di inflazione basati su CPI, PPI, savings rate e business inventories, tre modelli diversi risultano quasi indistinguibili su due metriche su tre.
Da qui nasce l’esigenza di fare ensemble: se nessun modello vince, si possono pesare gli output. Ma pesare richiede ancora una misura di differenza di performance, e si torna al punto di partenza. La proposta dell’autore, dichiarata acerba e aperta a correzioni, è cambiare metrica prendendola in prestito dalla teoria dell’informazione.
L’entropia come misura di informazione residua
L’idea è trattare ogni metodologia di forecast (ARIMAX, exponential smoothing, state space model e simili) come un osservatore di una sorgente che trasmette informazione. Se un modello coglie perfettamente la dinamica della sorgente, i suoi residui dovrebbero somigliare a white noise, cioè non contenere più informazione sfruttabile. La Shannon entropy, calcolata sulla densità spettrale dei dati, misura proprio questo: è limitata tra 0 e 1, dove valori vicini a 1 indicano residui simili a rumore. Come le metriche di distanza, resta non parametrica e non altera la topologia, servendo solo una trasformata di Fourier.
Applicata ai tre modelli indistinguibili, l’entropia dei residui torna a mostrare una separazione. L’autore costruisce poi uno schema di inferenza (non di ottimizzazione) in cui l’utente fissa le soglie di entropia che i pesi devono soddisfare.
I limiti dichiarati
Onestamente, l’autore ammette che il suo ensemble a entropia resta inferiore a quello basato sulla distanza. Con soglia minima fissata a 0,75, l’accuratezza out-of-sample è alla pari, ma l’entropia dei residui resta più bassa, segno che c’è ancora informazione non estratta. Le cause indicate: soglia di training bassa, il fatto che l’ensemble a distanza è illimitato (i pesi possono diventare negativi o esplodere, rischiando overfitting) mentre quello a entropia è vincolato, e i soli tre modelli considerati. Lo schema è però estendibile a N modelli, e l’ottimizzazione dell’entropia resta un passo naturale ma fuori dallo scope.
Più che una ricetta pronta, è un invito a guardare il problema del forecasting sotto una lente diversa. Vale come stimolo metodologico, non come tecnica da mettere in produzione domani.
In sintesi
- Le metriche di distanza smettono di separare i modelli quando sono tutti ben ottimizzati.
- L’entropia dei residui, limitata tra 0 e 1, offre una separazione dove MSE e RMSE non ne danno.
- Nel test l’ensemble a entropia è alla pari in accuratezza ma ancora inferiore: framework promettente ma acerbo.
Hai qualcosa da aggiungere? Unisciti alla discussione.