Misurare la stabilita dei modelli econometrici, oltre l’accuratezza

Con la crescita del numero di variabili disponibili, la domanda pratica di ogni esercizio di modeling è: quali variabili usare e quali scartare? La data science ha introdotto un guardrail utile, definire la stabilità del modello in modo indipendente dalla sua performance. La stabilità misura come un modello impara, non cosa impara: a parità di accuratezza, si preferisce un modello più stabile, applicabile in modo generale, capace di identificare in modo consistente le variabili rilevanti e di non andare fuori controllo per piccole variazioni nei dati. L’autore si chiede se anche l’econometria dovrebbe costruire i modelli tenendo insieme accuratezza e stabilità, e come definire quest’ultima.

Perche il dominio temporale complica le cose

A differenza della k-fold cross validation, nel forecasting non si può sottocampionare in modo casuale senza perdere le relazioni temporali: il valore al tempo t è spesso correlato ai suoi lag. Inoltre rappresentazioni diverse (ARIMAX, exponential state space, basi di Fourier, basi radiali) sfruttano le relazioni temporali in modo diverso, quindi non esiste una singola tecnica di cross validation generalizzata. L’articolo si concentra sulle strutture AR e sulla funzione auto.arima del pacchetto forecast di R. Il criterio AIC seleziona coefficienti e lag riducendo l’errore (accuratezza), ma non porta alcuna informazione sulla stabilità. La proposta è misurarla guardando due cose: il valore dei coefficienti assegnati a ogni lag e la reazione del modello quando si aggiungono perturbazioni casuali ai dati. La tecnica adottata è la rolling validation, che preserva l’informazione temporale.

L’esperimento

Viene simulato un processo AR con quattro lag e vettore di coefficienti {0,7, -0,2, 0,5, -0,8}, lungo 1.000 periodi, con rolling validation a partire da n=20. Su questo dataset, auto.arima impiega circa 400 punti dati per arrivare a una soluzione numericamente stabile e accettabilmente accurata. Il dettaglio interessante: l’accuratezza out-of-sample già nei primi 200 punti (dove i coefficienti sono molto volatili) è comparabile a quella successiva; la differenza è che il modello calibrato più tardi è molto più robusto a ogni nuovo dato aggiunto.

Perturbando la stessa serie con shock casuali che non provengono dalla stessa distribuzione, l’algoritmo diventa relativamente meno accurato e, soprattutto, i coefficienti stimati cambiano completamente: AR1-AR4 risultano molto diversi dall’originale e l’algoritmo assegna erroneamente termini MA1 e MA2 non presenti nel processo vero. Un algoritmo stabile non dovrebbe farsi influenzare troppo da uno shock non giustificato. La domanda che l’autore lascia al lettore è concreta: quando il software restituisce un risultato, stiamo vedendo la stima convergente (stabile) o quella distorta dagli shock? Poiché vediamo solo il valore finale e non come vi si è arrivati, la sfumatura della stabilità va persa, e proprio quella risposta dovrebbe guidare le scelte di feature engineering, senza sacrificare la parsimonia per modelli complessi che non aggiungono insight.

• La stabilità (come un modello impara) è distinta dall’accuratezza (cosa impara), ma la condiziona direttamente.
• Nel dominio temporale la rolling validation permette di misurare stabilità e robustezza preservando le relazioni temporali, cosa che la cross validation casuale non consente.
• Nell’esperimento, auto.arima stabilizza i coefficienti dopo circa 400 punti; con shock casuali stima coefficienti sbagliati e introduce termini MA inesistenti.

Fonte: Measuring Structure Stability of Econometric Models — https://towardsdatascience.com/measuring-structure-stability-of-econometric-models-d8eb3a56e1bd/