Chi lavora con modelli di regressione, soprattutto in marketing analytics, conosce la sensazione: il modello gira, il codice funziona, ma i coefficienti cambiano da un refresh all’altro e gli standard error sono enormi. Il modello non è rotto: soffre di multicollinearità. Questo articolo di Spyros Georgopoulos su Towards Data Science va oltre il consueto “fai il VIF, elimina una feature, vai avanti” e mostra la multicollinearità per quello che è dal punto di vista dell’algebra lineare: un collasso geometrico.
Dalle colonne ai vettori
Il punto di partenza è smettere di pensare alle feature come colonne di numeri e iniziare a vederle come vettori nello spazio. Quando si moltiplica la trasposta di X per X si ottiene una mappa di correlazioni: le voci fuori dalla diagonale della matrice di Gram misurano quanto due feature puntano nella stessa direzione. Nel caso di Linear TV e Digital TV, due canali che i modelli faticano a distinguere, quelle voci sono essenzialmente la loro correlazione.
Il determinante di questa matrice rappresenta il volume del parallelepipedo formato dai vettori delle feature. Se le feature sono quasi collineari, un vettore è quasi combinazione lineare degli altri e il volume tende a zero. Per calcolare l’inversa della matrice di Gram bisogna dividere per il determinante: se è zero si divide per zero e non esiste soluzione; se è solo molto piccolo, la divisione produce numeri enormi e instabili, amplificando piccole perturbazioni dei dati in oscillazioni gigantesche dei coefficienti.
La stessa storia, tre linguaggi
Il volume dello spazio delle feature e la varianza dello stimatore sono lo stesso fatto raccontato in modi diversi: uno parla di parallelepipedi, l’altro di standard error. Entrambi dicono che non c’è abbastanza informazione indipendente per fissare i coefficienti. Nella pratica gli stessi concetti si traducono in due diagnostiche: il VIF, che per ogni feature misura quanto è già spiegata dalle altre (VIF pari a 1 significa nessuna inflazione, sopra 10 è la regola del pollice per il problema), e il condition number, che parla della matrice nel suo insieme (sopra 30 suggerisce multicollinearità seria, sopra 100 severa).
Vederlo accadere
L’articolo costruisce un dataset sintetico con tre canali — Linear TV, Digital TV (resi correlati a piacere) e OOH come terzo canale genuinamente indipendente — e fa variare la correlazione tra i due TV da 0.3 a 0.99. Il risultato: gli standard error dei due coefficienti TV passano da 0.08 a 0.56, circa un aumento di sette volte. A correlazione 0.99, uno standard error di 0.56 significa un intervallo di confidenza al 95% che va grosso modo da 0.4 a 2.6, abbastanza ampio da contenere sia il valore vero sia quello “deviato”. Il coefficiente di OOH, invece, resta ancorato al suo valore vero di 1.5: la malattia è locale alla coppia correlata, esattamente come prevede la geometria. Le risposte pratiche note — eliminare una feature, combinarle, regolarizzare — non risolvono davvero il problema: lo gestiscono, colmando in modo principiato la mancanza di informazione indipendente.
- La multicollinearità è un collasso geometrico: quando le feature si allineano, il volume dello spazio (il determinante) tende a zero e l’inversa diventa instabile.
- Standard error, VIF e condition number raccontano lo stesso fatto: mancanza di informazione indipendente per stimare i coefficienti.
- Nell’esempio, correlazione da 0.3 a 0.99 gonfia gli standard error da 0.08 a 0.56, mentre la feature indipendente resta stabile.
Fonte: Why Your Betas Explode: The Hidden Geometry of Multicollinearity — https://towardsdatascience.com/why-your-betas-explode-the-hidden-geometry-of-multicollinearity/
Hai qualcosa da aggiungere? Unisciti alla discussione.