Un articolo su Towards Data Science firmato da Magdalena Ruducha smonta un’intuizione diffusa: che le correlazioni spurie riguardino solo i dataset grandi e ad alta dimensionalità. La tesi, costruita sulla geometria del coefficiente di correlazione di Pearson, è che il problema dipende soprattutto dal numero di soggetti, non dal numero di variabili misurate.
Il punto di partenza è un esempio: la correlazione tra colesterolo e pressione misurata su 10 pazienti risulta 0,62. È evidenza di una relazione? Non necessariamente. La distribuzione di una correlazione campionaria, quando le variabili sono indipendenti e la correlazione vera è zero, dipende dal numero di soggetti. Con pochi dati, valori grandi compaiono per puro caso.
La geometria del caso
L’autrice mostra che la correlazione di Pearson è il coseno dell’angolo tra due vettori centrati. Centrando i dati si perde l’informazione sulla posizione, normalizzando quella sulla scala: i vettori finiscono su una sfera unitaria. Sotto l’ipotesi gaussiana, per rotazione, le direzioni sono uniformi su quella sfera, e da lì si ricava la distribuzione esatta della correlazione.
Le conseguenze pratiche sono controintuitive. Con n = 3 soggetti, la soglia di rifiuto al 5% bilaterale è |r| > 0,997: correlazioni più piccole non bastano. Con n = 4, la distribuzione è uniforme e la soglia resta |r| > 0,95. Sotto queste condizioni, con solo 3 soggetti è più probabile osservare una correlazione vicina a ±1 che vicina a 0, anche se le variabili non hanno alcun legame.
Perché conta per chi legge dati
La probabilità di ottenere |r| > 0,4 con 3 soggetti indipendenti è circa il 74%; con 10 osservazioni è ancora il 25%; con n = 100 scende a circa 36 casi per milione. In uno studio su 10 topi con 20.000 geni contro un esito non correlato, ci si aspettano oltre 1.300 coppie con |r| > 0,6 anche senza alcun legame biologico: ecco perché le correzioni per test multipli sono standard.
L’autrice segnala anche che la distribuzione esatta, derivata per dati gaussiani, resta una buona approssimazione per distribuzioni simmetriche a varianza finita anche con n piccolissimo, mentre dati asimmetrici (come l’esponenziale) richiedono quantili empirici. Molte implementazioni, tra cui scipy.stats.pearsonr, usano proprio quella distribuzione esatta.
La conclusione operativa è una sola: prima di dare peso a una correlazione notevole, controllate la numerosità del campione. Potrebbe essere una scoperta, o solo due vettori finiti vicini su una sfera per caso.
In sintesi
- Le correlazioni spurie nascono dalla dimensione del campione, non dal numero di variabili.
- Con pochi soggetti, valori come |r| = 0,4 non sono evidenza di nulla.
- Interpretare sempre una correlazione insieme alla numerosità, e usare correzioni per test multipli quando si esaminano molte coppie.
Fonte: Inside the Subspace Where Spurious Correlations Are Born
Hai qualcosa da aggiungere? Unisciti alla discussione.