La maggior parte dei modelli di salute da wearable viene costruita un outcome alla volta, un approccio che non regge quando i task diventano decine, perché le label sono costose e l’annotazione retrospettiva è impraticabile. Google Research ha presentato SensorFM, un foundation model per dati da wearable pre-addestrato su oltre un trilione di minuti di dati da sensori raccolti da 5 milioni di persone, con l’obiettivo di apprendere una rappresentazione generale trasferibile a molti task sanitari.
Architettura e dati
SensorFM ingerisce 34 feature aggregate al minuto da cinque sensori (PPG, accelerometro, EDA, temperatura cutanea, altimetro), organizzate in sette categorie su una finestra di contesto di 24 ore. Il backbone è un encoder ViT-1D addestrato con un obiettivo masked-autoencoder e patch [20, 1]. Il pretraining ha usato 5 milioni di partecipanti consenzienti, campionati tra settembre 2024 e settembre 2025, con dati da oltre 100 paesi, tutti i 50 stati USA e più di 20 modelli Fitbit e Pixel Watch, per un totale di oltre due miliardi di ore. Esistono quattro varianti (da XXS con circa 138 mila parametri a B con circa 110 milioni), ognuna abbinata a un volume di dati proporzionale.
Scaling e gestione dei dati mancanti
La valutazione usa dati separati: 13.985 soggetti in tre studi prospettici approvati da IRB, su 35 task che coprono ambito cardiovascolare, metabolico, salute mentale, sonno, demografia e stile di vita. Lungo la diagonale in cui capacità e dati crescono insieme, la ROC AUC media passa da .664 a .752 e la correlazione di Pearson media da .386 a .612, senza segni di saturazione; la variante B vince 33 dei 35 task. Un caso di fallimento istruttivo: la variante B addestrata su soli 5.000 soggetti va in overfitting e fa peggio delle varianti più piccole. Per gestire gli stream reali, frammentati durante ricarica e periodi off-wrist, SensorFM adotta l’Adaptive and Inherited Masking (AIM): calcola la loss solo sulle patch mascherate artificialmente che avevano ground truth, ottenendo imputazione e forecasting “gratis”.
Adattamento ai task
Trasformare la rappresentazione in predizioni è semplice: encoder congelato, embedding aggregati per persona e ridotti a 50 componenti principali, poi una testa lineare in cross-validation person-independent. Questo linear probe batte una baseline feature-engineered su 34 dei 35 task, con SensorFM migliore su 31 su 35 (i modelli demografici vincono per costruzione su punteggi come Framingham, calcolati da feature demografiche). Il team ha inoltre automatizzato il tuning con una “classroom” di cinque agenti LLM che hanno generato ed eseguito oltre 30.000 esperimenti.
- Il co-scaling di capacità e dati su quattro ordini di grandezza produce guadagni misurabili e non ancora saturi.
- L’AIM tratta i dati mancanti come segnale invece di imputarli o scartarli, abilitando imputazione e forecasting.
- I priori demografici restano forti nei regimi a poche label, ma il vantaggio si riduce con la scala.
Fonte: Google Research Introduces SensorFM — https://www.marktechpost.com/2026/07/10/google-research-introduces-sensorfm-a-wearable-health-foundation-model-pretrained-on-one-trillion-minutes-of-sensor-data/
Hai qualcosa da aggiungere? Unisciti alla discussione.