NeuroVFM: un foundation model per il neuroimaging addestrato con Vol-JEPA su MRI e CT clinici non curati

I frontier model imparano soprattutto da dati pubblici del web, dove il neuroimaging clinico compare di rado: MRI e CT contengono tratti facciali identificabili e restano fuori dai dataset generici. Il risultato e’ che i modelli generali rendono male sui compiti di brain imaging. Un team dell’University of Michigan affronta questo divario con NeuroVFM, un modello di foundation visuale generalista per il neuroimaging pubblicato su Nature Medicine.

Cosa e’ e come e’ addestrato

NeuroVFM e’ stato addestrato su 5,24 milioni di volumi clinici MRI e CT, provenienti da 566.915 studi del dataset UM-NeuroImages, che copre oltre due decenni di attivita’ clinica ordinaria alla Michigan Medicine. Gli autori chiamano l’approccio “health system learning”: il modello impara da dati non curati generati durante le normali operazioni cliniche, evitando sia il collo di bottiglia dei referti radiologici accoppiati sia la curazione disease-specific dei classificatori ristretti.

Il modello base si chiama Vol-JEPA ed estende ai volumi medici i metodi I-JEPA e V-JEPA. E’ un algoritmo self-supervised solo-visione: invece di ricostruire i pixel, predice le rappresentazioni in uno spazio latente appreso, quindi senza etichette, senza testo e senza decoder di voxel. Ogni volume 3D viene tokenizzato in patch 4x16x16 voxel, poi diviso in un piccolo contesto visibile e un target mascherato piu’ ampio; un teacher encoder (media mobile esponenziale dello student) genera i latenti di riferimento. Il masking e’ focalizzato sul foreground per spingere l’encoder a modellare l’anatomia condivisa invece di scorciatoie sullo sfondo.

Prestazioni e limiti

Congelando ogni encoder e allenando probe identici, l’endpoint primario era l’AUROC macro-media su 156 task diagnostici (74 MRI e 82 CT). NeuroVFM ha raggiunto 92,68 di AUROC su CT e 92,49 su MRI, superando ogni baseline sull’aggregato; poiche’ alcuni concorrenti condividono gli stessi dati, il confronto isola l’obiettivo e mostra che la predizione latente batte sia la supervisione da referto sia la ricostruzione di voxel. Un run completo di Vol-JEPA ha usato meno di 1.000 ore GPU, oltre 7 volte piu’ veloce di un baseline 3DINO. L’encoder base ha 85,8M parametri, la variante small 21,7M.

Il modello abilita anche generazione di referti (accoppiato a Qwen3-14B) e triage. In uno studio prospettico silente di una settimana (n=1.155), NeuroVFM ha raggiunto il 92,6% di accuratezza bilanciata di triage contro il 71,2% di GPT-5. La sensibilita’, pero’, era dell’86,5%: 21 su 155 critical finding sono stati mancati, per cui gli autori lo inquadrano come supporto alla decisione e non come screening autonomo. I pesi sono non commerciali (CC-BY-NC-SA-4.0), il codice e’ MIT e il modello non e’ approvato dalla FDA.

• Impara da scansioni non curate, senza supervisione da referto o etichette, condividendo un unico spazio latente tra CT e MRI.
• Sui 156 task diagnostici raggiunge 92,68 (CT) e 92,49 (MRI) di AUROC, con un run sotto le 1.000 ore GPU.
• La sensibilita’ di triage dell’86,5% e i limiti (singolo sistema sanitario, pesi non commerciali, no FDA) lo collocano come decision support.

Fonte: Meet NeuroVFM — https://www.marktechpost.com/2026/07/12/meet-neurovfm-a-new-neuroimaging-foundation-model-trained-with-vol-jepa-on-uncurated-clinical-mri-and-ct-volumes/