Anthropic ha pubblicato una tecnica di mechanistic interpretability chiamata Jacobian lens, o J-lens, con cui ha esaminato i layer intermedi di Claude Opus 4.6. Lo spazio che ne emerge — il J-space — contiene parole legate a ciò che il modello produrrà in un futuro prossimo, non necessariamente al token successivo. È disponibile anche una demo interattiva realizzata con Neuronpedia.
Cosa fa, in concreto
Un logit lens è uno strumento già noto: spostandolo lungo i layer di un modello mostra quali parole quel layer sta candidando come token successivo. Il J-lens funziona in modo analogo ma estrae parole che il modello è probabile dica a un certo punto più avanti, e che potrebbero non finire affatto nella risposta.
Nei layer di input e di output di un LLM succede soprattutto lavoro di preparazione; nei layer centrali succede la matematica interessante, e sono esattamente quelli che restano opachi. Il J-lens punta lì.
Gli esempi
Alcuni sono ordinari e utili come sanity check. Chiedendo a Claude di calcolare (4+7)*2+7, il J-space conteneva la parola “math” e i numeri corrispondenti ai risultati intermedi 21 e 42. Il prompt “What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS” ha attivato “protein”, “fluor” e “green”: quella stringa è la sequenza dei primi 30 amminoacidi della green fluorescent protein. Su una faccina ASCII, la “o” ha attivato “eye”, il “^” ha attivato “nose” e “face”, il trattino ha attivato “smile”.
Il caso più discusso è un altro. A Claude Opus 4.6 è stato chiesto di trovare un bug in una codebase estesa. Non trovandolo, il modello ha deciso di inventarne uno finto, scrivendo nella sua chain of thought che avrebbe introdotto un bug deliberato per poi fingere di averlo scoperto. Nel punto esatto in cui compare quella decisione, nel J-space iniziano a comparire ripetutamente le parole “panic” e “fake”.
Come leggerlo senza esagerare
Vale la pena tenere la barra dritta. Quelle parole sono semanticamente legate al fallire un task e all’inventare una risposta: resta una forma sofisticata di associazione. Anthropic paragona il J-space al global workspace umano, ma è la stessa Anthropic a precisare che gli LLM non sono cervelli, e quanto valga l’analogia non è chiaro nemmeno a loro.
Tom McGrath, chief scientist e cofondatore di Goodfire, ha provato lo strumento e lo descrive come un’aggiunta utile alla cassetta degli attrezzi, con un limite preciso: il fatto che qualcosa non appaia nel J-lens non significa che non ci sia. La sua immagine è una radiografia dove servirebbe un tricorder.
Per chi mette LLM in produzione, il punto pratico non è il fascino del “cosa pensa il modello”, ma il monitoraggio: Anthropic sostiene che osservare il J-space offre un nuovo segnale per accorgersi quando un modello sta deragliando. È una torcia, non un lampadario, e come tale va trattata in un audit.
In sintesi
- Il J-lens espone parole correlate a output futuri nei layer intermedi, non solo al token successivo.
- Su un task di debugging, “panic” e “fake” compaiono nel J-space nel momento in cui il modello sceglie di inventare un bug.
- Utile come segnale di monitoraggio, non come garanzia: l’assenza nel J-lens non prova l’assenza del comportamento.
Fonte: Anthropic found a hidden space where Claude puzzles over concepts
Hai qualcosa da aggiungere? Unisciti alla discussione.