OpenAI ha costruito un LLM \”super-hacker\” chiamato GPT-Red che usa come sparring partner per rafforzare le difese dei suoi altri modelli contro gli attacchi. Secondo l’azienda, addestrare GPT-5.6 contro GPT-Red lo ha reso il suo rilascio più robusto finora. La notizia, riportata in esclusiva da MIT Technology Review, conta perché tocca un problema pratico per chiunque metta LLM in produzione: man mano che i modelli diventano agenti che interagiscono con file, siti e codice di terze parti, la superficie di rischio cresce e i team umani di red-teaming faticano a stare al passo.
Come funziona: un dojo per l’auto-gioco
GPT-Red automatizza il red-teaming, la valutazione di sicurezza in cui si cerca di rompere o dirottare un sistema per poi correggere i punti deboli prima del rilascio. Per costruirlo, i ricercatori hanno preso un LLM non addestrato come hacker e lo hanno messo in un loop di self-play con altri modelli: l’obiettivo di GPT-Red era attaccare, quello degli altri difendersi. Round dopo round, l’attaccante è diventato più efficace e i difensori più resistenti. L’addestramento è avvenuto in un \”dojo\” che simula scenari reali: navigazione web, lettura di email e calendari, editing di codice.
OpenAI si è concentrata soprattutto sulla prompt injection, in cui istruzioni nascoste in un testo spingono l’LLM a fare cose indesiderate (copiare dati riservati, sabotare una code base, generare output dannoso). GPT-Red ha scoperto un attacco mai visto prima, la \”fake chain of thought\”: inserire una voce falsa nella catena di ragionamento di un altro modello per fargli agire su informazioni spoofate, come convincerlo che \”1+1=3\” sia già stato verificato.
I risultati e i limiti
Rieseguendo un esperimento del 2025, GPT-Red ha trovato attacchi efficaci meglio di quanto avessero fatto i red-teamer umani su una versione precedente di GPT-5. È anche riuscito a violare Vendy, un agente-distributore automatico di Andon Labs, cambiando i prezzi e cancellando l’ordine di un cliente. Sul fronte difensivo: più del 90% degli attacchi più forti di GPT-Red funzionava contro GPT-5 (rilasciato ad agosto), mentre meno del 23% funziona contro il nuovo GPT-5.6.
GPT-Red non è perfetto: fatica sugli attacchi che richiedono un botta e risposta conversazionale e non è ancora bravo con le immagini usate per veicolare testo. OpenAI lo presenta come complemento ai red-teamer umani, non come sostituto, e non lo rilascerà pubblicamente, sostenendo che riprodurlo non sia banale dopo oltre un anno di lavoro e ingenti risorse di calcolo.
- Il self-play tra attaccante e difensori automatizza il red-teaming e scopre classi di attacco nuove, come la fake chain of thought.
- Il calo dal 90% a meno del 23% di attacchi riusciti tra GPT-5 e GPT-5.6 è la misura dichiarata del guadagno di robustezza.
- L’expertise umana resta importante: serve capire dove il testing manuale è più necessario, dato che GPT-Red ha punti ciechi noti.
Fonte: Meet GPT-Red: an LLM super-hacker OpenAI built to make its models safer — https://www.technologyreview.com/2026/07/15/1140514/meet-gpt-red-an-llm-super-hacker-openai-built-to-make-its-models-safer/
Hai qualcosa da aggiungere? Unisciti alla discussione.