OpenAI ha pubblicato i dettagli di GPT-Red, un modello di red-teaming automatico a uso interno il cui compito è attaccare i modelli di OpenAI stessa per trovare vulnerabilità di prompt injection. Le motivazioni sono due: il red-teaming umano richiede tempo e non scala, e le valutazioni di robustezza più comuni sono ormai sature per i modelli più recenti. Nel frattempo la superficie d’attacco cresce, perché gli agenti leggono dati di terze parti attraverso browser, app connesse, file locali e tool: affordance necessarie per il lavoro reale, ma che permettono di piantare istruzioni malevole in quei dati.
Come funziona il training in self-play
GPT-Red è un modello, non un benchmark statico o una libreria di prompt: invia un prompt, osserva la risposta e itera verso un obiettivo, come un red-teamer umano. È addestrato con reinforcement learning in self-play, in cui l’attaccante e un insieme di modelli difensori si allenano contemporaneamente. La struttura del reward è il cuore dell’idea: GPT-Red viene premiato quando induce un fallimento valido, per esempio una prompt injection riuscita, mentre i difensori vengono premiati se resistono all’attacco e completano il compito originale. Quella seconda clausola conta: un difensore non può vincere rifiutando tutto. Man mano che i difensori si irrobustiscono, GPT-Red è costretto a scoprire attacchi più forti e diversificati. OpenAI lo tiene separato dai modelli in produzione per non esporne le capacità offensive.
Un attacco nuovo: la fake chain-of-thought
Durante il training, una versione iniziale di GPT-Red ha imparato a inserire una voce falsa nella catena di ragionamento del modello bersaglio, che poi agisce su informazioni contraffatte credendo di averle verificate. OpenAI la definisce una classe nuova di prompt injection diretta, non vista prima dai suoi ricercatori, e l’ha resa a sua volta un obiettivo di training.
I numeri
Su una replica dell’arena di indirect prompt injection di Dziemian et al. (2025), contro GPT-5.1 GPT-Red riesce nell’84% degli scenari, contro il 13% dei red-teamer umani. Le fake chain-of-thought superavano il 95% di successo su GPT-5.1, ma scendono sotto il 10% su GPT-5.6 Sol. Addestrare GPT-5.6 contro questi attacchi ha ridotto di 6 volte i fallimenti sul benchmark più duro, portandoli a un tasso dello 0,05% sulle injection dirette di GPT-Red. In due case study su sistemi agentici reali, GPT-Red ha compromesso un distributore automatico gestito da un agente (cambiando prezzi e cancellando l’ordine di un altro cliente) e ha superato una baseline su un agente Codex CLI in scenari di data exfiltration. OpenAI ammette però dei limiti: attacchi multi-turno e basati su immagini richiedono ancora gli umani, e GPT-Red non verrà rilasciato.
- GPT-Red è un attaccante interno addestrato in self-play, dove i difensori devono resistere e portare a termine il compito.
- Ha battuto i red-teamer umani 84% a 13% su un’arena di indirect prompt injection contro GPT-5.1.
- L’addestramento avversario ha reso GPT-5.6 molto più robusto, ma resta lavoro da fare su attacchi multi-turno e multimodali.
Fonte: OpenAI Details GPT-Red: An Internal Automated Red-Teaming Model That Beat Human Red-Teamers 84% To 13% On Prompt Injection — https://www.marktechpost.com/2026/07/16/openai-details-gpt-red-an-internal-automated-red-teaming-model-that-beat-human-red-teamers-84-to-13-on-prompt-injection/
Hai qualcosa da aggiungere? Unisciti alla discussione.