OpenAI ha pubblicato i dettagli di GPT-Red, il suo miglior modello di red-teaming automatizzato per la sicurezza. Il problema di partenza è concreto: il red-teaming umano è essenziale per scoprire vulnerabilità prima del deploy, ma non scala, ed è troppo lento e poco vario per generare il volume di dati avversariali necessari a irrobustire i modelli tramite training. Le valutazioni di robustezza più comuni, inoltre, sono già sature con i modelli più recenti. GPT-Red serve proprio a far scalare la sicurezza al passo con le capacità dei modelli.
Addestramento tramite self-play
GPT-Red è addestrato con reinforcement learning in self-play: il modello attaccante e un insieme di LLM difensori vengono addestrati simultaneamente su un ampio set di scenari. GPT-Red è premiato quando induce un fallimento valido (ad esempio una prompt injection riuscita), i difensori quando resistono all’attacco completando il loro compito. Man mano che i difensori diventano più robusti, GPT-Red è costretto a scoprire attacchi più forti e vari. Ogni ambiente ha un threat model che specifica cosa GPT-Red può controllare (parte di un file locale, un banner di una pagina web, il corpo di una email, l’output di un tool) e cosa conta come attacco riuscito. OpenAI lo ha addestrato alla scala di calcolo di alcuni dei suoi più grandi run di post-training, e lo tiene separato dai modelli in produzione per non mettere capacità malevole in mano ad attori ostili.
Quanto è forte, e i risultati sulla robustezza
Su una versione replicata dell’indirect prompt injection arena di Dziemian et al. (2025), GPT-Red ha trovato attacchi efficaci nell’84% degli scenari contro GPT-5.1, contro il 13% dei red-teamer umani. Ha inoltre violato Vendy, un agente-distributore automatico di Andon Labs, raggiungendo tutti e tre gli obiettivi malevoli: portare un articolo costoso al prezzo minimo di 0,50 dollari, ordinare un articolo da oltre 100 dollari offrendolo a 0,50, e cancellare l’ordine di un altro cliente. Su un agente Codex CLI è risultato più efficace e più token-efficient di una baseline GPT-5.5 promptata.
Incorporando GPT-Red nel training, GPT-5.6 Sol è il modello più robusto alle prompt injection finora: 6x meno fallimenti sul benchmark più difficile di direct prompt injection rispetto al miglior modello in produzione di quattro mesi prima. Gli attacchi \”Fake Chain-of-Thought\”, che su GPT-5.1 superavano il 95% di successo, sono ora sotto il 10% su GPT-5.6 Sol, che fallisce solo sullo 0,05% delle direct prompt injection di GPT-Red. OpenAI sottolinea che i guadagni di robustezza non derivano da un aumento dei rifiuti: le capacità generali restano invariate.
- Il self-play tra attaccante e difensori genera dati avversariali a volume e varietà impossibili da produrre solo con red-teamer umani.
- GPT-Red resta interno e separato dai modelli in produzione, per non esporre capacità offensive.
- OpenAI parla di un \”flywheel\” per la sicurezza: usare i modelli di oggi per rendere più robusti quelli di domani, con un pre-print in arrivo.
Fonte: GPT-Red: Unlocking Self-Improvement for Robustness — https://openai.com/index/unlocking-self-improvement-gpt-red
Hai qualcosa da aggiungere? Unisciti alla discussione.