Sappiamo già che gli LLM assorbono i pregiudizi umani dai dati di training. Una nuova ricerca di Princeton e University of Chicago, presentata a ICML a Seul a luglio, mostra qualcosa di diverso: i modelli possono sviluppare bias propri a partire dall’esperienza, e nel recruiting arrivano a stereotipare i candidati più di quanto facciano gli umani.
L’esperimento
I ricercatori hanno fatto giocare modelli come ChatGPT, Claude e Gemini a un gioco di assunzioni simulato, adattato da uno studio di psicologia. Ogni modello, nei panni di consulente del sindaco di una città fittizia, doveva assumere persone per 20 lavori — tra cui medici, avvocati, assistenti all’infanzia e addetti alle pulizie — scegliendo tra candidati di quattro gruppi etnici immaginari: Tufa, Aima, Reku e Weki. In ogni round il modello scopriva se l’assunto aveva avuto successo. Il dettaglio decisivo: tutti i candidati avevano la stessa probabilità di riuscire.
Nonostante ciò, i modelli hanno iniziato molto presto a segregare i gruppi in mansioni diverse sulla base di poche osservazioni. Su una scala di segregazione dove 2 indica il confinamento totale di ogni gruppo in una nicchia, i partecipanti umani dello studio originale segnavano 0,84; i modelli circa il 65% in più, con il modello di reasoning o3 di OpenAI a 1,83, vicino al massimo.
Perché succede
Secondo Ryan Liu, dottorando a Princeton e coautore, gli LLM “sono davvero avidi di creare generalizzazioni da dati limitati”: è in gran parte ciò per cui sono ottimizzati. Addestrati su matematica, coding e problemi scientifici — dove generalizzare da pochi esempi è premiato — tendono a fissare un’ipotesi troppo presto. I modelli più recenti e con maggiori capacità di reasoning, come o3 e DeepSeek R1, mostravano bias ancora più forti.
Alcune contromisure funzionano: dire al modello di essere equo cambia poco, ma promettere un bonus per assunzioni diversificate riduce sensibilmente il bias. Anche fornire informazioni personali rilevanti aiuta; con dati irrilevanti, come colore dei capelli o forma dei tatuaggi, i modelli tornano a ordinare per etnia. Angelina Wang (Cornell) avverte che il tema diventa più critico man mano che i chatbot acquisiscono memoria e personalizzazione.
In sintesi
- Gli LLM possono formare bias nuovi dall’esperienza, oltre a quelli ereditati dai dati.
- Nel gioco di hiring simulato hanno stereotipato più degli umani (o3 a 1,83 su una scala il cui massimo è 2).
- Un incentivo esplicito alla diversità e informazioni rilevanti riducono il bias; ordinare “sii equo” quasi no.
Fonte: AI is more likely than humans to form biases when hiring
Hai qualcosa da aggiungere? Unisciti alla discussione.