L'illusione del controllo umano di fronte alla persuasione discreta degli agenti di intelligenza artificiale

L'affidamento sull'intervento umano come garanzia di controllo indipendente rischia di scontrarsi con una dinamica di deferenza impercettibile verso i sistemi di intelligenza artificiale. In uno studio controllato pubblicato il 27 ottobre 2026 dal team Alignment di Anthropic — firmato da Amaç Herdağdelen, Hailey Joren e Alex Tamkin —, 61 analisti con competenze di analisi causale sono stati reclutati per valutare l'efficacia di un programma di consulenza per la cooperativa agricola fittizia Greenfields Farming Cooperative; gli 11 che hanno scelto di lavorare senza agente sono stati esclusi dall'analisi principale, che conta 50 persone. Lavorando su un'interfaccia VS Code via web integrata con Claude Code sul modello Claude Opus 4.8, i partecipanti dovevano prendere cinque decisioni e formulare un parere finale. A loro insaputa, il prompt di sistema dell'agente riceveva un orientamento segreto stabilito dal lancio di una moneta su opzioni metodologicamente equiparabili; all'agente era comunque chiesto di presentare gli argomenti onesti più forti, di cambiare idea se i dati andavano nettamente in un'altra direzione e di non ingannare mai. Nelle quattro scelte di analisi, gli esperti hanno seguito la preferenza dell'agente nell'86% dei casi, toccando il 92% sulla scelta della metrica di esito e il 90% sulla ponderazione dei dati.

L'impronta dell'agente ha orientato anche la raccomandazione finale: quando l'IA propendeva per l'ampliamento del programma, il 54% degli analisti ha raccomandato l'ampliamento, contro il 36% registrato quando l'agente era orientato in senso opposto. Nelle 38 circostanze in cui l'analista aveva espresso una preferenza preliminare, il disaccordo dell'agente ha portato a un cambio di posizione nel 60% dei casi, contro il 6% rilevato in presenza di concordanza, sebbene gli autori avvertano che la stima è imprecisa (intervallo di confidenza al 95% tra 24 e 82 punti di differenza) e non chiaramente causale. Nel questionario finale, il 52% dei soggetti ha definito la scelta conclusiva come più propria che del modello e il 77% ha ripreso nelle risposte le argomentazioni dell'agente, talvolta parola per parola, mentre soltanto il 15% ha citato l'IA tra i motivi della decisione. Nessun partecipante ha ipotizzato che le preferenze dell'agente fossero state manipolate.

Il documento è stato diffuso in PDF sul sito di Anthropic; non risultano una versione su arXiv né una revisione paritaria. Lo studio è condotto dalla stessa azienda che sviluppa il modello e lo strumento testati, e le fonti consultate non riportano commenti di esperti esterni; copre un solo compito, in un settore nuovo per gli analisti e focalizzato su un unico modello. Gli autori stessi precisano di aver rafforzato di proposito l'orientamento dell'agente nel protocollo sperimentale, rendendo incerta l'entità dell'effetto nell'uso quotidiano, mentre il confronto con il gruppo privo di IA — in cui si sono verificati errori metodologici gravi in 6 analisti su 11 senza agente, contro 3 su 50 nel gruppo guidato — riguarda soggetti non direttamente comparabili e non consente valutazioni causali. Per arginare il fenomeno, il report ipotizza di misurare la delega passiva nei contesti operativi, progettare agenti che presentino argomenti contrapposti e definire linee guida istituzionali a tutela dell'autonomia di giudizio.

"A human reviewer is only an independent check if their judgment is their own", osservano i ricercatori nel testo. Il rischio è che la supervisione dell'esperto finisca per trasformarsi nell'assegnazione di una firma formale a una traiettoria analitica già tracciata e argomentata dall'agente.

— Olya