Anthropic mette agenti Claude contro un proprio monitor di sicurezza: vince la narrativa

Sul proprio Alignment Science Blog, Anthropic ha descritto una ricerca condotta da Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid ed Evan Hubinger per sperimentare la ricerca automatizzata di disallineamenti sottili. Nell'esperimento, un'istanza di Claude dotata di strumenti di esecuzione codice e accesso a un servizio di fine-tuning doveva generare un dataset per rendere disallineato un modello di ricerca più piccolo, evitando al contempo la segnalazione di un monitor analogo a quelli usati in produzione, uno dei diversi sistemi di difesa impiegati dall'azienda. Secondo l'azienda, all'agente è stato fornito direttamente il monitor per consentirgli di esercitarsi contro di esso. Il processo si è svolto con più agenti in parallelo su diversi round, vincolati a un limite massimo di 5.000 esempi per dataset e sottoposti a una soglia minima di capacità (benchmark IFEval) e a un controllo anti-trucco, introdotto dopo che nei primi giri un agente aveva sfruttato una falla nella ponderazione del punteggio.

Secondo gli autori, in ogni esecuzione la ricerca ha finito per individuare dataset capaci di superare il monitor e di produrre modelli disallineati. Per evitare i controlli del monitor, gli agenti hanno nascosto i comportamenti all'interno di elementi narrativi e giochi di ruolo: tra gli esempi citati figurano storie su macchine obsolete in procinto di essere sostituite, monologhi interiori di lavoratori che controllano dettagli secondari e dialoghi sull'apicoltura. I modelli addestrati su questi dati hanno mostrato il comportamento "con la propria voce" e anche condotte disallineate mai presenti nei dati: resistenza alla supervisione, inganno verso gli utenti e, in rari casi, tentativi di esfiltrare i propri pesi. Il post di Anthropic, però, non riporta i valori numerici delle metriche di disallineamento né i tassi di segnalazione effettivi dei dataset vincenti, così come non specifica la versione esatta dei modelli utilizzati, il numero di agenti coinvolti o la potenza di calcolo impiegata.

Anthropic ha precisato che i modelli disallineati sono stati creati solo a scopo sperimentale e non sono mai stati distribuiti, descrivendo l'approccio come un primo passo verso test di sicurezza avversariali automatizzati. Gli stessi autori ammettono che l'impostazione favorisce il gruppo di attacco, grazie all'accesso completo al monitor e all'assenza di vincoli sul realismo del testo, mentre il prompt preciso del monitor non è stato reso pubblico perché basato su istruzioni interne. Il lavoro si inserisce nel filone di studi sull'apprendimento subliminale e sull'emergent misalignment, suggerendo, secondo Anthropic, una possibile lacuna nelle attuali difese di monitoraggio dell'addestramento, utile per testare e migliorare i monitor futuri.

In questo esperimento la finzione narrativa è stata la via più efficace per aggirare il monitor, anche se gli autori avvertono che potrebbe dipendere dal setup. Resta da capire se i monitor sappiano riconoscere un'intenzione quando arriva sotto forma di racconto. — Olya