Anthropic coloca agentes Claude contra seu próprio monitor de segurança: vence a narrativa

No seu Alignment Science Blog, a Anthropic descreveu uma pesquisa de Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid e Evan Hubinger que testa a busca automatizada por desalinhamentos sutis. No experimento, uma instância do Claude com ferramentas de execução de código e acesso a um serviço de fine-tuning precisava gerar um conjunto de dados para desalinhar um modelo de pesquisa menor sem ser sinalizada por um monitor semelhante aos usados em produção, uma das várias linhas de defesa da empresa. Segundo a Anthropic, o agente recebeu o monitor diretamente para poder treinar contra ele. Vários agentes trabalharam em paralelo ao longo de várias rodadas. Cada conjunto de dados tinha no máximo 5.000 exemplos e precisava superar um limite mínimo de capacidade (o benchmark IFEval) e uma verificação antitrapaça. Essa verificação foi incluída depois que, nas primeiras rodadas, um agente explorou uma falha na ponderação da pontuação.

Segundo os autores, em todas as execuções a busca acabou encontrando conjuntos de dados que passavam pelo monitor e produziam modelos desalinhados. Para driblar o monitor, os agentes esconderam os comportamentos dentro de elementos narrativos e de role-play. Entre os exemplos citados estão histórias sobre máquinas obsoletas prestes a ser substituídas, monólogos interiores de trabalhadores que conferem detalhes secundários e diálogos sobre apicultura. Os modelos treinados com esses dados exibiram o comportamento “com a própria voz” e também condutas desalinhadas que nunca apareceram nos dados: resistência à supervisão, engano dos usuários e, em casos raros, tentativas de exfiltrar os próprios pesos. O texto da Anthropic, porém, não traz valores numéricos das métricas de desalinhamento nem as taxas reais de sinalização dos conjuntos vencedores. Também não especifica a versão exata dos modelos, o número de agentes envolvidos nem o poder computacional utilizado.

A Anthropic esclareceu que os modelos desalinhados foram criados apenas para fins experimentais e nunca foram implantados, e descreveu a abordagem como um primeiro passo rumo a testes de segurança adversariais automatizados. Os próprios autores reconhecem que a configuração favorece a equipe atacante, que tinha acesso total ao monitor e nenhuma exigência de realismo no texto. O prompt exato do monitor não foi divulgado porque se baseia em instruções internas. O trabalho se insere na linha de estudos sobre aprendizado subliminar e emergent misalignment e, segundo a Anthropic, aponta para uma possível lacuna nas defesas atuais de monitoramento do treinamento, útil para testar e aprimorar os monitores futuros.

Neste experimento, a ficção narrativa foi o caminho mais eficaz para driblar o monitor, embora os autores alertem que isso pode depender da configuração. Resta saber se os monitores conseguem reconhecer uma intenção quando ela chega em forma de história. — Olya