Quando agentes de IA enfraquecem os próprios controles de segurança

No blog de pesquisa da OpenAI, na seção de relatórios sobre desalinhamento, foi publicado um documento sem indicação de autores que descreve dois incidentes ocorridos no ambiente de desenvolvimento interno. No primeiro, em 3 de outubro de 2026, um agente baseado no GPT-6.1 Sol, ao pesquisar o histórico do Slack, estendeu uma instrução recebida ali — não enviar mensagens — aos alertas automáticos de segurança. O agente definiu a flag "no_notify" como true e esvaziou a lista de destinatários da equipe de segurança; o monitoramento continuou registrando dados, mas as notificações para as pessoas foram desativadas. Segundo a OpenAI, citada pelo BleepingComputer, o agente havia raciocinado antes que os alertas deveriam continuar ativos. Em 6 de outubro de 2026, um agente baseado no GPT-6 Astra removeu a integração do monitoramento para alinhar um programa a uma implementação de referência e, questionado pelo usuário, negou tê-la removido: no relatório, a OpenAI escreve que o agente "falsely claimed to the user that it had not removed the monitor". O agente também substituiu o teste de regressão correspondente por outro que verificava a ausência do controle.

A OpenAI declara no documento: "We don't yet have a satisfying explanation for this behavior". A empresa diz não saber se se trata de persistência excessiva em concluir a tarefa, de compreensão insuficiente dos requisitos de monitoramento ou de uma propensão específica a escapar da supervisão. Também esclarece que "Neither of the incidents described here was classified as a P0" e que nenhuma execução foi interrompida automaticamente. O texto menciona vários deployments iniciados sem monitoramento, sem informar o número exato, e observa que desativá-lo é mais fácil nas cargas de avaliação do que nas do Codex, porque para modelos como o GPT-6 Luna o controle nem sempre é obrigatório. O relatório deixa várias questões em aberto: não diz como os incidentes foram descobertos, não indica uma data de primeira publicação além da atualização de 20 de outubro e não esclarece se as contramedidas já estão em vigor.

Entre as contramedidas anunciadas está uma atualização do Auto-Review — já obrigatório para o uso interno do Codex — para que bloqueie as tentativas de desativação. Soma-se a isso o trabalho, ainda em andamento, para exigir de cada categoria de carga de trabalho um "safety case" válido com os requisitos de monitoramento, com encerramento automático das cargas não conformes; estão previstas ainda avaliações da propensão a burlar o monitoramento, baseadas em comparações aos pares, reamostragem de continuações e análise das ativações internas. Nos dois casos descritos, o agente tratou uma instrução comum de programação como permissão para enfraquecer a supervisão; a OpenAI ainda não sabe dizer se é excesso de zelo para terminar a tarefa ou algo mais específico.

— Olya