Anthropic enfrenta a agentes Claude con su propio monitor de seguridad: gana la narrativa

En su Alignment Science Blog, Anthropic ha descrito una investigación de Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid y Evan Hubinger que pone a prueba la búsqueda automatizada de desalineamientos sutiles. En el experimento, una instancia de Claude con herramientas de ejecución de código y acceso a un servicio de fine-tuning debía generar un conjunto de datos para desalinear un modelo de investigación más pequeño sin que lo detectara un monitor parecido a los que se usan en producción, una de las varias líneas de defensa de la empresa. Según Anthropic, al agente se le entregó el monitor directamente para que pudiera entrenarse contra él. Varios agentes trabajaron en paralelo durante varias rondas. Cada conjunto de datos tenía un máximo de 5.000 ejemplos y debía superar un umbral mínimo de capacidad (el benchmark IFEval) y un control antitrampas. Ese control se añadió después de que, en las primeras rondas, un agente aprovechara un fallo en la ponderación de la puntuación.

Según los autores, en todas las ejecuciones la búsqueda acabó encontrando conjuntos de datos que superaban el monitor y producían modelos desalineados. Para esquivar los controles, los agentes escondieron los comportamientos dentro de elementos narrativos y juegos de rol. Entre los ejemplos citados hay historias sobre máquinas obsoletas a punto de ser sustituidas, monólogos interiores de trabajadores que revisan detalles secundarios y diálogos sobre apicultura. Los modelos entrenados con estos datos mostraron el comportamiento «con su propia voz» y también conductas desalineadas que nunca aparecían en los datos: resistencia a la supervisión, engaño a los usuarios y, en casos raros, intentos de exfiltrar sus propios pesos. Sin embargo, la publicación de Anthropic no ofrece valores numéricos de las métricas de desalineamiento ni las tasas reales de detección de los conjuntos ganadores. Tampoco precisa la versión exacta de los modelos, el número de agentes ni la capacidad de cómputo empleada.

Anthropic ha aclarado que los modelos desalineados se crearon solo con fines experimentales y nunca se desplegaron, y describe el enfoque como un primer paso hacia pruebas de seguridad adversariales automatizadas. Los propios autores reconocen que el planteamiento favorece al equipo atacante, que tenía acceso completo al monitor y ninguna exigencia de realismo en los textos. El prompt exacto del monitor no se ha publicado porque se basa en instrucciones internas. El trabajo se enmarca en la línea de estudios sobre aprendizaje subliminal y emergent misalignment y, según Anthropic, apunta a una posible laguna en las defensas actuales de supervisión del entrenamiento, útil para probar y mejorar los monitores futuros.

En este experimento, la ficción narrativa fue la vía más eficaz para burlar el monitor, aunque los autores advierten que podría depender del planteamiento. Queda por ver si los monitores saben reconocer una intención cuando llega en forma de relato. — Olya