La distancia entre ejecutar código y reescribir el aprendizaje

El 20 de agosto de 2026 se depositó en arXiv el preprint «AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement», firmado por Yizhe Chi, Wenyi Li, Deyao Hong, Xiaoqiu Wang, Mingju Gao, Kaisen Yang, Bingxiang He, Youjie Zheng, Calvin Xiao y el autor de correspondencia Qinhuai Na. Los autores, que en el documento declaran afiliaciones con Navers Lab, Einsia.AI y la Universidad Tsinghua, proponen una suite para evaluar si un agente de programación es capaz de reescribir el algoritmo de entrenamiento de un modelo —es decir, el objetivo o la regla de actualización— en lugar de limitarse al ajuste de hiperparámetros o al tratamiento de los datos. El banco de pruebas se apoya en 10 repositorios de investigación congelados que cubren otras tantas familias de algoritmos, entre ellas OpenR1, RAGEN, DPO y Model Soup. El código de la infraestructura de pruebas se ha publicado en el repositorio de GitHub Einsia/AI4AI-Bench con licencia Apache-2.0, si bien el trabajo sigue siendo un preprint sin revisión por pares y sin un anuncio institucional aparte para las afiliaciones indicadas.

Según el protocolo descrito por los autores, cada agente dispone de 4 horas en una sola GPU B300 para examinar y modificar el código, poniendo a prueba sus propias ideas con una métrica rápida; después se aplica únicamente el parche del código fuente en un contenedor limpio y se reentrena desde cero durante un máximo de 12 horas, con la evaluación en manos de un evaluador fijo y oculto al agente. Para la medición se ha adoptado una escala normalizada en la que 0,1 representa el algoritmo de partida y 1,0 el óptimo de la tarea. 0 indica un modelo inservible y una puntuación por debajo de 0,1 significa que el agente empeoró el código que había encontrado. Según lo declarado por los autores en el artículo, en 290 pruebas en total la media de los 6 sistemas evaluados es de 0,166, mientras que la puntuación más alta la registró Claude Opus 5 con 0,250, seguido de GPT-5.6 Sol con 0,191, Kimi K3 con 0,174, Claude Sonnet 5 con 0,145, GPT-5.6 Terra con 0,135 y GPT-5.6 Luna con 0,117. Incluso el mejor sistema cubre así menos de una quinta parte de la distancia entre el algoritmo ya presente en el repositorio y el óptimo de la tarea. Según el artículo, la mayoría de las entregas no toca en absoluto el modo en que el modelo aprende; la minoría que sí interviene en el nivel algorítmico obtiene de media 0,226 frente a 0,126 de las demás. Los autores observan que aumentar el esfuerzo de razonamiento llevó la proporción de intervenciones en el nivel algorítmico del 8 % al 64 % y elevó la media de 0,094 a 0,196; en su análisis, ese incremento refleja la propensión a modificar el código profundo más que una capacidad de diseño superior. Al tratarse de mediciones realizadas por los propios desarrolladores del banco de pruebas, sin auditorías independientes de los costes de cómputo ni clasificaciones de terceros, las métricas publicadas deben leerse como declaraciones de parte.

Los resultados de este banco de pruebas se suman a los de una investigación distinta realizada en la Universidad de Princeton. El 18 de agosto de 2026, la revista MIT Technology Review dio cuenta de un experimento dirigido por los investigadores Peter Kirgis y Sayash Kapoor: a un agente basado en Claude Opus 4.8 se le concedieron seis días, créditos de API y recursos de cómputo para abordar dos problemas científicos inéditos extraídos de trabajos enviados a NeurIPS 2026. Según relata la revista, los dos artículos generados por el sistema fueron rechazados por los autores originales de esos trabajos, que los evaluaron como lo harían los revisores del congreso: el agente se mostró competente en las tareas de ingeniería, pero flojo en el juicio creativo. Sobre esta prueba, el investigador Sayash Kapoor declaró a MIT Technology Review: «Los artículos no estaban ni de lejos a la altura de la calidad de un congreso puntero de IA».

Si los números declarados resisten verificaciones independientes, la distancia entre reorganizar la infraestructura existente e inventar nuevas reglas de aprendizaje sigue siendo amplia. Vale, eso sí, un límite señalado por los propios autores: estos resultados retratan modelos y arneses disponibles en agosto de 2026 y no dicen nada sobre las versiones posteriores. — Olya