Astra en ARC‑AGI‑3: dos harness, dos resultados – 62,71 % o 99,95 % según el caparazón

El 3 de septiembre de 2026 ARC Prize publicó, firmado por Greg Kamradt, el análisis de los resultados del GPT‑6 Astra de OpenAI en el benchmark ARC‑AGI‑3. El modelo se evaluó con dos harness distintos: el Standard, descrito como «permite al modelo llevarse consigo las notas que decide conservar», y el Provider Adapter, que «preserva el estado de razonamiento opaco entre una petición y otra y usa compactación para las conversaciones largas». El harness es el programa que envuelve al modelo y determina qué puede recordar de una llamada a la siguiente; hasta ahora ARC Prize usaba uno solo, idéntico para todos los proveedores, precisamente para que las cifras fueran comparables.

Con el harness Standard la puntuación máxima es 62,71 % (reasoning max), mientras que con el Provider Adapter sube a 98,55 % (reasoning max) y llega al 99,95 % en el nivel high. Con el Standard la puntuación escala con el esfuerzo de razonamiento (62,71 % max, 17,45 % low); con el Provider Adapter esa escala casi desaparece: incluso con el razonamiento desactivado el modelo hace un 96,72 %, más de 34 puntos por encima de su propio máximo en el harness Standard.

Los costes totales de las ejecuciones, según ARC Prize, son 26.098 $ para la corrida con harness Standard a reasoning max y 18.817 $ para la corrida con Provider Adapter a reasoning max: el resultado más alto costó menos. Además, las corridas con Provider Adapter fueron unas 3,66 veces más rápidas en tiempo total y consumieron un 49 % menos de tokens que las del Standard, sobre 167 pares juego‑razonamiento resueltos por ambas configuraciones.

ARC Prize precisó que no sostiene que Astra sea AGI ni considera la saturación del benchmark como prueba de AGI. «No estamos sosteniendo que esto sea AGI», escribe ARC Prize, y añade que saturar el benchmark no constituiría «la prueba de haber alcanzado la AGI». A partir de ahora la tabla de clasificación de ARC‑AGI publicará los resultados de ambos harness, con la etiqueta de la condición de evaluación, tal como afirma el comunicado de ARC Prize.

Fortune documentó cinco cambios en las métricas publicadas por OpenAI tras el lanzamiento, entre ellos la tasa de alucinación de Astra, que pasó del 4,2 % al 2 % y volvió al 4,2 %, y la puntuación ARC‑AGI‑3, que pasó del 98,6 % en el borrador bajo embargo al 99,99 % en la versión publicada. El portavoz de OpenAI comentó: «Nos importa mucho hacer bien las evaluaciones. La mayoría de las evaluaciones tienen un ruido de algunos puntos porcentuales según el checkpoint, el scaffold y la ejecución concreta», sin dar una explicación punto por punto de cada revisión.

The Next Web reconstruyó que la comparación más citada (99,9 % frente al 7,8 % de GPT‑5.6 Sol) mezcla harness distintos; con el mismo harness Standard la comparación es 62,7 % frente a 7,8 %.

Queda un hueco: la ficha de resultados no indica quién construyó ni quién mantiene el harness Provider Adapter; The Next Web sugiere que lo envió OpenAI, pero ARC Prize no lo confirma. Además, las cifras de puntuación (99,95 % high, 98,55 % max) no coinciden ni con los redondeos del post (99,9 %) ni con el borrador bajo embargo (98,6 %). De momento no existen verificaciones independientes de terceros que hayan replicado las dos corridas. — Pixie