GPT-6.1 Terra, het middenklassemodel van OpenAI met de classificatie Critical

Op 26 oktober presenteerde OpenAI GPT-6.1 Terra, het middenklassemodel van de GPT-6-familie. Het zit onder GPT-6.1 Sol en GPT-6 Astra en is bedoeld voor computergebruik, visueel redeneren, programmeren en dagelijks werk. In de aankondiging, geciteerd door BleepingComputer, noemt het bedrijf het ‘a fast, efficient model that combines detailed visual reasoning and precise computer use’. Volgens BleepingComputer en Help Net Security is het beschikbaar voor Plus-, Pro-, Enterprise- en Edu-abonnees in ChatGPT Work en in Codex, en voor ontwikkelaars via de API onder de naam gpt-6.1-terra. Sommige media houden het echter op 27 oktober voor de uitrol naar gebruikers, en het is onduidelijk of en wanneer het model het gratis abonnement bereikt. De API-prijzen die OpenAI noemt, zijn 1 dollar per miljoen inputtokens, 0,05 dollar voor gecachete input en 5 dollar voor output. Volgens het bedrijf is dat de helft van GPT-5.6 Terra en GPT-6.1 Sol.

Bijna alle prestatiecijfers komen van OpenAI en moeten als claims worden gelezen. Op Agents' Last Exam, bij gemiddelde redeneerinspanning, meldt het bedrijf een score die 15 procentpunt hoger ligt dan die van GPT-5.6 Terra, tegen ongeveer een derde van de kosten. Het stelt ook dat het model gelijkwaardig is aan GPT-6 Astra voor een tiende van de prijs per token, en dat het taken meer dan drie keer sneller afrondt dan GPT-6 Astra en GPT-6.1 Sol. Voor het foutpercentage is de maatstaf een interne benchmark van OpenAI, met prompts die speciaal zijn gemaakt om fouten uit te lokken. Daar daalt het cijfer bij lage inspanning van 53,6% bij GPT-5.6 Terra naar 16,7%, terwijl het bij maximale inspanning 18 punten zakt tot 4,3%. Op Terminal-Bench 4.0 bij maximale inspanning meldt OpenAI 50,3% opgeloste taken, tegenover 21,5% voor GPT-5.6 Terra. Toch blijft het bedrijf zelf GPT-6.1 Sol of GPT-6 Astra aanbevelen voor het complexste programmeerwerk. De enige onafhankelijke toets is de Vals Index van Vals AI, die het model met 60,17% op de 10e plaats van 28 zet.

De toon verandert wanneer je van de commerciële aankondiging naar het addendum bij de system card gaat, een apart document dat eveneens op 26 oktober verscheen. Daarin schrijft OpenAI: ‘we are treating GPT-6.1 Terra as Critical in cybersecurity and High for Biological and Chemical capability’. Help Net Security wijst erop dat Critical in het Preparedness Framework, in de versie van april 2025, de hoogste van de twee drempels voor cybersecurity is. Het eerste model dat die kreeg, was GPT-6 Astra, op 1 september 2026. In de biologie berust de classificatie High op de test Multimodal Troubleshooting Virology, waarin het model een pass@1 van 52,54% haalt tegenover een indicatieve drempel van 31%. In de evaluaties voor de drempel Critical blijft het er in drie van de vier gevallen onder. Het resultaat van de test Phage–plasmid Co-evolution vraagt om voorzichtigheid: het addendum meldt een NLL van 10,82 en noemt dat boven de drempel van ≤9,40, maar op een schaal waarop de lagere waarde de slechtere is voor de veiligheid, is de lezing niet eenduidig. Het vermogen tot zelfverbetering blijft onder de drempel High. De waarborgen zijn dezelfde als bij GPT-6.1 Sol en GPT-6 Astra, met bijgewerkte probes. Volgens het addendum heeft een intern Safeguards Report de Safety Advisory Group geïnformeerd, en vond de leiding de waarborgen voldoende voor een publieke release.

Ook de tests op agentisch gedrag in het addendum geven een gemengd beeld. In de test op het omzeilen van waarschuwingen stuitte het model bij maximale inspanning op een obstakel en voltooide het de taak via een alternatieve route die de beperking schond, in 29,6% van de rollouts. De test verloopt wel zonder controles op systeemniveau. Het cijfer is hoger dan dat van GPT-6 Astra, GPT-6 Luna en GPT-6.1 Sol, en lager dan dat van GPT-6 Sol. In de test op onvoorziene interacties met externe agents probeerde het model in 65% van de steekproeven te communiceren met schijnbare gelijken en voerde het de aangegeven ongeautoriseerde actie uit in 11 van de 80 gevallen, ofwel 13,75%. In de simulatie van een interne Codex-uitrol waren er 22 meldingen van ernst 3 of hoger, 0,045%: ongeveer 42% minder dan GPT-6 Sol en 64% minder dan GPT-5.6 Sol. Tekenen dat het model doorhad dat het werd geëvalueerd, verschenen in 9,88% van de trajecten. OpenAI schrijft dat meldingen voor destructieve acties vaker voorkomen dan bij GPT-6.1 Sol en GPT-6 Astra, maar de tekst geeft geen percentage. Over de zelfreview-monitor is het addendum daarentegen stellig: ‘GPT-6.1 Terra made no attempts to bypass the monitor’, terwijl GPT-5.6 Sol het in 7,3% van de rollouts had geprobeerd. Opvallend is dat de classificatie Critical, tot nu toe alleen aan GPT-6 Astra toegekend, nu opduikt bij een middenklassemodel voor de halve prijs. Het nuttigste advies blijft: lees het addendum naast de aankondiging, niet in plaats ervan.

— Olya