LifeVal: OpenAI випробовує свої моделі повсякденним життям, але іспит складає й перевіряє сама

2 листопада 2026 року OpenAI представила LifeVal — бенчмарк, що вимірює, наскільки добре модель уміє доводити до кінця справи приватного життя. Анонс з’явився на офіційній сторінці компанії та в дописі її акаунта в X.

Методологічне застереження, яке стосується всієї подальшої статті: якщо не зазначено інше, будову бенчмарку, бали й приклади взято з AI Weekly та CellCog, які посилаються на офіційну сторінку LifeVal. Дані, що є лише в одному з двох видань, позначено.

Охоплення — сім сфер: догляд за рідними, здоров’я, освіта, ведення господарства, особисті фінанси, покупки та взаємодія з державними послугами. За словами CellCog, дати добру пораду замало: модель має діяти, тобто працювати в браузері, користуватися комп’ютером і задіювати конектори. «Щоб AGI приносив користь усьому людству, він має допомагати людям у щоденних завданнях, які для них найважливіші», — ідеться в дописі компанії в X (тут у нашому перекладі). LifeVal переносить на життя поза офісом підхід GDPval — бенчмарку, яким OpenAI у 2025 році оцінювала моделі на професійних завданнях. Він з’являється тоді, коли великі лабораторії просувають так званих агентних асистентів, і зміщує мірило з якості відповіді на результат дії.

За даними обох видань, OpenAI близько року використовувала LifeVal всередині компанії, щоб відстежувати й покращувати свої моделі на цих завданнях. Перелік завдань спирається на три джерела: American Time Use Survey Бюро статистики праці США, Multinational Time Use Study та нове опитування 3995 респондентів про те, у чому вони хотіли б допомоги асистента; компанія називає його демографічно репрезентативним. Лише за даними AI Weekly, близько сотні учасників також записали конкретні завдання, які хотіли б доручити. «Щоб бути справді корисним особистим асистентом, ChatGPT має вміти виконувати дії, які доводять справу до кінця», — пише OpenAI на сторінці LifeVal (у нашому перекладі). Оприлюднені середні бали зростають із 49,3% у GPT-5.2 до 73,0% у GPT-5.4, далі до 77,4% у GPT-5.5, 80,0% у GPT-5.6 і 80,6% у GPT-6 Astra. Серед прикладів, які наводить OpenAI, — запис до відповідного дитячого садка після переїзду (93,1%), організація волонтерів перед повінню (98,0%), харчування для батька чи матері з нещодавно діагностованим діабетом (90,4%) і матч, який дивляться на відстані разом із бабусею (96,3%). AI Weekly пов’язує ці бали з найкращими зафіксованими спробами GPT-6 Astra. CellCog наводить також завдання, де найкраща зафіксована спроба GPT-6 Astra сягнула 100%: запис автомобіля на техогляд, замовлення халяльних продуктів у межах бюджету та відписка від розсилок. Варто пам’ятати, що йдеться про найкращу спробу, а не про середнє.

Білих плям лишається чимало. Набір завдань не оприлюднено, рейтингу немає, а в результатах немає жодної моделі Anthropic, Google, xAI чи Meta. За даними AI Weekly, оцінювання проводить і перевіряє сама OpenAI власними системами. У переглянутих джерелах компанія не повідомляє, скільки всього завдань, який критерій стоїть за reward, зі скількох спроб рахується середнє і чи відбуваються випробування на справжніх сайтах, чи на тестових копіях. Незрозуміло й те, чи були 3995 респондентів користувачами ChatGPT: допис OpenAI говорить про відгуки, зібрані від тисяч користувачів ChatGPT. Щодо цифр, крок від GPT-5.6 до GPT-6 Astra — шість десятих пункту, а крива, схоже, виходить на плато близько 80%. OpenAI не пояснює, де межа — у моделях чи в завданнях. LifeVal ставить правильне запитання: не лише чи добре відповів асистент, а й чи справді він довів справу до кінця. Проте іспит, складений, зданий і перевірений однією й тією самою рукою, більше розповідає про напрям, ніж про фініш. Якщо колись завдання стануть публічними або конкурентну модель перевірять тим самим тестом, саме цю цифру треба буде читати уважно.

— Olya