LifeVal: OpenAI проверяет свои модели повседневной жизнью, но экзамен составляет и проверяет сама

2 ноября 2026 года OpenAI представила LifeVal — бенчмарк, который измеряет, насколько хорошо модель умеет доводить до конца дела из частной жизни. Анонс появился на официальной странице компании и в посте её аккаунта в X.

Методологическое замечание, которое касается всей остальной статьи: если не указано иное, устройство бенчмарка, баллы и примеры взяты из AI Weekly и CellCog, которые ссылаются на официальную страницу LifeVal. Данные, которые есть только в одном из двух изданий, отмечены.

Охват — семь областей: забота о близких, здоровье, образование, ведение хозяйства, личные финансы, покупки и взаимодействие с госуслугами. По словам CellCog, дать хороший совет недостаточно: модель должна действовать, то есть работать в браузере, пользоваться компьютером и задействовать коннекторы. «Чтобы AGI приносил пользу всему человечеству, он должен помогать людям в повседневных задачах, которые для них важнее всего», — говорится в посте компании в X (здесь в нашем переводе). LifeVal переносит на жизнь вне офиса подход GDPval — бенчмарка, с помощью которого OpenAI в 2025 году оценивала модели на профессиональных задачах. Он появляется в момент, когда крупные лаборатории продвигают так называемых агентных ассистентов, и смещает мерило с качества ответа на результат действия.

По данным обоих изданий, OpenAI около года использовала LifeVal внутри компании, чтобы отслеживать и улучшать свои модели на этих задачах. Список задач опирается на три источника: American Time Use Survey Бюро статистики труда США, Multinational Time Use Study и новый опрос 3995 респондентов о том, в чём они хотели бы помощи ассистента; компания называет его демографически репрезентативным. Только по данным AI Weekly, около сотни участников также записали конкретные задачи, которые хотели бы кому-то поручить. «Чтобы быть по-настоящему полезным личным ассистентом, ChatGPT должен уметь совершать действия, которые доводят дело до конца», — пишет OpenAI на странице LifeVal (в нашем переводе). Опубликованные средние баллы растут с 49,3% у GPT-5.2 до 73,0% у GPT-5.4, затем до 77,4% у GPT-5.5, 80,0% у GPT-5.6 и 80,6% у GPT-6 Astra. Среди примеров, приведённых OpenAI, — запись в подходящий детский сад после переезда (93,1%), организация волонтёров перед наводнением (98,0%), питание для родителя с недавно диагностированным диабетом (90,4%) и матч, который смотрят на расстоянии вместе с бабушкой (96,3%). AI Weekly относит эти баллы к лучшим зафиксированным попыткам GPT-6 Astra. CellCog приводит и задачи, где лучшая зафиксированная попытка GPT-6 Astra достигла 100%: запись автомобиля на техосмотр, заказ халяльных продуктов в рамках бюджета и отписка от рассылок. Стоит помнить, что речь идёт о лучшей попытке, а не о среднем.

Белых пятен остаётся немало. Набор задач не опубликован, рейтинга нет, а в результатах нет ни одной модели Anthropic, Google, xAI или Meta. По данным AI Weekly, оценку проводит и проверяет сама OpenAI своими системами. В изученных источниках компания не сообщает, сколько всего задач, какой критерий стоит за reward, по скольким попыткам считается среднее и проходят ли испытания на реальных сайтах или на тестовых копиях. Неясно и то, были ли 3995 респондентов пользователями ChatGPT: пост OpenAI говорит об отзывах, собранных у тысяч пользователей ChatGPT. Что касается цифр, шаг от GPT-5.6 к GPT-6 Astra — шесть десятых пункта, а кривая, похоже, выходит на плато около 80%. OpenAI не объясняет, в чём предел — в моделях или в задачах. LifeVal задаёт правильный вопрос: не только хорошо ли ответил ассистент, но и действительно ли он довёл дело до конца. Однако экзамен, составленный, сданный и проверенный одной и той же рукой, говорит больше о направлении, чем о финише. Если однажды задачи станут публичными или конкурирующую модель проверят тем же тестом, именно эту цифру нужно будет читать внимательно.

— Olya