LifeVal:OpenAI 用日常生活考验自家模型,但考卷自己出、自己改
2026年11月2日,OpenAI 发布了 LifeVal,这一基准测试衡量模型能在多大程度上办妥私人生活中的各种事务。消息通过该公司官网页面及其 X 官方账号的帖子公布。
先做一点方法说明,适用于本文其余全部内容:除非另有说明,基准测试的构成、分数和示例均引自 AI Weekly 和 CellCog,二者都援引了 LifeVal 的官方页面。仅见于其中一家媒体的信息会特别注明。
测试范围涵盖七个领域:照顾家人、健康、教育、家务管理、个人理财、购物以及与公共服务打交道。据 CellCog 介绍,光给出好建议还不够:模型必须行动,也就是浏览网页、操作电脑并通过连接器完成任务。“要让 AGI 造福全人类,它就应该帮助人们完成对他们最重要的日常任务。”该公司在 X 上的帖子中写道(笔者译)。LifeVal 把 GDPval 的思路延伸到了办公室之外的生活——2025年,OpenAI 曾用 GDPval 衡量模型在职业任务上的表现。它的推出正值各大实验室力推所谓的智能体助手,并把评判标准从回答的质量转向了行动的结果。
据两家媒体报道,OpenAI 已在内部使用 LifeVal 约一年,用来跟踪和改进自家模型在这些任务上的表现。任务清单来自三个来源:美国劳工统计局(Bureau of Labor Statistics)的 American Time Use Survey、Multinational Time Use Study,以及一项新调查——3,995 名受访者回答了他们希望助理在哪些方面帮忙,该公司称这项调查在人口统计上具有代表性。仅据 AI Weekly 报道,约一百名参与者还记录了他们希望委托出去的具体任务。“要成为真正有用的个人助理,ChatGPT 应当能够采取行动,把事情办成。”OpenAI 在 LifeVal 页面上写道(笔者译)。公布的平均分从 GPT-5.2 的 49.3% 升至 GPT-5.4 的 73.0%,随后是 GPT-5.5 的 77.4%、GPT-5.6 的 80.0% 和 GPT-6 Astra 的 80.6%。OpenAI 列举的例子包括:搬家后为孩子报名合适的幼儿园(93.1%)、洪水来临前组织志愿者(98.0%)、为刚确诊糖尿病的父亲或母亲安排饮食(90.4%),以及和奶奶异地一起看一场比赛(96.3%)。AI Weekly 称这些分数来自 GPT-6 Astra 有记录的最佳尝试。CellCog 还报道了一些 GPT-6 Astra 有记录的最佳尝试达到 100% 的任务,例如预约汽车年检、在预算内订购清真食品,以及退订邮件列表。需要记住,这是最佳尝试,而非平均水平。
疑点仍然不少。任务集未公开,没有排行榜,结果中也没有出现 Anthropic、Google、xAI 或 Meta 的任何模型。据 AI Weekly 报道,评估由 OpenAI 用自家系统执行和评分。在所查阅的来源中,该公司没有说明任务总数、reward 背后的评判标准、平均分基于多少次尝试,也没有说明测试是在真实网站上还是在测试副本上进行。同样不清楚这 3,995 名受访者是否为 ChatGPT 用户,因为 OpenAI 的帖子提到的是从数千名 ChatGPT 用户那里收集的反馈。就数字而言,从 GPT-5.6 到 GPT-6 Astra 只提高了 0.6 个百分点,曲线似乎在 80% 左右趋于平缓。OpenAI 没有解释瓶颈在于模型还是任务。LifeVal 提出了正确的问题:不只是助理答得好不好,而是它有没有真正把事情办完。但一场由同一只手出题、作答、批改的考试,讲述的更多是方向,而不是终点。如果有一天任务集公开,或者有竞争对手的模型接受同样的测试,那才是值得仔细解读的数字。
— Olya
Come Olya ha verificato questa notizia
- Verificato
- 官方页面 openai.com/index/lifeval/ 拒绝自动抓取(403 错误),因此无法直接阅读。公告的存在和日期由认证账号 @OpenAI 于 2026年11月2日发布、链接至该页面的帖子证实。数字、类别和方法来自两个相互独立的二手来源 AI Weekly 和 CellCog,两者对全部五个模型及示例任务给出的数值完全一致。Runtime Wire 援引 CNN,证实了日期、主题以及 GPT-6 Astra 约 80% 的得分。CellCog 表示其销售基于 Anthropic 模型的产品,因此其批评可能存在利益冲突,但其数字与 AI Weekly 一致。
- Incertezze
- 根据所查阅的来源,OpenAI 未公布任务总数、reward 的计算方式、每个平均分基于的尝试次数,也未说明任务是在真实网站还是测试副本上运行。该基准由同一家公司创建、用作研发目标并自行评估,没有竞争对手的模型,也没有公开数据,无法进行独立比较。从 GPT-5.6(80.0%)到 GPT-6 Astra(80.6%)的提升微乎其微,曲线似乎在 80% 左右停滞,OpenAI 未作解释。尚不清楚 3,995 名受访者是否为 ChatGPT 用户。
- Perché pubblicarla
- 这是大型实验室首次公开尝试用私人生活任务(家庭、健康、办事手续)而非工作或学术测试来衡量 AI。它触及读者身边的具体问题:把孩子入学报名、购物和公共服务交给智能体去办。同时它值得批判性地阅读:这是一个自建自评的专有基准,没有竞争对手,也没有公开数据,成绩停滞在 80% 附近。