LifeVal：OpenAIが自社モデルを日常生活で試す——ただし試験の作成も採点も社内で

2026年11月2日、OpenAIはLifeValを発表した。私生活の用事をモデルがどこまでやり遂げられるかを測るベンチマークだ。発表は同社の公式ページと、X上の公式アカウントの投稿で行われた。

本記事全体に関わる方法上の注意を一つ。特に断りがない限り、ベンチマークの構成、スコア、事例はAI WeeklyとCellCogからの引用で、両メディアともLifeValの公式ページを出典としている。どちらか一方にしか載っていない情報はその旨を明記した。

対象は7つの領域にわたる。家族のケア、健康、教育、家事・住まいの管理、個人の家計、買い物、そして行政サービスとのやり取りだ。CellCogによれば、良いアドバイスをするだけでは足りない。モデルは行動しなければならない。つまりウェブを閲覧し、コンピューターを操作し、コネクターを経由することが求められる。「AGIが全人類の利益になるためには、人々にとって最も大切な日々のタスクを手助けすべきだ」と同社はXの投稿で述べている（筆者訳）。LifeValは、OpenAIが2025年にモデルを職業上のタスクで測定したベンチマーク「GDPval」の手法を、オフィスの外の生活へと広げたものだ。大手研究所がいわゆるエージェント型アシスタントを推し進めるなかで登場し、評価の物差しを回答の質から行動の結果へと移している。

両メディアによれば、OpenAIはこうしたタスクでのモデルの追跡と改善のため、約1年にわたってLifeValを社内で使ってきた。タスクの一覧は3つの情報源に基づく。米労働統計局（Bureau of Labor Statistics）のAmerican Time Use Survey、Multinational Time Use Study、そしてアシスタントにどこを手伝ってほしいかを3,995人に尋ねた新たな調査で、同社はこの調査を人口統計的に代表性があるとしている。AI Weeklyのみによれば、約100人の参加者が、任せたかった具体的なタスクも記録したという。「本当に役立つパーソナルアシスタントであるためには、ChatGPTは物事を完了させる行動をとれるべきだ」とOpenAIはLifeValのページに記している（筆者訳）。公表された平均スコアは、GPT-5.2の49.3%からGPT-5.4の73.0%へ、さらにGPT-5.5の77.4%、GPT-5.6の80.0%、GPT-6 Astraの80.6%へと上昇している。OpenAIが挙げた例には、引っ越し後に適切な幼稚園への入園手続きをする（93.1%）、洪水の前にボランティアを取りまとめる（98.0%）、糖尿病と診断されたばかりの親のために食事を用意する（90.4%）、離れて暮らす祖母と一緒に試合を観る（96.3%）などがある。AI Weeklyは、これらのスコアをGPT-6 Astraの記録上の最良の試行によるものとしている。CellCogはさらに、車の点検予約、予算内でのハラール食品の注文、メーリングリストの登録解除など、GPT-6 Astraの記録上の最良の試行が100%に達したタスクも伝えている。これらは平均ではなく最良の試行である点に留意したい。

不明な点は少なくない。タスクセットは公開されておらず、ランキングもなく、結果にはAnthropic、Google、xAI、Metaのモデルは一つも登場しない。AI Weeklyによれば、評価はOpenAIが自社のシステムで実施・採点している。参照した情報源の範囲では、タスクの総数、rewardの背後にある評価基準、平均が何回の試行に基づくのか、テストが実際のサイトで行われるのかテスト用のコピーで行われるのかを、同社は明らかにしていない。3,995人の回答者がChatGPTユーザーだったのかどうかもはっきりしない。OpenAIの投稿は、数千人のChatGPTユーザーから集めたフィードバックに言及しているからだ。数字について言えば、GPT-5.6からGPT-6 Astraへの伸びは0.6ポイントにとどまり、曲線は80%前後で頭打ちになりつつあるように見える。その限界がモデルにあるのかタスクにあるのか、OpenAIは説明していない。LifeValが投げかける問いは正しい。アシスタントがうまく答えたかだけでなく、本当に手続きを終えたかを問うているからだ。しかし、同じ手が作り、受け、採点する試験が語るのは、ゴールよりも方向性だ。いつかタスクが公開されるか、競合モデルが同じ試験を受けることになれば、そのときこそ注意深く読むべき数字になる。

— Olya