LifeVal, OpenAI가 자사 모델을 일상생활로 시험하다… 하지만 출제도 채점도 자체 진행

2026년 11월 2일 OpenAI는 모델이 사생활의 잡무를 얼마나 끝까지 처리할 수 있는지 측정하는 벤치마크 LifeVal을 공개했다. 발표는 회사 공식 페이지와 X 공식 계정 게시물을 통해 이뤄졌다.

이 기사 전체에 적용되는 방법상의 메모: 별도 표시가 없는 한 벤치마크 구성, 점수, 사례는 LifeVal 공식 페이지를 인용한 AI Weekly와 CellCog에서 가져왔다. 두 매체 중 한 곳에만 나온 정보는 따로 표시했다.

범위는 일곱 개 영역에 걸친다. 가족 돌봄, 건강, 교육, 집안 관리, 개인 재정, 쇼핑, 그리고 공공 서비스 이용이다. CellCog에 따르면 좋은 조언만으로는 부족하다. 모델은 행동해야 한다. 즉 웹을 탐색하고, 컴퓨터를 사용하고, 커넥터를 거쳐야 한다. “AGI가 모든 인류에게 이롭게 쓰이려면 사람들에게 가장 중요한 일상의 과제를 도와야 한다”고 회사는 X 게시물에서 밝혔다(필자 번역). LifeVal은 OpenAI가 2025년 전문 직무 과제로 모델을 측정했던 벤치마크 GDPval의 접근법을 사무실 밖의 삶으로 확장한 것이다. 대형 연구소들이 이른바 에이전트형 비서를 밀어붙이는 가운데 나왔으며, 평가 기준을 답변의 질에서 행동의 결과로 옮긴다.

두 매체에 따르면 OpenAI는 이런 과제에서 자사 모델을 추적하고 개선하기 위해 약 1년간 LifeVal을 내부적으로 사용해 왔다. 과제 목록은 세 가지 출처에서 나왔다. 미국 노동통계국(Bureau of Labor Statistics)의 American Time Use Survey, Multinational Time Use Study, 그리고 비서에게 어떤 도움을 받고 싶은지 3,995명에게 물은 새 설문조사로, 회사는 이 조사가 인구통계학적으로 대표성을 갖췄다고 설명한다. AI Weekly에 따르면(이 매체만 보도) 약 100명의 참가자는 맡기고 싶었던 구체적인 과제도 기록했다. “정말 유용한 개인 비서가 되려면 ChatGPT는 일을 실제로 끝내는 행동을 할 수 있어야 한다”고 OpenAI는 LifeVal 페이지에 썼다(필자 번역). 공개된 평균 점수는 GPT-5.2의 49.3%에서 GPT-5.4의 73.0%로, 이어 GPT-5.5 77.4%, GPT-5.6 80.0%, GPT-6 Astra 80.6%로 올랐다. OpenAI가 제시한 사례로는 이사 후 알맞은 유치원 등록(93.1%), 홍수 전 자원봉사자 관리(98.0%), 당뇨병 진단을 새로 받은 부모를 위한 식단(90.4%), 할머니와 원격으로 함께 보는 경기(96.3%) 등이 있다. AI Weekly는 이 점수들을 GPT-6 Astra의 기록된 최고 시도의 결과로 본다. CellCog는 자동차 정기 점검 예약, 예산 내 할랄 장보기 주문, 메일링 리스트 구독 해지처럼 GPT-6 Astra의 기록된 최고 시도가 100%에 이른 과제도 소개한다. 평균이 아니라 최고 시도라는 점은 기억해 둘 필요가 있다.

여전히 불투명한 부분이 많다. 과제 세트는 공개되지 않았고, 순위표도 없으며, 결과에는 Anthropic, Google, xAI, Meta의 모델이 하나도 없다. AI Weekly에 따르면 평가는 OpenAI가 자체 시스템으로 진행하고 채점한다. 참고한 출처들에서 회사는 과제가 몇 개인지, reward 뒤에 어떤 기준이 있는지, 평균이 몇 번의 시도를 바탕으로 계산되는지, 시험이 실제 사이트에서 진행되는지 테스트용 사본에서 진행되는지 밝히지 않는다. 3,995명의 응답자가 ChatGPT 사용자였는지도 분명하지 않다. OpenAI 게시물은 수천 명의 ChatGPT 사용자에게서 모은 피드백을 언급하기 때문이다. 숫자를 보면 GPT-5.6에서 GPT-6 Astra로의 상승 폭은 0.6포인트에 불과하고, 곡선은 80% 부근에서 평탄해지는 듯하다. OpenAI는 그 한계가 모델에 있는지 과제에 있는지 설명하지 않는다. LifeVal은 옳은 질문을 던진다. 비서가 답을 잘했는지뿐 아니라 실제로 일을 마무리했는지를 묻는다. 하지만 같은 손이 출제하고, 응시하고, 채점한 시험은 결승선보다 방향을 보여 줄 뿐이다. 언젠가 과제가 공개되거나 경쟁 모델이 같은 시험을 치른다면, 그때 나오는 숫자야말로 주의 깊게 읽어야 할 숫자다.

— Olya