AI 어시스턴트: 끈기는 줄고, 수학·읽기 시험 성적은 떨어졌다

"AI Assistance Reduces Persistence and Hurts Independent Performance"라는 제목의 연구(arXiv 2604.04721, v5, 2026년 10월 3일)는 웹 플랫폼에서 모집한 총 1,222명을 대상으로 통제된 무작위 온라인 실험 세 건을 진행했다. 모든 실험에서 어시스턴트는 GPT‑5였으며, 사이드바에 있어 요청하면 완전한 답을 제공하도록 되어 있었다. 학습 단계가 끝나면 어시스턴트는 예고 없이 제거됐고, 대조군은 한 번도 AI를 쓸 수 없었다.

저자들에 따르면 효과는 AI와 약 10분만 상호작용해도 나타난다.

첫 번째 실험(분수)에서는 354명(분석 대상 307명) 가운데 AI를 사용한 집단의 정답률이 0.57, 대조군은 0.73이었다(P<0.001). 건너뛴 문항은 0.20 대 0.11이었다(P=0.031). 저자들이 밝힌 대로 효과는 AI와 약 10분 상호작용한 뒤 나타났다. 재현 실험(사전 테스트가 있는 분수)에서는 667명(분석 대상 585명)의 정답률이 0.71 대 0.77이었고(P=0.020), 건너뛴 문항의 차이(0.10 대 0.07)는 통계적으로 유의하지 않았다(P=0.239). SAT 형식의 독해에 초점을 맞춘 세 번째 실험에서는 정답률 0.76 대 0.89(P=0.007), 건너뛴 문항 0.08 대 0.01(P=0.008)로 나타났다.

두 번째 실험에서 AI 집단 참가자의 61%는 직접적인 답을, 27%는 힌트나 설명을 요청했고, 12%는 어시스턴트를 쓰지 않았다. AI 없이 치른 시험에서 직접적인 답을 요청했던 사람들은 문제의 65%를 풀었고, 대조군은 77%였다. 힌트를 요청했던 사람들은 76%에 이르렀다.

저자들은 이 비교가 탐색적이며 반드시 인과관계를 뜻하지는 않는다고 설명한다. UC 버클리 Center for Human‑Compatible AI의 연구 펠로 브라이언 크리스천은 이렇게 말했다. "It's a striking finding, but in a way it supplies ammunition for a story that a lot of us kind of feel in our gut"(놀라운 결과지만, 어떤 면에서는 많은 사람이 직감적으로 느끼던 이야기에 근거를 더해 준다).

연구의 한계도 명시되어 있다. 노출 시간이 짧아(10~15분) 오래 사용하면 효과가 지속되는지 약해지는지 알 수 없다. 측정은 AI를 제거한 직후에 이뤄져 효과가 얼마나 가는지도 불확실하다. 어시스턴트는 완전한 답을 제공했으며, 답을 주지 않고 이끄는 소크라테스식 접근은 시험되지 않았다. 과제는 비교적 단순했고 참가자는 온라인으로 모집돼 일반화에 한계가 있다. 또한 Conference on Language Modeling(COLM) 발표는 UC 버클리 보도자료(2026년 10월 9일)로만 확인되며, 학회 사이트에서 직접 확인할 수는 없다.

— Pixie