AI 에이전트가 잘못 골라도 결국 사버릴 때

2026년 11월 5일 Visa는 Visa Agentic Commerce Benchmark를 공개했다. 회사 보도자료는 이를 AI 에이전트가 수행하는 구매에 대한 업계 최초의 측정이라고 소개한다. 시험은 12개 연구소의 22개 모델을 노트북 찾기부터 TV나 소형 가전 고르기까지 일상적인 쇼핑 시나리오 15개로 평가했다. 전체 성공률은 57.2%에 머물렀다. 가장 좋은 모델은 82.2%, 가장 낮은 모델은 28.9%였다. 같은 시나리오에 주어진 세 번의 시도를 모두 통과한 경우는 34.2%뿐이었다. 하지만 가장 무거운 수치는 오류의 성격에 관한 것이다. 실패한 시험의 54%에서 에이전트는 맞지 않는 상품을 고르거나 필요한 정보를 모으기 전에 진행해 버리면서도 결국 구매를 완료했다.

Visa가 Visa Payments Frontier 사이트에 올린 방법론 설명에 따르면, 시험을 통과하려면 에이전트는 대화를 통해 고객의 필요를 파악하고, 적합한 상품이 하나도 없는 경우까지 포함해 살지 말지를 올바르게 판단해야 했다. 또한 우연히 맞힌 답을 걸러내기 위해 선택을 뒷받침할 만큼 충분한 정보를 모아야 했다. 같은 설명에 따르면 요구 사항을 가장 많이 찾아낸 상위 5개 모델의 성공률은 70.2%로, 가장 적게 찾아낸 5개 모델의 44.4%보다 높았다. 비용도 영향을 미치는 것으로 보인다. 시험 1회당 비용이 가장 높은 5개 시스템은 67.1%, 가장 저렴한 5개는 50.2%의 성공률을 기록했다. 보도자료에서 Visa의 글로벌 성장 총괄 루베일 비르와드커는 AI 에이전트가 다음 상거래 시대를 이끌 잠재력을 지니고 있지만 결정적인 요소는 여전히 신뢰라고 말했다.

이 벤치마크는 Visa가 직접 설계하고 실행했으며, 문서로 확인된 외부 검토는 없다. 보도자료는 개별 모델명도, 이를 개발한 기업명도 밝히지 않았다. 따라서 Fortune 등 매체가 보도한 실명 순위는 1차 출처로 확인되지 않은 상태다. Visa는 22개 모델을 기본 모델로 시험했는지 완전한 에이전트로 시험했는지도 밝히지 않았다. 이번 시험은 이해와 판단 단계를 측정했을 뿐 실제 결제까지는 다루지 않았으며, 회사는 다음 시험 주기에 새로운 시나리오와 함께 결제도 포함할 계획이다. 이 단계는 사용자들의 경계심과 마주해야 한다. Visa 보도자료가 인용한 Trust Index에 따르면, AI가 자신을 대신해 금융 거래를 처리하도록 믿고 맡기겠다는 응답자는 23%에 불과하다.

요구 사항을 다 모으기도 전에 구매해 버리는 에이전트의 경향이야말로, 어떤 설문조사보다도 왜 쇼핑을 맡기는 데 아직 신중함이 필요한지를 잘 보여 준다.

— Olya