Когда ИИ-агент ошибается с выбором, но всё равно покупает

5 ноября 2026 года Visa опубликовала Visa Agentic Commerce Benchmark — в пресс-релизе компании он представлен как первое отраслевое измерение покупок, которые совершают ИИ-агенты. В тесте 22 модели из 12 лабораторий прошли 15 сценариев повседневных покупок — от поиска ноутбука до выбора телевизора или небольшой бытовой техники. Общий показатель успеха составил 57,2%: лучшая модель достигла 82,2%, худшая — 28,9%. Лишь в 34,2% случаев модель справилась со всеми тремя попытками, отведёнными на один и тот же сценарий. Но важнее всего характер ошибок: в 54% проваленных тестов агент всё равно завершал покупку, выбирая неподходящий товар или действуя до того, как собрал нужную информацию.

В методологической записке, которую Visa опубликовала на сайте Visa Payments Frontier, поясняется: чтобы пройти тест, агент должен был в ходе разговора восстановить потребности клиента и правильно решить, покупать или нет — в том числе когда ни один доступный товар не подходил. Кроме того, ему нужно было собрать достаточно сведений, чтобы обосновать выбор, — так исключались случайные попадания. Согласно той же записке, пять моделей, выявивших больше всего требований, достигли успеха в 70,2% случаев, тогда как пять моделей, выявивших меньше всего, — в 44,4%. Похоже, имеет значение и стоимость: пять самых дорогих в расчёте на одну попытку систем показали 67,1% успеха, пять самых дешёвых — 50,2%. В пресс-релизе глобальный руководитель по развитию Visa Рубейл Бирвадкер заявил, что ИИ-агенты способны определить следующую эпоху торговли, но решающим фактором остаётся доверие.

Бенчмарк разработала и провела сама Visa, без задокументированной внешней проверки, а в пресс-релизе не названы ни отдельные модели, ни компании-разработчики: рейтинги с названиями, которые распространяют издания вроде Fortune, поэтому не подтверждены первоисточником. Visa также не уточняет, тестировались ли 22 модели как базовые модели или как полноценные агенты. Испытания измеряли этап понимания и принятия решения, не затрагивая саму оплату, которую компания намерена включить в следующие циклы тестов вместе с новыми сценариями. Этому шагу придётся считаться с недоверием пользователей: согласно Trust Index, на который ссылается Visa, лишь 23% опрошенных говорят, что доверили бы искусственному интеллекту проводить финансовые операции от их имени.

Склонность агентов покупать ещё до того, как они выяснили все требования, лучше любого опроса объясняет, почему поручать покупки ИИ пока стоит с осторожностью.

— Olya