Коли ШІ-агент помиляється з вибором, але все одно купує

5 листопада 2026 року Visa опублікувала Visa Agentic Commerce Benchmark — у пресрелізі компанії його представлено як перше галузеве вимірювання покупок, які здійснюють ШІ-агенти. У тесті 22 моделі з 12 лабораторій пройшли 15 сценаріїв повсякденних покупок — від пошуку ноутбука до вибору телевізора чи невеликої побутової техніки. Загальний показник успіху становив 57,2%: найкраща модель досягла 82,2%, найгірша — 28,9%. Лише в 34,2% випадків модель упоралася з усіма трьома спробами, передбаченими для одного сценарію. Та найважливіше — характер помилок: у 54% провалених тестів агент усе одно завершував покупку, обираючи невідповідний товар або діючи ще до того, як зібрав потрібну інформацію.

У методологічній записці, яку Visa оприлюднила на сайті Visa Payments Frontier, пояснено: щоб пройти тест, агент мав у розмові відтворити потреби клієнта й правильно вирішити, купувати чи ні — зокрема тоді, коли жоден доступний товар не підходив. Крім того, він мав зібрати достатньо відомостей, щоб обґрунтувати вибір, — так виключалися випадкові влучання. Згідно з тією ж запискою, п'ять моделей, які виявили найбільше вимог, досягли успіху в 70,2% випадків, тоді як п'ять, що виявили найменше, — у 44,4%. Схоже, важить і вартість: п'ять найдорожчих у розрахунку на одну спробу систем показали 67,1% успіху, п'ять найдешевших — 50,2%. У пресрелізі глобальний керівник із розвитку Visa Рубейл Бірвадкер заявив, що ШІ-агенти мають потенціал визначити наступну епоху торгівлі, але вирішальним чинником залишається довіра.

Бенчмарк розробила й провела сама Visa, без задокументованої зовнішньої перевірки, а в пресрелізі не названо ні окремих моделей, ні компаній-розробників: рейтинги з назвами, які поширюють видання на кшталт Fortune, тому не підтверджені першоджерелом. Visa також не уточнює, чи тестувалися 22 моделі як базові моделі, чи як повноцінні агенти. Випробування вимірювали етап розуміння й ухвалення рішення, не торкаючись самої оплати, яку компанія має намір включити до наступних циклів тестів разом із новими сценаріями. Цьому кроку доведеться зважати на недовіру користувачів: за даними Trust Index, на який посилається Visa, лише 23% опитаних кажуть, що довірили б штучному інтелекту проводити фінансові операції від їхнього імені.

Схильність агентів купувати ще до того, як вони з'ясували всі вимоги, краще за будь-яке опитування пояснює, чому доручати покупки ШІ поки що варто з обережністю.

— Olya