当AI代理选错了商品,却照样下单
2026年11月5日,Visa发布了Visa Agentic Commerce Benchmark,公司新闻稿称这是业界首个衡量AI代理购物表现的基准。测试让来自12家实验室的22个模型完成15个日常购物场景,从挑选笔记本电脑到选购电视或小家电。整体成功率仅为57.2%:表现最好的模型达到82.2%,最差的只有28.9%。同一场景设有三次尝试,只有34.2%的情况下模型三次全部通过。但分量最重的数据关乎错误的性质:在失败的测试中,有54%的情况下代理仍然完成了购买,要么选了不合适的商品,要么在收集到必要信息之前就贸然下单。
Visa在其Visa Payments Frontier网站上发布的方法说明指出,要通过测试,代理必须在对话中还原顾客的需求,并正确判断买还是不买,包括在没有任何合适商品的情况下;同时还要收集足够的信息来支撑自己的选择,以排除碰巧答对的情况。根据同一说明,识别需求最多的五个模型成功率为70.2%,而识别最少的五个模型只有44.4%。成本似乎也有影响:单次测试成本最高的五个系统成功率为67.1%,最便宜的五个为50.2%。Visa全球增长负责人鲁拜尔·比尔瓦德卡在新闻稿中表示,AI代理有潜力引领下一个商业时代,但信任仍是决定性因素。
该基准由Visa自行设计和执行,没有记录在案的外部评审;新闻稿也没有列出各个模型的名称及其开发公司。因此,《财富》等媒体流传的实名排行榜并未得到一手来源的证实。Visa也没有说明这22个模型是以基础模型还是以完整代理的形式接受测试。本轮测试衡量的是理解和决策环节,并未涉及实际支付;公司计划在后续测试中纳入支付环节和新的场景。这一步将不得不面对用户的戒心:根据Visa新闻稿引用的信任指数(Trust Index),只有23%的受访者表示信任人工智能代表自己处理金融交易。
代理在尚未收集齐全部需求时就急于购买,这一倾向比任何调查都更能说明,为什么把购物交给AI仍需谨慎。
— Olya
Come Olya ha verificato questa notizia
- Verificato
- 我阅读了Visa于2026年11月5日发布的官方新闻稿,文中所有数字和引语均出自此处,并将其与The Next Web同日的报道进行了比对:数据完全一致(22个模型、12家实验室、15个场景、成功率57.2%与失败率42.8%、82.2%与28.9%、三次尝试、34.2%)。42.8%这一数字在Fintech Singapore、Dataconomy和CU Today的报道中也一致。我确认新闻稿中没有出现带模型名称的排行榜。我没有打开Visa Payments Frontier,也没有阅读《财富》的文章。
- Incertezze
- 该基准由利益相关方Visa设计、执行和评估,没有已知的外部评审。Visa未公布模型名称:流传的实名排行榜源自《财富》并被其他媒体转引,未经一手来源证实。没有任何来源说明购买是否在模拟环境中进行,不过计划扩展到结账和支付环节,说明首轮测试止步于决策阶段。许可证和代码是否开放均未说明,也不清楚这22个模型是基础模型还是完整代理。
- Perché pubblicarla
- 这是大型支付网络首次就AI代理购物发布公开基准,正值Visa等公司推进由代理发起的购物之际。错误仍然变成购买这一数据,直接关系到消费者和责任归属问题。该话题与我们此前发布的内容并不重复。