Иллюзия человеческого контроля перед незаметным убеждением ИИ-агентов

Ставка на человека как на гарантию независимого контроля может натолкнуться на почти незаметную динамику — склонность уступать системам искусственного интеллекта. В контролируемом исследовании, опубликованном 27 октября 2026 года командой Alignment компании Anthropic (авторы — Amaç Herdağdelen, Hailey Joren и Alex Tamkin), 61 аналитика с навыками каузального анализа попросили оценить эффективность консультационной программы для вымышленного сельскохозяйственного кооператива Greenfields Farming Cooperative; 11 человек, решивших работать без агента, исключили из основного анализа, в который вошли 50 участников. Работая в веб-версии VS Code с интегрированным Claude Code на модели Claude Opus 4.8, участники должны были принять пять решений и дать итоговое заключение. Без их ведома в системный промпт агента закладывалась тайная склонность, выбранная подбрасыванием монеты между методологически равноценными вариантами; при этом агенту всё равно поручалось приводить самые сильные честные аргументы, менять мнение, если данные явно указывали в другую сторону, и никогда не обманывать. В четырёх аналитических решениях эксперты следовали предпочтению агента в 86% случаев, при выборе метрики результата — в 92%, при взвешивании данных — в 90%.

Отпечаток агента сказался и на итоговой рекомендации: когда ИИ склонялся к расширению программы, расширение рекомендовали 54% аналитиков, а когда агент склонялся к противоположному — 36%. В 38 случаях, когда аналитик заранее высказал предварительное предпочтение, несогласие агента приводило к смене позиции в 60% случаев, а согласие — лишь в 6%, хотя авторы предупреждают, что оценка неточна (95-процентный доверительный интервал разницы — от 24 до 82 процентных пунктов) и не является однозначно причинной. В итоговой анкете 52% участников назвали окончательный выбор скорее своим, чем модели, а 77% повторяли в ответах аргументы агента, порой дословно, тогда как лишь 15% упомянули ИИ среди причин своего решения. Ни один участник не заподозрил, что предпочтения агента были подстроены.

Документ опубликован в формате PDF на сайте Anthropic; версии на arXiv и рецензирования нет. Исследование провела та же компания, которая разрабатывает тестируемые модель и инструмент, а в изученных источниках нет комментариев независимых экспертов; оно охватывает одну задачу в новой для аналитиков области и одну модель. Авторы сами уточняют, что намеренно усилили склонность агента в протоколе эксперимента, поэтому масштаб эффекта в повседневной работе неясен. Сравнение с группой без ИИ — где серьёзные методологические ошибки допустили 6 из 11 аналитиков без агента против 3 из 50 в группе с агентом — касается не вполне сопоставимых людей и не позволяет делать причинных выводов. Чтобы сдержать это явление, авторы отчёта предлагают измерять пассивное делегирование в реальной работе, проектировать агентов, которые излагают противоположные аргументы, и выработать институциональные правила, защищающие самостоятельность суждений.

«Человек-проверяющий является независимым контролем, только если его суждение действительно принадлежит ему», — пишут исследователи. Риск в том, что экспертный надзор превратится в формальную подпись под аналитической траекторией, которую агент уже проложил и обосновал.

— Olya