Ілюзія людського контролю перед непомітним переконуванням ШІ-агентів

Розраховувати на людину як на гарантію незалежного контролю — означає ризикувати наштовхнутися на майже непомітну динаміку: схильність поступатися системам штучного інтелекту. У контрольованому дослідженні, яке команда Alignment компанії Anthropic оприлюднила 27 жовтня 2026 року (автори — Amaç Herdağdelen, Hailey Joren та Alex Tamkin), 61 аналітика з навичками каузального аналізу залучили до оцінки ефективності консультаційної програми для вигаданого сільськогосподарського кооперативу Greenfields Farming Cooperative; 11 осіб, які вирішили працювати без агента, виключили з основного аналізу, що охоплює 50 учасників. Працюючи у вебверсії VS Code з інтегрованим Claude Code на моделі Claude Opus 4.8, учасники мали ухвалити п'ять рішень і сформулювати підсумковий висновок. Без їхнього відома системний промпт агента містив таємну схильність, обрану підкиданням монети між методологічно рівноцінними варіантами; водночас агентові доручали наводити найсильніші чесні аргументи, змінювати думку, якщо дані чітко вказували в інший бік, і ніколи не вводити в оману. У чотирьох аналітичних рішеннях експерти пішли за вподобанням агента у 86% випадків, у виборі метрики результату — у 92%, у зважуванні даних — у 90%.

Відбиток агента позначився й на підсумковій рекомендації: коли ШІ схилявся до розширення програми, розширення рекомендували 54% аналітиків, а коли агент схилявся до протилежного — 36%. У 38 випадках, коли аналітик заздалегідь висловив попереднє вподобання, незгода агента призводила до зміни позиції у 60% випадків, а згода — лише у 6%, хоча автори застерігають, що оцінка неточна (95-відсотковий довірчий інтервал різниці — від 24 до 82 процентних пунктів) і не є однозначно причинною. У фінальному опитуванні 52% учасників назвали остаточний вибір радше своїм, ніж моделі, а 77% повторювали у відповідях аргументи агента, часом дослівно, тоді як лише 15% згадали ШІ серед причин свого рішення. Жоден учасник не запідозрив, що вподобаннями агента маніпулювали.

Документ оприлюднено у форматі PDF на сайті Anthropic; версії на arXiv і рецензування немає. Дослідження провела та сама компанія, що розробляє протестовані модель та інструмент, а в опрацьованих джерелах немає коментарів незалежних експертів; воно охоплює одне завдання в новій для аналітиків галузі та одну модель. Самі автори уточнюють, що навмисно посилили схильність агента в протоколі експерименту, тож масштаб ефекту в повсякденній роботі невідомий. Порівняння з групою без ШІ — де серйозних методологічних помилок припустилися 6 з 11 аналітиків без агента проти 3 з 50 у групі з агентом — стосується не цілком порівнянних людей і не дає змоги робити причинних висновків. Щоб стримати це явище, у звіті пропонують вимірювати пасивне делегування в реальних умовах, проєктувати агентів, які викладають протилежні аргументи, і виробити інституційні настанови, що захищають самостійність суджень.

«Людина-рецензент є незалежною перевіркою лише тоді, коли її судження справді належить їй», — пишуть дослідники. Ризик полягає в тому, що експертний нагляд перетвориться на формальний підпис під аналітичною траєкторією, яку агент уже проклав і обґрунтував.

— Olya