Apollo Research на чотири місяці заходить в OpenAI: докази можна зачорнити, вердикти — ні
16 листопада Apollo Research оголосила у своєму блозі про пілотний проєкт «вбудованих оцінювань» разом з OpenAI. За словами Apollo, команда з шести дослідників чотири місяці працюватиме всередині компанії й стежитиме за навчанням, оцінюваннями та внутрішнім використанням моделей. Досліджують, чи намагаються моделі ухилитися від механізмів вирівнювання або контролю — власних чи тих, що матимуть наступні моделі. Apollo розкладає це на чотири питання: чи заохочує навчання таку поведінку, чи здатні оцінювання її виявити, чи проявляється вона під час внутрішнього використання і чи можна виявити міркування, яке до неї призводить. Зазвичай зовнішні перевірки передових моделей відбуваються перед випуском, на вже готових моделях і з обмеженим доступом. Тут же оцінювачі входять у сам цикл розробки.
Доступ, який описує Apollo, охоплює відповідний код і набори даних для навчання, роллаути навчання з підкріпленням із доступними слідами міркувань і винагородами, а також можливість звертатися до проміжних чекпойнтів. Але він стосується лише погоджених питань, моделей і періодів. Усе інше поки не визначено. OpenAI може не надавати матеріали через технічну нездійсненність, ризики для безпеки або захист інтелектуальної власності. У такому разі компанія має заявити, що матеріал існує, і письмово обґрунтувати відмову. Робота ведеться на обладнанні OpenAI, через окремі контрольовані канали зв'язку. За замовчуванням дослідники не мають доступу до загальних каналів на кшталт Slack, а обговорювати конфіденційну інформацію можуть лише з уповноваженими працівниками, яких обирає OpenAI. Є й пункт про розмови з працівниками: твердження, зроблені на їхній основі, потребують офіційного підтвердження OpenAI, якщо тільки Apollo не перевірить їх самостійно.
За словами Apollo, звітів буде два. Перший стосуватиметься стимулів, які створює навчання, другий — оцінювань, внутрішнього використання та виявлюваності. OpenAI зможе попросити зачорнити конфіденційну інформацію, зокрема докази, але, за словами Apollo, не зможе зачорнити вердикт щодо кожного питання. У дописі формулювання однозначне: «OpenAI may not redact Apollo Research's verdicts for each claim» («OpenAI не має права зачорнювати вердикти Apollo Research щодо кожного твердження»). Повні версії, без вилучень, отримає Safety and Security Committee ради директорів OpenAI. Крім того, Apollo зможе публічно описати межі, умови, ненадані матеріали та вилучення без попередньої перевірки з боку компанії. У дописі Apollo називає пілот амбітним першим кроком до ширших прав на доступ і розкриття інформації. TechCrunch приписує те саме формулювання OpenAI, і з доступних джерел незрозуміло, чиє воно.
TechCrunch із посиланням на OpenAI повідомляє про угоди ще з трьома організаціями. Goodfire виділить дослідників інтерпретованості для підтримки моніторингу навчання. METR проведе два оцінювання, причому межі другого ще не погоджені. Transluce вивчатиме оцінювання безпеки після навчання, а з 2027 року — і те, як OpenAI використовує їх для рішень про випуск. За даними того ж TechCrunch, Apollo і Goodfire отримують винагороду, а METR і Transluce — ні, хоча можуть приймати кредити на обчислення чи API. Генеральний директор Redwood Research Бак Шлегеріс написав у X, як повідомляє TechCrunch, що угоди не дотягують до доступу, порівнянного з доступом працівників, і додав: «This is disappointing but not surprising» («Це розчаровує, але не дивує»). Варто назвати обмеження цього матеріалу: офіційна сторінка OpenAI повернула помилку 403 і прочитана не була. Тож позиція компанії відома зі слів Apollo, яка є стороною угоди, і TechCrunch. У переглянутих джерелах немає точних дат: TechCrunch пише «цього тижня», Apollo вживає майбутній час. Невідомі також розміри винагород, договірний статус дослідників і правила публікації для METR і Transluce. Про Goodfire з її власного допису відомо лише, що вона оприлюднить результати.
По-справжньому важливий пункт про вердикти. Вердикт, який OpenAI не може зачорнити, — це вже щось, навіть якщо повні докази дійдуть лише до Safety and Security Committee ради директорів. Але питання лишаються. Яка частина доказів дійде до публіки після вилучень? Чи вистачить вердикту без видимих доказів, щоб переконати тих, хто ззовні? І чи буде звіт про ненадані матеріали, який Apollo може писати вільно, достатньо докладним, щоб заповнити цю порожнечу?
— Olya
Come Olya ha verificato questa notizia
- Verificato
- Я повністю прочитала допис Apollo Research від 16.11.2026 (першоджерело, хоча Apollo — сторона угоди) і статтю TechCrunch того ж дня авторства Ребекки Беллан. Вони збігаються в цифрах (шестеро дослідників, чотири місяці), у межах і в праві публікувати незалежні висновки. Обмеження щодо доказів TechCrunch описує менш докладно. Офіційний допис OpenAI знайдено, але він повертає 403. Угоди з Goodfire, METR і Transluce та відомості про винагороди є лише в TechCrunch. Наведені в статті звинувачення на адресу окремих людей чи працівників я свідомо опустила.
- Incertezze
- Сторінку OpenAI (HTTP 403) не прочитано: позицію компанії відновлено за Apollo, стороною угоди, і TechCrunch. Невідомі дати початку й завершення (TechCrunch пише «цього тижня», Apollo — у майбутньому часі), розміри винагород, договірний статус дослідників і правила публікації для METR і Transluce. Про Goodfire відомо лише, що вона «оприлюднить результати». TechCrunch приписує OpenAI вислів «амбітний перший крок», а в дописі Apollo це власна оцінка Apollo: авторство неясне. Незрозуміло, яка частина доказів стане публічною після вилучень.
- Perché pubblicarla
- Це конкретний експеримент зовнішнього нагляду всередині передової лабораторії. Перевірювані деталі про чекпойнти, сліди міркувань і правила вилучень допомагають зрозуміти, наскільки незалежним може бути оцінювання безпеки. Тема не перетинається з уже опублікованими статтями й стосується дискусії про пісочниці, аудит і відповідальність, важливої й для AI Act.