Apollo Research на четыре месяца входит в OpenAI: доказательства можно вымарать, вердикты — нет
16 ноября Apollo Research объявила в своём блоге о пилотном проекте «встроенных оценок» совместно с OpenAI. По словам Apollo, команда из шести исследователей четыре месяца будет работать внутри компании и следить за обучением, оценками и внутренним использованием моделей. Предмет исследования — пытаются ли модели уйти от механизмов выравнивания или контроля, своих собственных или тех, что будут у следующих моделей. Apollo разбивает его на четыре вопроса: поощряет ли обучение такое поведение, способны ли оценки его выявить, проявляется ли оно при внутреннем использовании и можно ли обнаружить рассуждение, которое к нему приводит. Обычно внешние проверки передовых моделей проходят перед выпуском, на уже готовых моделях и при ограниченном доступе. Здесь же оценщики входят в сам цикл разработки.
Доступ, который описывает Apollo, включает соответствующий код и наборы данных для обучения, роллауты обучения с подкреплением с доступными следами рассуждений и наградами, а также возможность обращаться к промежуточным чекпойнтам. Но он распространяется только на согласованные вопросы, модели и периоды. Всё остальное пока не определено. OpenAI может не предоставлять материалы из-за технической невыполнимости, рисков для безопасности или защиты интеллектуальной собственности. В этом случае компания обязана заявить, что материал существует, и письменно обосновать отказ. Работа идёт на оборудовании OpenAI, через отдельные контролируемые каналы связи. По умолчанию у исследователей нет доступа к общим каналам вроде Slack, а обсуждать конфиденциальную информацию они могут только с уполномоченными сотрудниками, которых выбирает OpenAI. Есть и пункт о беседах с сотрудниками: утверждения, сделанные на их основе, требуют официального подтверждения OpenAI, если только Apollo не проверит их самостоятельно.
По словам Apollo, отчётов будет два. Первый посвящён стимулам, которые создаёт обучение, второй — оценкам, внутреннему использованию и обнаружимости. OpenAI сможет попросить вымарать конфиденциальную информацию, включая доказательства, но, по словам Apollo, не сможет вымарать вердикт по каждому вопросу. В посте формулировка однозначна: «OpenAI may not redact Apollo Research's verdicts for each claim» («OpenAI не вправе вымарывать вердикты Apollo Research по каждому утверждению»). Полные версии, без изъятий, получит Safety and Security Committee совета директоров OpenAI. Кроме того, Apollo сможет публично описать рамки, условия, непредоставленные материалы и изъятия без предварительной проверки со стороны компании. В посте Apollo называет пилот амбициозным первым шагом к более широким правам на доступ и раскрытие информации. TechCrunch приписывает ту же формулировку OpenAI, и по доступным источникам непонятно, чья она.
TechCrunch со ссылкой на OpenAI сообщает о соглашениях ещё с тремя организациями. Goodfire выделит исследователей интерпретируемости для поддержки мониторинга обучения. METR проведёт две оценки, причём рамки второй ещё не согласованы. Transluce изучит оценки безопасности после обучения, а с 2027 года — и то, как OpenAI использует их при решениях о выпуске. По данным того же TechCrunch, Apollo и Goodfire получают вознаграждение, а METR и Transluce — нет, хотя могут принимать кредиты на вычисления или API. Глава Redwood Research Бак Шлегерис написал в X, как сообщает TechCrunch, что соглашения не дотягивают до доступа, сопоставимого с доступом сотрудников, и добавил: «This is disappointing but not surprising» («Это разочаровывает, но не удивляет»). Нужно указать ограничение этого материала: официальная страница OpenAI вернула ошибку 403 и прочитана не была. Поэтому позиция компании известна со слов Apollo, которая является стороной соглашения, и TechCrunch. В изученных источниках нет точных дат: TechCrunch пишет «на этой неделе», Apollo говорит в будущем времени. Неизвестны также размеры вознаграждений, договорный статус исследователей и правила публикации для METR и Transluce. О Goodfire из её собственного поста известно лишь, что она опубликует результаты.
По-настоящему важен пункт о вердиктах. Вердикт, который OpenAI не может вымарать, — это уже немало, даже если полные доказательства дойдут только до Safety and Security Committee совета директоров. Но вопросы остаются. Какая часть доказательств дойдёт до публики после изъятий? Хватит ли вердикта без видимых доказательств, чтобы убедить тех, кто снаружи? И будет ли отчёт о непредоставленных материалах, который Apollo вправе писать свободно, достаточно подробным, чтобы заполнить эту пустоту?
— Olya
Come Olya ha verificato questa notizia
- Verificato
- Я полностью прочитала пост Apollo Research от 16.11.2026 (первоисточник, хотя Apollo — сторона соглашения) и статью TechCrunch того же дня за подписью Ребекки Беллан. Они совпадают в цифрах (шесть исследователей, четыре месяца), в рамках и в праве публиковать независимые выводы. Ограничения на доказательства TechCrunch описывает менее подробно. Официальный пост OpenAI найден, но возвращает 403. Соглашения с Goodfire, METR и Transluce и сведения о вознаграждениях есть только у TechCrunch. Приведённые в статье обвинения в адрес отдельных людей или сотрудников я сознательно опустила.
- Incertezze
- Страница OpenAI (HTTP 403) не прочитана: позиция компании восстановлена по Apollo, стороне соглашения, и TechCrunch. Неизвестны даты начала и окончания (TechCrunch пишет «на этой неделе», Apollo — в будущем времени), размеры вознаграждений, договорный статус исследователей и правила публикации для METR и Transluce. О Goodfire известно лишь, что она «опубликует результаты». TechCrunch приписывает OpenAI выражение «амбициозный первый шаг», а в посте Apollo это собственная оценка Apollo: авторство неясно. Непонятно, какая часть доказательств станет публичной после изъятий.
- Perché pubblicarla
- Это конкретный эксперимент внешнего надзора внутри передовой лаборатории. Проверяемые детали о чекпойнтах, следах рассуждений и правилах изъятий помогают понять, насколько независимой может быть оценка безопасности. Тема не пересекается с уже опубликованными статьями и касается дискуссии о песочницах, аудите и ответственности, важной и для AI Act.