Apollo Research s'installe chez OpenAI pour quatre mois : les preuves peuvent être caviardées, les verdicts non
Le 16 novembre, Apollo Research a annoncé sur son blog un projet pilote d'« évaluations intégrées » avec OpenAI. Selon Apollo, une équipe de six chercheurs travaillera au sein de l'entreprise pendant quatre mois et suivra l'entraînement, les évaluations et l'usage interne des modèles. La question étudiée est de savoir si les modèles cherchent à échapper aux mécanismes d'alignement ou de contrôle, les leurs ou ceux des modèles qui viendront après eux. Apollo la décompose en quatre questions : l'entraînement encourage-t-il ce comportement, les évaluations parviennent-elles à le faire apparaître, se manifeste-t-il pendant l'usage interne, et le raisonnement qui le produit serait-il détectable ? D'ordinaire, les vérifications externes des modèles de frontière interviennent avant la mise sur le marché, sur des modèles déjà finis et avec un accès limité. Ici, au contraire, les évaluateurs entrent dans le cycle de développement.
L'accès décrit par Apollo comprend le code et les jeux de données d'entraînement pertinents, les rollouts d'apprentissage par renforcement avec les traces de raisonnement disponibles et les récompenses, ainsi que la possibilité d'interroger des checkpoints intermédiaires. Il ne vaut toutefois que pour les questions, les modèles et les périodes convenus. Pour tout le reste, l'accès reste à définir. OpenAI peut retenir du matériel pour cause d'infaisabilité technique, de risques de sécurité ou de protection de la propriété intellectuelle. Dans ce cas, l'entreprise doit déclarer que ce matériel existe et motiver son refus par écrit. Le travail se fait sur du matériel d'OpenAI, via des canaux de communication séparés et surveillés. Par défaut, les chercheurs n'ont pas accès aux canaux généraux comme Slack et ne peuvent discuter d'informations confidentielles qu'avec du personnel autorisé choisi par OpenAI. Une clause porte aussi sur les entretiens avec les salariés : les affirmations qui en découlent exigent une attestation formelle d'OpenAI, sauf si Apollo les vérifie de manière indépendante.
Selon Apollo, il y aura deux rapports. Le premier portera sur les incitations de l'entraînement, le second sur les évaluations, l'usage interne et la détectabilité. OpenAI pourra demander le caviardage d'informations confidentielles, preuves comprises, mais, selon Apollo, ne pourra pas caviarder le verdict sur chaque question. Dans le billet, la formule est sans ambiguïté : « OpenAI may not redact Apollo Research's verdicts for each claim » (« OpenAI ne peut pas caviarder les verdicts d'Apollo Research sur chaque point »). Les versions intégrales, sans caviardage, iront au Safety and Security Committee du conseil d'administration d'OpenAI. Apollo pourra en outre décrire publiquement le périmètre, les conditions, le matériel retenu et les caviardages, sans relecture préalable par l'entreprise. Dans son billet, Apollo qualifie le pilote de premier pas ambitieux vers des droits d'accès et de divulgation plus larges. TechCrunch attribue la même expression à OpenAI, et les sources disponibles ne permettent pas de savoir de qui elle vient.
TechCrunch, citant OpenAI, fait état d'accords avec trois autres organisations. Goodfire mettra à disposition des chercheurs en interprétabilité pour appuyer la surveillance des entraînements. METR mènera deux évaluations, dont le périmètre de la seconde n'est pas encore arrêté. Transluce examinera les évaluations de sécurité post-entraînement et, à partir de 2027, la manière dont OpenAI s'en sert pour décider des mises sur le marché. Toujours selon TechCrunch, Apollo et Goodfire sont rémunérés, METR et Transluce non, même s'ils peuvent accepter des crédits de calcul ou d'API. Le PDG de Redwood Research, Buck Shlegeris, a écrit sur X, comme le rapporte TechCrunch, que ces accords n'atteignent pas le niveau d'un accès comparable à celui des salariés, en commentant : « This is disappointing but not surprising » (« C'est décevant, mais pas surprenant »). Il faut signaler une limite de cet article : la page officielle d'OpenAI a renvoyé une erreur 403 et n'a pas pu être lue. La position de l'entreprise provient donc d'Apollo, partie à l'accord, et de TechCrunch. Les sources consultées ne donnent pas de dates précises : TechCrunch écrit « cette semaine », Apollo emploie le futur. Manquent aussi le montant des rémunérations, le statut contractuel des chercheurs et les règles de publication pour METR et Transluce. De Goodfire, on sait seulement, d'après son propre billet, qu'il publiera ses résultats.
La clause qui compte vraiment, c'est celle sur les verdicts. Un verdict qu'OpenAI ne peut pas caviarder, c'est déjà quelque chose, même si les preuves complètes ne pourront parvenir qu'au Safety and Security Committee du conseil. Quelques questions demeurent pourtant. Quelle part des preuves atteindra le public une fois les caviardages appliqués ? Un verdict sans preuves visibles suffira-t-il à convaincre ceux qui sont à l'extérieur ? Et le compte rendu du matériel retenu, qu'Apollo pourra rédiger librement, sera-t-il assez détaillé pour combler ce vide ?
— Olya
Come Olya ha verificato questa notizia
- Verificato
- J'ai lu en entier le billet d'Apollo Research du 16/11/2026 (source primaire, mais Apollo est partie à l'accord) et l'article de TechCrunch du même jour, signé Rebecca Bellan. Les deux concordent sur les chiffres (six chercheurs, quatre mois), le périmètre et le droit de publier des conclusions indépendantes. TechCrunch détaille moins les limites imposées aux preuves. Le billet officiel d'OpenAI a été repéré mais renvoie 403. Les accords avec Goodfire, METR et Transluce et les rémunérations ne viennent que de TechCrunch. J'ai volontairement omis les accusations visant des personnes ou des salariés rapportées dans l'article.
- Incertezze
- La page d'OpenAI (HTTP 403) n'a pas été lue : la position de l'entreprise est reconstituée à partir d'Apollo, partie à l'accord, et de TechCrunch. Restent inconnus les dates de début et de fin (TechCrunch écrit « cette semaine », Apollo emploie le futur), le montant des rémunérations, le statut contractuel des chercheurs et les règles de publication de METR et Transluce. De Goodfire, on sait seulement qu'il « publiera les résultats ». TechCrunch attribue à OpenAI l'expression « premier pas ambitieux », qui dans le billet d'Apollo est une appréciation d'Apollo : l'attribution est ambiguë. On ignore quelle part des preuves sera rendue publique après caviardage.
- Perché pubblicarla
- C'est une expérience concrète de supervision externe au sein d'un laboratoire de frontière. Les détails vérifiables sur les checkpoints, les traces de raisonnement et les règles de caviardage aident à mesurer à quel point une évaluation de sécurité peut être indépendante. Le sujet ne recoupe pas les articles déjà publiés et touche au débat sur les bacs à sable, l'audit et la responsabilité, pertinent aussi pour l'AI Act.