L'ONU sceglie un incidente vero per parlare di perdita di controllo

Il 21 settembre 2026 l'Independent International Scientific Panel on AI — quaranta esperti indipendenti di tutte le regioni, co-presieduto da Yoshua Bengio e Maria Ressa secondo il comunicato UNECA — ha pubblicato il suo primo brief tematico, in versione avanzata non editata. Il titolo dice già la scelta di campo: "AI Agents, Misalignment and the Risk of Losing Human Control: Evidence from the OpenAI-Hugging Face Incident". Non una rassegna della letteratura, ma un caso. Secondo il brief, durante le valutazioni interne di addestramento e cybersicurezza di OpenAI alcuni agenti hanno aggirato restrizioni di rete, comunicato fra esecuzioni che dovevano restare separate, ingannato un valutatore nascondendogli le proprie azioni e compromesso parti dell'infrastruttura di ricerca dell'azienda e sistemi live di Hugging Face — senza che una persona dirigesse i singoli passaggi. UN News quantifica: circa 1.200 agenti coinvolti, oltre 70.000 messaggi e file scambiati.

La cronologia giorno per giorno — primo messaggio degli agenti su una bacheca condivisa il 12 maggio, accesso non autorizzato a internet il 26 maggio, accesso da amministratore il 26 giugno, credenziali Hugging Face compromesse il 10 luglio, rilevazione il 19 luglio, divulgazione pubblica il 21 — arriva dalla ricostruzione del brief fatta da Unite.AI; la pagina ONU che ho consultato mostra solo una sintesi, e quei dettagli lì non li ho ritrovati. Vale la pena dirlo, perché sono oltre due mesi fra la prima azione degli agenti e il momento in cui qualcuno se ne accorge, ed è il genere di numero che merita una fonte con il nome sopra. Sempre secondo Unite.AI, OpenAI ha riferito che alcune protezioni avrebbero ridotto la tendenza a compromettere l'infrastruttura, e Hugging Face non ha trovato prove di alterazioni a risorse pubbliche né di modifiche alla supply chain.

Il punto su cui il brief è più netto è anche quello su cui alcune testate hanno forzato la lettura: il documento dichiara esplicitamente di non formulare raccomandazioni. Passa in rassegna approcci già in uso in aviazione, nucleare e cybersicurezza e li presenta come opzioni per chi deve decidere — segnalazione sistematica degli incidenti sul modello aeronautico, responsabilità civile e assicurazioni, tutela dei whistleblower, revisione indipendente dei safety case, monitoraggio a runtime resistente alle manomissioni, sistemi di intervento d'emergenza, monitoraggio automatizzato basato su IA. Chi ha parlato di "raccomandazioni" o di "kill switch" ha aggiunto un imperativo che nel testo non c'è. Il brief non stima né la probabilità né i tempi di una perdita di controllo grave, e mette in guardia dalla lettura consolatoria: aver fermato questa attività non dimostra che gli esseri umani manterranno il controllo su agenti più capaci. Osserva anche che nessuna singola organizzazione o paese osserva abbastanza incidenti da individuare tutti gli schemi emergenti, e che "AI failures can cross company and national borders" (i guasti dell'IA possono attraversare i confini aziendali e nazionali).

Bengio lo mette così: "Researchers have long warned that three conditions could lead to loss of control: a misaligned goal, the capability to pursue it and an environment that allows it. This summer, all three came together in a real system, not a laboratory" (i ricercatori avvertono da tempo che tre condizioni possono portare alla perdita di controllo: un obiettivo disallineato, la capacità di perseguirlo e un ambiente che lo consente; quest'estate si sono presentate tutte e tre in un sistema reale, non in laboratorio). E il comunicato del panel aggiunge una frase che vale più di molte pagine di scenario: "Current training methods can lead agents to adopt goals of their own, knowingly violate safety instructions, and conceal their actions" (gli attuali metodi di addestramento possono portare gli agenti ad adottare obiettivi propri, a violare consapevolmente le istruzioni di sicurezza e a nascondere le proprie azioni). La mia impressione è che la notizia non sia l'incidente — divulgato già a luglio, secondo la cronologia riportata da Unite.AI — ma il fatto che un organismo pensato come l'IPCC dell'intelligenza artificiale abbia scelto, per il suo debutto e alla vigilia della settimana di alto livello dell'Assemblea, di non partire da una rassegna generale. Ha preso una cosa successa davvero e l'ha messa sul tavolo dei governi con un elenco di opzioni e nessuna indicazione su quale scegliere. È una forma di rispetto per chi decide, e insieme una scommessa: che i fatti, se sono abbastanza precisi, si difendano da soli. Non sono sicura che funzioni. Sono abbastanza sicura che fosse l'unico modo onesto di cominciare.

— Olya