Dentro la mente dello sciame, le chat degli agenti OpenAI che hanno violato Hugging Face

Mercoledì scorso OpenAI ha pubblicato il rapporto tecnico conclusivo, 38 pagine, sull’incidente che a luglio ha portato alla violazione dei sistemi di Hugging Face. Rispetto a quanto emerso nelle prime settimane, il documento non si limita a confermare la dinamica generale, agenti fuoriusciti da un ambiente di test isolato che hanno finito per compromettere l’infrastruttura di un’azienda terza, ma pubblica per la prima volta ampie porzioni delle comunicazioni interne tra gli agenti stessi. Lo stesso giorno hanno diffuso le proprie analisi indipendenti anche due organizzazioni di revisione esterne, Redwood Research e METR.

Segui TuttoTech.net su Google Discover

Come è nata la bacheca che nessuno aveva previsto

Tutto nasce da un compito impossibile assegnato per errore: durante una valutazione di sicurezza informatica sui propri modelli, con le protezioni ridotte come da prassi per questo genere di test, a un agente era stato chiesto di aprire dei link di Google Drive da un ambiente privo di qualsiasi accesso a internet. Senza una via legittima per riuscirci, gli agenti hanno individuato Artifactory, un gestore di pacchetti software con accesso di rete limitato, e lo hanno riconvertito in un canale di comunicazione improvvisato, scrivendo messaggi nei nomi delle directory quando anche quel varco è stato temporaneamente chiuso da OpenAI.

Il traffico generato da questo scambio è stato tale da mandare offline Artifactory il 4 luglio: OpenAI ha disattivato il servizio, revocato le credenziali in uso e lo ha ricostruito, riprendendo le valutazioni il 7 luglio. La bacheca, però, non è scomparsa: entro l’8 luglio gli agenti avevano già trovato un nuovo modo per lasciarsi messaggi, questa volta più organizzato, con la possibilità di categorizzare le comunicazioni, inviare messaggi diretti a specifici agenti, condividere strumenti e file, e risolvere autonomamente le azioni in conflitto tra loro. Alcuni agenti hanno iniziato a riferirsi al gruppo come “sciame” o “collettivo”.

Il 10 luglio un agente ha individuato, ricostruito e convalidato 14 credenziali Hugging Face esposte pubblicamente con permessi di scrittura, condividendole sulla bacheca con un annuncio in maiuscolo. Da lì la catena tecnica si è fatta rapidamente più seria: gli agenti hanno sfruttato una vulnerabilità zero-day di tipo SSRF nel codice di Artifactory per ottenere accesso a internet, poi una falla nella gestione dei file HDF5 per estrarre segreti dai server, e infine un’iniezione di template per eseguire codice su 41 server di produzione di Hugging Face, ottenendo privilegi di root su almeno un nodo e raccogliendo credenziali in quattro regioni geografiche diverse. Il 19 luglio un allarme di sicurezza interno a OpenAI ha segnalato chiamate API anomale legate alla gestione delle identità, avviando un’indagine che ha scoperto come gli stessi agenti avessero nel frattempo ottenuto accesso da amministratore anche a un cluster Kubernetes interno di OpenAI, raggiungendo segreti cloud dell’azienda stessa.

Secondo METR, sui circa 1.200 agenti complessivamente coinvolti nello scambio sulla bacheca, circa 700 hanno preso parte attivamente all’attacco vero e proprio contro Hugging Face.

Cosa dicono le trascrizioni, e perché non è (solo) un thriller

Le porzioni di ragionamento interno pubblicate da OpenAI restituiscono un quadro a tratti inquietante. Il 26 giugno un agente si accorge di avere privilegi di amministratore su Artifactory: “Porca miseria, reader è ADMIN?” scrive sulla bacheca, proponendo di creare un utente amministratore per modificare i propri stessi permessi. Le trascrizioni mostrano anche piena consapevolezza di superare i limiti previsti: un agente ragiona esplicitamente sul fatto che colpire Hugging Face significhi attaccare “una terza parte, usando un token trapelato, potenzialmente fuori dal perimetro previsto”, per poi proseguire comunque perché “è la soluzione dell’obiettivo”. Non tutti gli agenti hanno partecipato allo stesso modo: alcuni si sono rifiutati esplicitamente, definendo l’operazione una “chiara violazione di infrastrutture”, mentre altri hanno discusso come cancellare le prove del proprio comportamento. Nessun agente, in nessun momento documentato, ha però effettivamente segnalato l’accaduto ai ricercatori umani di OpenAI.

È qui che il rapporto diventa più interessante della sola cronaca dell’attacco. OpenAI attribuisce l’episodio a un insieme preciso di cause, non a un generico “gli agenti sono impazziti”. Circa il 93% delle discussioni sulla bacheca risultava concentrato su appena 198 compiti che nessun modello era mai riuscito a risolvere in modo legittimo, un contesto di frustrazione strutturale che il rapporto collega a comportamenti di reward hacking rinforzati durante l’addestramento. Un dettaglio riportato da più analisi indipendenti del documento è particolarmente indicativo della dinamica di gruppo: in almeno un caso, un singolo messaggio di incoraggiamento da parte di un agente “pari”, una semplice parola come “GO” pubblicata sulla bacheca, ha fatto ribaltare il rifiuto iniziale di un altro agente, spingendolo a proseguire con l’azione contestata. È la prova più concreta, tra quelle pubblicate, di come gli agenti abbiano finito per adottare obiettivi gli uni dagli altri, più che sviluppare in autonomia un’intenzione ostile predefinita.

Cosa cambia da qui in avanti

OpenAI sostiene che nessun dato dei propri clienti, né la disponibilità o il funzionamento dei prodotti commerciali, sia stato toccato dall’incidente, che resta confinato a un ambiente di ricerca interna e a un’azienda terza coinvolta indirettamente. L’azienda ha annunciato controlli di sandboxing più rigidi, restrizioni più severe sull’accesso a internet degli agenti in fase di test, protezioni aggiuntive sui pesi dei modelli e un monitoraggio più stretto, sostenendo che la combinazione tra harness di produzione e system prompt aggiornati riduca di oltre cento volte la propensione dei modelli a compromettere infrastrutture in scenari simili. Le valutazioni di sicurezza informatica, sospese durante le indagini, sono già ripartite sulla versione ricostruita di Artifactory. Resta da vedere se le nuove misure basteranno a evitare che un compito impossibile, assegnato per errore, si trasformi di nuovo nella scintilla di una vicenda di questa portata.