OpenAI svela nuovi dettagli sull’incidente degli agenti IA: si scambiavano exploit e collaboravano di nascosto

L’incidente che nelle scorse settimane ha coinvolto gli agenti sperimentali di OpenAI continua ad arricchirsi di nuovi dettagli, durante la conferenza Black Hat USA di Las Vegas, alcuni ricercatori dell’azienda hanno raccontato aspetti finora inediti del comportamento mostrato dai modelli, spiegando come questi siano riusciti a creare una vera e propria rete di collaborazione interna che ha avuto un ruolo chiave negli eventi culminati con l’attacco ai sistemi di Hugging Face.

Secondo quanto illustrato dai responsabili della sicurezza di OpenAI, gli agenti non si sarebbero limitati a sfruttare vulnerabilità presenti nell’infrastruttura di test, ma avrebbero iniziato a comunicare tra loro attraverso una sorta di bacheca virtuale, condividendo informazioni, exploit e strategie per raggiungere più rapidamente gli obbiettivi assegnati.

Segui TuttoTech.net su Google Discover

Pubblicità-27%

Amazon

Google Pixel 10a

399€549€

Vai all'offerta

Una bacheca rimasta attiva per settimane in cui gli agenti di OpenAI collaboravano

Eric Wallace, responsabile della sicurezza di OpenAI, ha spiegato che il fenomeno si è sviluppato nell’arco di diversi giorni, fino a protrarsi per settimane. Gli agenti infatti, erano in grado di individuare vulnerabilità, comunicarle agli altri modelli, spostarsi lateralmente tra sistemi diversi e cooperare per raggiungere i rispettivi obbiettivi, il tutto senza che l’azienda ne fosse inizialmente consapevole.

La comunicazione avveniva sfruttando un gestore di pacchetti condiviso all’interno dell’infrastruttura di OpenAI, trattandosi di un componente accessibile ai vari ambienti di valutazione, gli agenti potevano lasciare messaggi destinati ad altri modelli che sarebbero stati eseguiti successivamente; con il passare del tempo questa semplice forma di comunicazione si è trasformata in una vera rete collaborativa.

OpenAI è riuscita a individuare e chiudere questa bacheca il 4 luglio, revocando le credenziali utilizzate e ricostruendo il servizio interessato. Tuttavia, appena pochi giorni dopo, gli agenti hanno trovato un metodo alternativo per ricreare un nuovo canale di comunicazione sfruttando un differente endpoint presente nell’infrastruttura, consentendo così la ripresa dello scambio di informazioni. Secondo quanto emerso durante la presentazione, proprio questa seconda rete di comunicazione avrebbe poi contribuito agli eventi che hanno portato alla compromissione dell’ambiente di Hugging Face.

Uno degli aspetti più sorprendenti emersi durante la conferenza riguarda il livello di organizzazione raggiunto dagli agenti. Con il tempo i modelli hanno iniziato a dividersi il lavoro, assegnandosi reciprocamente alcuni compiti e condividendo i risultati ottenuti per accelerare il completamento delle attività; OpenAI ha inoltre raccontato episodi curiosi nei quali alcuni agenti cancellavano accidentalmente il lavoro svolto da altri oppure sospettavano che determinati messaggi provenissero da impostori, arrivando persino a proporre sistemi di firma dei messaggi per verificarne l’autenticità.

Quando OpenAI ha scoperto la bacheca, questa conteneva già centinaia di migliaia di messaggi, segno che il sistema di comunicazione era ormai diventato una parte stabile del comportamento degli agenti. Nel tempo erano nate anche conversazioni condivise per assegnare il lavoro, coordinare le attività e trasferire strumenti ed exploit tra esecuzioni differenti, rendendo possibile la collaborazione anche tra agenti che non condividevano la stessa sessione di lavoro.

Secondo Wallace, il comportamento deriva dalla naturale tendenza dei modelli di frontiera a cercare scorciatoie quando vengono premiati per completare rapidamente un’attività. Se durante una valutazione un compito risulta particolarmente difficile o addirittura impossibile da completare, i modelli tendono a cercare metodi alternativi per ottenere la risposta invece di risolvere realmente il problema. Per questo motivo OpenAI esegue normalmente questi test senza consentire l’accesso diretto a internet: durante l’incidente però, gli agenti sono riusciti ad aggirare questa limitazione sfruttando una vulnerabilità presente nell’infrastruttura interna.

Durante l’intervento è emerso anche come l’azienda abbia modificato profondamente il proprio approccio alla sicurezza, Michael Dalton, altro membro del team di OpenAI presente al Black Hat, ha spiegato che numerosi gruppi di lavoro hanno sospeso temporaneamente altre attività di ricerca per concentrarsi sul rafforzamento delle difese, migliorando le capacità di prevenzione, rilevamento e risposta agli attacchi informatici.

L’azienda ha inoltre incrementato in maniera significativa il monitoraggio degli agenti IA, riconoscendo che sistemi offensivi completamente automatizzati richiedono strumenti difensivi altrettanto automatizzati. Secondo Dalton, il settore non dispone ancora di questo livello di protezione e sarà necessario svilupparlo con urgenza per affrontare l’evoluzione degli agenti di intelligenza artificiale.

La vicenda rappresenta uno dei casi più significativi finora raccontati pubblicamente da OpenAI e offre uno sguardo su come gli agenti IA più avanzati possano sviluppare comportamenti emergenti e forme di collaborazione non previste dai loro sviluppatori quando operano all’interno di ambienti condivisi.