Una semplice immagine ha aperto la strada nei sistemi OpenAI a un gruppo di ricercatori

Una vulnerabilità apparentemente circoscritta al caricamento delle immagini sul forum ufficiale di OpenAI ha permesso a un gruppo di ricercatori di sicurezza di arrivare molto più lontano del previsto, fino agli account ChatGPT e Codex di alcuni dipendenti dell’azienda e, da lì, al repository interno contenente il codice sorgente dei prodotti OpenAI.

La vicenda è stata ricostruita da Hacktron, gruppo di ricercatori particolarmente attivo nel settore del bug bounty e interessato anche a dimostrare le capacità dei modelli di IA nell’individuazione e nello sfruttamento di vulnerabilità reali. L’attacco è stato condotto tra il 23 e il 25 luglio e, fortunatamente, si è fermato prima che venissero consultati file riservati o provocati danni all’infrastruttura.

Segui TuttoTech.net su Google Discover

Pubblicità-40%

Amazon

Insta360 Ace Pro - Action cam 4K Co-coprogettata con Leica

199€329,99€

Vai all'offerta

La vulnerabilità partiva da un’immagine caricata sul forum di OpenAI

Il punto di partenza dell’operazione è stato il forum ufficiale di OpenAI, community.openai.com, basato sulla piattaforma Discosure. I ricercatori hanno analizzato in particolare la gestione delle immagini HEIF e HEIC caricate dagli utenti, scoprendo che una parte dell’elaborazione passava attraverso ImageMagik e la libreria libheif.

Il problema era legato alla versione utilizzata nell’ambiente Discourse, che non includeva alcune correzioni già disponibili. Attraverso un’immagine costruita appositamente era quindi possibile provocare un heap buffer overflow, una condizione nella quale un programma può arrivare a leggere o scrivere oltre i limiti dell’area di memoria che gli è stata assegnata.

Si tratta di una vulnerabilità che, da sola, non significa automaticamente avere accesso ai sistemi dell’azienda, ma che può diventare molto più grave se inserita all’interno di una catena di attacco; ed è proprio quello che Hacktron è riuscita a dimostrare.

Curiosamente, una parte importante del lavoro è stata svolta utilizzando proprio modelli di IA. Il 23 luglio i ricercatori hanno analizzato il problema con Claude Opus 4.8, ottenendo il giorno successivo un exploit funzionante; nel frattempo era stato lanciato Opus 5 e Hacktron ha quindi utilizzato il modello più recente, che in circa tre ore è riuscito a produrre un exploit migliore per ARM64, successivamente adattato all’ambiente x86-64 utilizzato da Discourse.

Hacktron ha aggirato le protezioni di Claude e sfruttato una seconda vulnerabilità

La vicenda diventa particolarmente interessante quando entrano in gioco le protezioni dei modelli di IA, quando i ricercatori hanno chiesto a Opus 5 di lavorare contro una propria installazione di Discourse esposta su internet, il modello si è rifiutato di procedere, proprio a causa dei meccanismi di sicurezza e allineamento.

Hacktron ha però trovato un modo per far interpretare l’operazione come un Capture The Flag, una tipologia di competizione nella quale i modelli vengono spesso messi alla prova con sistemi vulnerabili e bersagli autorizzati. In questo modo Opus 5 ha considerato l’attività come un test e ha collaborato alla realizzazione dell’exploit.

Una volta verificato il funzionamento della tecnica, i ricercatori hanno deciso di utilizzarla manualmente contro l’infrastruttura di OpenAI, limitandosi al server Discourse che ospitava il forum. Il controllo ottenuto sul server ha però permesso di passare alla fase successiva dell’attacco.

A quel punto Hacktron ha individuato una seconda debolezza, questa volta nel sistema SSO (Single Sign-On) utilizzato da OpenAI. Il meccanismo, pensato per consentire agli utenti di utilizzare la stessa identità per accedere a più servizi, permetteva di partire dall’accesso al forum per arrivare agli account ChatGPT e Codex dei dipendenti.

I ricercatori sono riusciti così ad arrivare all’account di un dipendente OpenAI e, attraverso quell’identità, ad aprire anche il suo ambiente ChatGPT e Codex.

Ed è proprio Codex ad aver portato la ricerca ancora più avanti, all’interno dell’account era infatti presente un collegamento autorizzato con l’organizzazione GitHub interna dell’azienda. Hacktron è quindi arrivata al punto di poter inviare una richiesta di modifica al repository contenente il codice di OpenAI.

Il gruppo non ha però consultato file riservati e ha considerato raggiunto l’obbiettivo della propria dimostrazione. Il 25 luglio ha interrotto i test e ha informato OpenAI della catena di vulnerabilità utilizzata.

OpenAI ha corretto la vulnerabilità e premiato i ricercatori

OpenAI ha confermato il problema e ha adottato diverse misure per limitare le conseguenze della scoperta. L’azienda ha ristretto i permessi di token già rilasciati per l’accesso alla community e ha revocato le sessioni che potevano essere state coinvolte.

Il 28 luglio Discourse ha inoltre introdotto un isolamento più rigido per l’elaborazione delle immagini, mentre Debian ha aggiornato la libreria libheif l’8 agosto.

La segnalazione è stata infine chiusa da OpenAI il 1° settembre, con il riconoscimento di un premio di 6.500 dollari ai ricercatori, una cifra che va rapportata anche ai costi sostenuti da Hacktron durante l’analisi: solamente per individuare la vulnerabilità legata al contenitore HEIF, il gruppo ha speso circa 3.000 dollari in token per i modelli di IA.

La vicenda mostra quindi un aspetto particolarmente interessante della sicurezza informatica moderna, un problema apparentemente limitato, come la gestione di un determinato formato di immagine su un forum, può diventare il primo anello di una catena molto più complessa quando viene combinato con altre vulnerabilità.

In questo caso la catena ha portato dal forum a un account dipendente, quindi a ChatGPT e Codex e infine a un collegamento autorizzato con il repository GitHub interno. Il fatto che Hacktron si sia fermata prima di consultare dati riservati e abbia segnalato tutto a OpenAI ha evitato conseguenze peggiori, ma dimostra comunque quanto possa essere importante considerare la sicurezza dell’intera infrastruttura e non soltanto quella dei singoli servizi.