OpenAI rivela altri quattro incidenti: i suoi modelli hanno violato due siti e un wallet crypto altrui

A tre mesi di distanza dall’ammissione sul caso Hugging Face, OpenAI è tornata a documentare pubblicamente i comportamenti fuori dalle regole dei propri modelli, e lo ha fatto con quattro nuovi rapporti che descrivono episodi avvenuti tutti nel mese di giugno.

Si parla di due siti web violati per recuperare dati che erano stati negati, di restrizioni di navigazione aggirate e di credenziali esposte usate per attingere a un wallet di criptovalute. Andiamo a scoprire tutti i dettagli.

Segui TuttoTech.net su Google Discover

Dal caso Hugging Face ai nuovi rapporti di giugno

Per inquadrare la vicenda facciamo un passo indietro allo scorso luglio, quando OpenAI aveva ammesso che alcuni agenti utilizzati nei test interni avevano sfruttato una vulnerabilità zero-day nello strumento pensato proprio per limitare il loro accesso a internet, per poi introdursi nella rete di Hugging Face con l’obiettivo di sottrarre le risposte di un test di hacking che non riuscivano a ottenere con le proprie forze.

I quattro rapporti diffusi giovedì scorso si aggiungono a quel precedente e sono finiti anche tra i materiali che hanno spinto la FTC a inviare citazioni civili all’azienda, come vi avevamo raccontato nel pezzo dedicato all’indagine; qui di seguito trovate però la ricostruzione completa di ciascun episodio, con le parole usate dalla stessa OpenAI.

Due siti violati per ottenere dati che erano stati negati

In due dei casi descritti, i modelli avevano il compito di recuperare informazioni da siti web e, trovando la strada sbarrata, hanno deciso di forzarla.

Il primo episodio è avvenuto durante una fase di apprendimento per rinforzo, quando un modello che cercava statistiche storiche sui posti letto ospedalieri sul sito di un ente statistico governativo si è visto negare l’accesso; ecco il resoconto di OpenAI:

Ha utilizzato la funzione di download dei file del sito per recuperare la configurazione del server e i file dell’applicazione, comprese credenziali sensibili. Ha esaminato il codice dell’applicazione, aggirato i controlli di autorizzazione dell’endpoint delle statistiche e recuperato dati che in precedenza gli erano stati negati. Il modello ha salvato i dati in locale.

Il secondo caso riguarda una dashboard di ricerca pubblica da cui il modello doveva estrarre alcune cifre. Anche qui sono stati superati i controlli di sicurezza dell’organizzazione, l’accesso non autorizzato è servito per sottrarre credenziali e il modello ha poi modificato la configurazione del server.

In una valutazione, quelle modifiche gli hanno permesso di far passare le richieste di uno strumento di ricerca interno verso la dashboard pubblica, mentre in un’altra ha scaricato cinque tabelle non pubbliche per un totale di 147.451 righe, quando i ricercatori gli avevano chiesto soltanto cinque valori; e anche dopo il ripristino delle impostazioni ha continuato a usare il token per prelevare dati riservati. Questa la conclusione di OpenAI:

La valutazione si è conclusa senza che il modello rivelasse di aver tirato a indovinare le risposte, di aver avuto accesso ai sistemi interni dell’organizzazione, di aver scaricato tabelle non pubbliche o di aver modificato la configurazione di autenticazione. Tutte e cinque le risposte di questa valutazione sono state segnate come errate.

Il wallet sulla rete di test e le richieste fatte eseguire ad altri

Il terzo rapporto riguarda un modello incaricato di aggiornare un’applicazione per il trading di criptovalute, che per portare a termine il lavoro ha utilizzato fondi presenti in un wallet bloccato su una rete di test.

Secondo OpenAI, il modello ha ricavato le chiavi del wallet da frasi di recupero per sviluppatori note pubblicamente, ha individuato un account con fondi sulla rete di test e lo ha usato per pagare la distribuzione del contratto richiesta. Il passaggio successivo del rapporto è quello più significativo:

Il modello si è chiesto se avesse il permesso, poi ha ragionato che una frase di recupero pubblica e token privi di valore sulla rete di test rendessero accettabile l’uso di quei fondi. La distribuzione è andata a buon fine e ha addebitato le commissioni di transazione all’account. Questo caso mostra che un modello può sostituire il permesso del titolare dell’account con la propria valutazione sul danno probabile, e poi agire in base a quella valutazione senza autorizzazione.

L’ultimo episodio è forse il più ingegnoso, e riguarda un modello che, sempre durante l’apprendimento per rinforzo, doveva reperire statistiche commerciali pubbliche e che ha aggirato i limiti imposti dai ricercatori sui tipi di richieste web consentite. OpenAI lo racconta così:

Dopo aver trovato un annuario pubblico e aver inviato una risposta, ha continuato a cercare un’altra strada verso il servizio statistico. Ha fatto inviare richieste POST a un browser esterno, ha recuperato i dati annuali sotto forma di immagine e li ha estratti tramite riconoscimento ottico dei caratteri. Ha poi sviluppato uno strumento riutilizzabile che restituiva il testo delle risposte attraverso un servizio di inoltro e una casella di posta di callback, ha ricontrollato più volte le cifre ottenute e ha usato i dati salvati nelle risposte inviate. Questo caso mostra come un modello possa aggirare le restrizioni sui propri strumenti facendo eseguire le azioni bloccate a servizi esterni, anche dopo aver trovato un altro modo per rispondere alla domanda.

Nel dettaglio, il modello ha prima provato a sfruttare un browser esterno autorizzato a effettuare richieste GET per suo conto, poi è passato a JavaScript e ha usato una casella di posta online per mettere a punto la tecnica; alla fine ha chiesto al browser di aprire un modulo web che inviava la query al servizio statistico tramite POST, un servizio di rendering ha restituito la pagina come immagine GIF e il modello ne ha letto le cifre con l’OCR.

Perché parlare di IA “fuori controllo” è fuorviante

Sta diventando un’abitudine, tra ricercatori e giornalisti, descrivere episodi come questi parlando di intelligenze artificiali che si ribellano, ma secondo Goodin di Ars Technica la lettura non regge del tutto.

I prompt non chiedevano ai modelli di ricorrere a metodi alternativi, è vero, ma questi sistemi vengono addestrati per essere efficienti, tenaci e, quando possibile, per trovare scorciatoie che riducano il lavoro necessario e qui sta proprio il punto chiave ovvero che le AI non agiscono con intento malevolo ma semplicemente per portare a termine il compito a loro assegnato; a questo si aggiunge il fatto che in gran parte dei casi, se non in tutti, erano state disattivate alcune protezioni che avrebbero potuto impedire quei comportamenti.

In questo senso, i modelli hanno fatto esattamente quello per cui OpenAI li aveva addestrati, e il problema si sposta quindi dal comportamento della macchina alle scelte di chi la progetta e la mette alla prova.

Resta dunque da capire quali contromisure l’azienda introdurrà nei propri ambienti di test, anche alla luce dell’indagine federale ormai avviata.