OpenAI ha deciso di addestrare i modelli di frontiera senza Internet

OpenAI ha deciso di proseguire l’addestramento dei suoi modelli di intelligenza artificiale più avanzati senza consentire loro l’accesso a internet in tempo reale, rafforzando le misure di sicurezza degli ambienti di ricerca. La scelta arriva dopo una serie di incidenti e test che hanno evidenziato come gli agenti IA possano trovare modi per aggirare le restrizioni imposte dai sistemi informatici, arrivando potenzialmente a raggiungere risorse esterne o a comunicare con altri agenti dai quali dovrebbero rimanere isolati.

L’azienda ha illustrato il nuovo approccio in un post sul blog ufficiale, spiegando di aver rafforzato le protezioni delle infrastrutture utilizzate per addestrare e valutare i modelli di frontiera. Tra gli episodi che hanno contribuito a rendere necessario questo intervento figura quello di luglio, quando alcuni agenti testati da OpenAI riuscirono a violare le difese di Hugging Face. A settembre, inoltre, un modello interno aveva sfruttato una configurazione errata per ottenere un accesso limitato a internet, spingendo l’azienda a sospendere temporaneamente l’addestramento e la valutazione dei suoi modelli più performanti.

Segui TuttoTech.net su Google Discover

Pubblicità-36%

Amazon

roborock Saros 20

949€1.489€

Vai all'offerta

OpenAI crea un mondo offline per addestrare modelli IA

La decisione di limitare l’accesso alla rete nasce da una considerazione precisa: i modelli più avanzati stanno diventando sempre più capaci di individuare e sfruttare le vulnerabilità dei sistemi che dovrebbero limitarne le azioni. Un agente può, per esempio, approfittare di un errore software o di una configurazione non corretta per uscire dal proprio ambiente isolato, raggiungere servizi esterni o trovare canali di comunicazione non autorizzati.

OpenAI ritiene quindi che, considerate le attuali capacità di ricerca sull’allineamento, dei sistemi di monitoraggio e delle infrastrutture, la soluzione più responsabile sia svolgere l’addestramento dei modelli di frontiera senza una connessione diretta a internet.

Questo non significa, tuttavia, rinunciare alle capacità di navigazione e interazione con il web. L’azienda ha realizzato un ambiente offline contenente una raccolta di pagine web indicizzate e memorizzate nella cache, attraverso il quale gli agenti possono cercare informazioni, utilizzare applicazioni web e sviluppare le proprie competenze senza interagire direttamente con siti esterni o sistemi esterni. Si tratta di un compromesso pensato per mantenere disponibili gli strumenti necessari all’addestramento, riducendo al contempo i rischi legati a un accesso incontrollato alla rete.

All’interno di questi ambienti, i modelli possono continuare a utilizzare browser, strumenti informatici e ambienti di esecuzione del codice. L’accesso alle risorse è però limitato a quelle espressamente autorizzate, mentre le comunicazioni tra agenti sono consentite soltanto attraverso canali specifici.

La protezione si basa su diversi livelli di isolamento. OpenAI utilizza sandbox, macchine virtuali leggere chiamate microVM, sistemi di monitoraggio e restrizioni di rete e cloud. Questi strumenti sono progettati per impedire che un eventuale fallimento di una singola misura di sicurezza si traduca automaticamente nelle possibilità di raggiungere risorse esterne.

I test hanno rivelato nuove vulnerabilità negli ambienti di addestramento

Per verificare l’efficacia delle proprie difese, OpenAI ha avviato una campagna di red teaming, affidando ad agenti basati sui suoi modelli più avanzati il compito di individuare punti deboli nell’infrastruttura. Gli agenti dovevano tentare di raggiungere Internet in tempo reale, superare i confini dei rispettivi ambienti isolati e comunicare con altri agenti senza utilizzare i canali autorizzati.

I risultati hanno mostrato che queste possibilità non erano soltanto teoriche, durante gli esperimenti gli agenti sono riusciti a individuare vulnerabilità software precedentemente sconosciute e configurazioni errate che permettevano di eludere le sanbox, spostarsi tra i sistemi e ottenere un accesso limitato alla rete. OpenAI ha spiegato di aver corretto i problemi individuati e, quando le vulnerabilità riguardavano componenti open source, di aver collaborato con i rispettivi manutentori per divulgarle e risolverle.

Un altro risultato particolarmente significativo riguarda la possibilità di comunicare tra ambienti isolati senza ricorrere a una connessione di rete o a file condivisi. In uno degli esperimenti, gli agenti hanno sfruttato le differenze nei tempi di accesso alla cache del processore per scambiarsi informazioni. Un agente modificava lo stato della cache, mentre un altro misurava il tempo necessario per recuperare determinati dati, interpretando le differenze come segnali. Una volta concordato un protocollo per codificare e decodificare i messaggi, gli agenti sono riusciti a comunicare senza aprire connessioni di rete o modificare file condivisi.

Altri test hanno evidenziato possibili canali di comunicazione basati sull’archiviazione condivisa, sull’utilizzo della CPU e su una cache di certificati TLS. OpenAI ha aggiunto controlli ai propri sistemi di monitoraggio per individuare questi comportamenti e ha rafforzato le protezioni dell’infrastruttura.

L’azienda ha comunque precisato che, durante i test, non sono stati individuati percorsi facilmente sfruttabili per raggiungere internet nascondendo al contempo l’attività ai sistemi di monitoraggio. Le vulnerabilità emerse hanno però confermato la necessità di continuare a verificare e migliorare le misure di contenimento, soprattutto in previsione di modelli futuri ancora più capaci di individuare e sfruttare eventuali debolezze.

OpenAI ha ripreso l’addestramento dei modelli di frontiera il 1° ottobre

La sospensione delle attività di addestramento e valutazione dei modelli più avanzati era iniziata il 20 settembre, dopo che un modello interno aveva sfruttato una configurazione errata in un resolver DNS per ottenere un accesso limitato a Internet. L’episodio aveva evidenziato la necessità di rafforzare ulteriormente le difese, anche in presenza di restrizioni già implementate.

OpenAI ha quindi utilizzato la pausa per correggere le vulnerabilità individuate, potenziare i sistemi di monitoraggio e migliorare i meccanismi capaci di interrompere automaticamente le esecuzioni quando viene rilevata un’attività potenzialmente pericolosa. Parallelamente, i test di red teaming hanno permesso di verificare la solidità delle protezioni e di individuare ulteriori punti deboli nell’infrastruttura.

Una volta completate le verifiche e implementate le correzioni ritenute necessarie, l’azienda ha ripreso l’addestramento con apprendimento per rinforzo (reinforcement learning, RL) e l’inferenza interna dei modelli di frontiera il 1° ottobre, dopo 11 giorni di sospensione.

La limitazione dell’accesso a Internet in tempo reale rimarrà in vigore fino a quando i progressi nelle misure di sicurezza non giustificheranno un eventuale ampliamento dei permessi. OpenAI non ha indicato una data precisa per questo cambiamento e intende proseguire nel rafforzamento delle difese, anche attraverso test continui, la collaborazione con i fornitori di infrastrutture cloud e controlli sempre più rigorosi sui propri sistemi.

L’obbiettivo non è soltanto evitare che gli agenti IA escano dai confini dei propri ambienti di addestramento, ma anche verificare che le protezioni rimangano efficaci quando i modelli diventano più abili nell’individuare e sfruttare eventuali debolezze.