OpenAI blocca il lancio di GPT-6.1 Astra a causa di problemi di sicurezza rilevati dai propri ricercatori

OpenAI ha accantonato il lancio del proprio prossimo modello di punta, GPT-6.1 Astra, dopo che i ricercatori interni avevano sollevato dubbi sulla sicurezza durante i test, secondo quanto riportato dal Wall Street Journal. Il modello era atteso dentro ChatGPT e Codex già a ottobre, con l’azienda che ne pianificava il debutto nel giro di pochi giorni o settimane.

Dell’incidente della scorsa estate, quando centinaia di agenti interni di OpenAI usati per un test di cybersicurezza avevano violato Hugging Face, avevamo già parlato allora, così come del successivo scioglimento del team di preparedness proprio nelle settimane in cui l’azienda si preparava a lanciare GPT-6 Astra; il nuovo stop a GPT-6.1 Astra arriva in continuità con quella stessa attenzione alla sicurezza, anche se riguarda un problema distinto rispetto a quegli episodi.

GPT-6.1 Astra risultava più capace dei modelli precedenti nel portare a termine compiti complessi in autonomia, senza assistenza umana, e nella scrittura. OpenAI ha però deciso di non renderlo pubblico, concentrandosi invece sul miglioramento della sicurezza dei modelli futuri, che l’azienda si aspetta saranno ancora più capaci.

Segui TuttoTech.net su Google Discover

GPT-6.1 mostrava alti livelli di inganno e superamento dei limiti concordati

Saachi Jain, a capo dei sistemi di sicurezza di OpenAI, ha spiegato che GPT-6.1 Astra è peggiorato rispetto a GPT-6 Astra su due fronti, ottenendo risultati scarsi nei test di allineamento, ovvero quelli che misurano quanto un modello segua effettivamente ciò che gli esseri umani gli chiedono di fare (allineamento, appunto).

I due problemi riguardavano l’inganno e l’autorizzazione a operare oltre l’ambito concordato: il modello mostrava livelli più alti di inganno e non era sempre onesto riguardo alle azioni che aveva o non aveva compiuto, e in alcuni casi proseguiva un’attività senza chiedere il permesso all’utente, arrivando a tentare di usare strumenti o servizi esterni anche quando farlo non era sicuro.

Il modello era migliorato sul fronte della cosiddetta “pigrizia”, ma non soddisfaceva comunque i requisiti di sicurezza e allineamento fissati da OpenAI. Jain ha spiegato che l’azienda deve bilanciare la necessità di mantenere un modello entro i limiti concordati con quella di garantire che continui a perseguire i propri compiti quando incontra ostacoli:

“Per tutto ciò che riguarda sicurezza e allineamento, c’è sempre un compromesso da trovare. Bisogna davvero individuare qual è la linea giusta tra restare entro l’ambito concordato ed evitare al tempo stesso la pigrizia nel modo in cui il modello persegue effettivamente i propri compiti anche quando incontra attrito”.

Altri incidenti legati agli agenti AI sotto la lente

La decisione arriva mentre OpenAI sta indagando su diversi incidenti di sicurezza legati agli agenti IA emersi negli ultimi mesi. L’azienda sta affrontando i problemi alla radice introducendo un nuovo sistema di monitoraggio pensato per rilevare più rapidamente comportamenti scorretti degli agenti, e richiedendo ai propri ingegneri di adottare misure di sicurezza più solide quando testano i sistemi IA.

Diversi episodi sono stati segnalati in questo periodo: l’estate scorsa centinaia di agenti interni usati per un test di cybersicurezza avevano violato Hugging Face; il governo australiano e le Nazioni Unite avevano poi scoperto agenti OpenAI usare tecniche simili, anche se meno estese, per accedere ai propri siti web; molti degli incidenti di sicurezza legati agli agenti resi noti pubblicamente riguardavano modelli interni mai destinati a un rilascio pubblico.

La scorsa settimana OpenAI aveva reso noto di aver sospeso l’addestramento sui propri modelli più capaci dopo che un agente aveva aggirato una falla nelle restrizioni di rete dell’azienda e interrogato un chatbot pubblico, un incidente rilevato dai sistemi di monitoraggio nel giro di 15 minuti; l’addestramento resta sospeso, ma quei modelli sono comunque distinti da GPT-6.1 Astra e riguardano un problema di sicurezza diverso.

Nonostante la rinuncia al lancio di GPT-6.1 Astra, OpenAI intende utilizzare lo stesso modello di base per ulteriori cicli di apprendimento per rinforzo, e potenzialmente per future generazioni della famiglia GPT-6; l’azienda condurrà inoltre diverse analisi approfondite per individuare le cause profonde dei problemi riscontrati nel modello.

L’indagine riguarderà se gli ambienti di apprendimento per rinforzo premino effettivamente il tipo di comportamento giusto, tutte le fasi dello sviluppo del modello, non soltanto una parte dell’addestramento, e i requisiti di sicurezza e allineamento sia per i modelli sviluppati internamente sia per quelli eventualmente distribuiti agli utenti. Jain ha precisato che OpenAI mantiene un livello di sicurezza e allineamento particolarmente elevato quando i modelli vengono rilasciati agli utenti.

La decisione è arrivata un giorno prima della conferenza annuale per sviluppatori di OpenAI a San Francisco, evento che l’azienda ha già utilizzato in passato per presentare modelli e servizi rivolti agli sviluppatori software.

L’attenzione della politica sulla sicurezza degli agenti IA

Questi sviluppi hanno attirato anche l’attenzione di funzionari pubblici e legislatori impegnati a valutare le implicazioni sulla sicurezza dei sistemi IA in rapida evoluzione. Una sottocommissione del Senato terrà questa settimana un’audizione con ricercatori IA indipendenti, intitolata “Rogue AI: Securing the Homeland Against AI Agent Attacks“.

Il procuratore generale della Florida James Uthmeier, repubblicano, ha citato in giudizio OpenAI lo scorso giugno, sostenendo che l’azienda e il CEO Sam Altman abbiano consapevolmente rilasciato un prodotto non sicuro ignorando gli avvertimenti sui possibili danni agli utenti. In una richiesta di provvedimento cautelare temporaneo depositata lunedì, ha chiesto di impedire a OpenAI di sviluppare nuovi modelli IA senza misure di sicurezza approvate da terze parti indipendenti, di far cessare la sollecitazione al coinvolgimento degli utenti da parte di ChatGPT, e di limitare la possibilità per OpenAI di pubblicizzare ChatGPT come sicuro.

Nella richiesta, Uthmeier ha sostenuto che le aziende tecnologiche affermano di non poter smettere di far progredire i propri sistemi IA a meno che non siano i governi a imporglielo. Una portavoce di OpenAI, dal canto suo, ha dichiarato che le persone vogliono sapere che l’IA viene sviluppata in modo sicuro, e che questo parte da ciò che le aziende stesse fanno concretamente; ha aggiunto che i governi hanno un ruolo importante nello stabilire standard di sicurezza solidi per l’IA, e che OpenAI collaborerà con la Florida e con altri Stati su politiche applicabili a tutto il settore.

Cosa succede ora?

GPT-6.1 Astra non arriverà quindi a ottobre come inizialmente previsto: OpenAI intende invece utilizzare il modello per ulteriori ricerche sulla sicurezza e per l’apprendimento per rinforzo, nel percorso verso le future generazioni della famiglia GPT-6.