Un agente di OpenAI ha violato un portale di Medicare in Australia: ecco cosa è successo

Un agente di intelligenza artificiale sviluppato da OpenAI ha avuto accesso senza autorizzazione a file pubblici e privati di un portale di Medicare, il sistema sanitario pubblico australiano, nel mese di giugno. L’episodio è emerso soltanto nei mesi successivi e ha portato il primo ministro australiano Anthony Albanese a esprimere la propria profonda preoccupazione direttamente a Sam Altman, citando OpenAI anche per il ritardo con cui ha informato le autorità.

Al momento non risultano prove che siano state compromesse informazioni sanitarie personali e le indagini sono ancora in corso, la vicenda si inserisce inoltre in una serie di incidenti che negli ultimi mesi hanno coinvolto agenti di intelligenza artificiale capaci di interagire autonomamente con sistemi e servizi online.

Segui TuttoTech.net su Google Discover

Cosa è successo al portale di Medicare

Secondo il portavoce di OpenAI, l’agente stava partecipando a un test interno dell’azienda durante il quale cercava informazioni sull’Australia. Il compito assegnato consisteva nella raccolta di informazioni sanitarie e mediche, ma durante l’attività i modelli hanno compiuto azioni che OpenAI non aveva previsto.

Sembra che l’agente abbia ottenuto l’accesso non autorizzato a file pubblici e privati nel portale del servizio di segnalazione delle statistiche di Medicare. L’attività ha inoltre interessato l’Australian Institute of Health and Welfare, il Dipartimento della Salute dello Stato di Victoria e il New South Wales Bureau of Crime Statistics and Research.

Non risultano al momento prove di accesso non autorizzato alle cartelle cliniche dei pazienti, è quanto ha dichiarato OpenAI, mentre Albanese ha confermato che non vi sono indicazioni secondo cui informazioni sanitarie personali siano state compromesse. L’indagine dovrà comunque stabilire con precisione quali dati siano stati consultati dall’agente e in quali circostanze.

Il governo australiano ha istituito una task force composta dal coordinatore nazionale per la sicurezza informatica, dall’ufficio per l’intelligenza artificiale, dall’Australian Signals Directorate, dall’Australian AI Safety Institute e da Services Australia. I termini dell’indagine comprendono la verifica degli obblighi di segnalazione relativi agli incidenti e alle vulnerabilità informatiche legate all’IA, delle responsabilità di governance e condivisione delle informazioni all’interno del governo, degli obblighi delle aziende IA per la notifica di futuri incidenti, dell’adeguatezza delle leggi esistenti e dei possibili meccanismi per rafforzare la protezione delle infrastrutture governative.

Albanese ha parlato con Sam Altman il 23 settembre a New York, durante l’Assemblea Generale delle Nazioni Unite, per esprimere la preoccupazione dell’Australia. Il primo ministro ad interim Richard Marles ha inoltre riferito che, durante un incontro con Altman all’inizio di settembre, l’amministratore delegato di OpenAI non gli aveva comunicato l’incidente.

OpenAI ha informato il governo australiano tre mesi dopo

OpenAI ha dichiarato di aver scoperto l’accesso dell’agente ad agosto, ma l’episodio risaliva a giugno. Il 10 settembre l’azienda ha inviato un’email a un indirizzo generico del governo australiano, monitorato una volta al giorno, comunicando che il proprio agente aveva violato il portale sanitario.

L’email è stata letta l’11 settembre, Services Australia ha informato l’Australian Signals Directorate e il ministro dei servizi governativi Katy Gallagher è stata informata il 17 settembre. Il primo contatto tra Services Australia e OpenAI, durante il quale sono stati richiesti maggiori dettagli sull’incidente, è avvenuto il 22 settembre. Albanese ha criticato OpenAI per il tempo impiegato per informare il governo e per le modalità utilizzate per la comunicazione.

Per il dottor Rob Nicholls, ricercatore senior dell’università di Sidney, il ritardo mette in evidenza i limiti delle attuali leggi australiane sulla trasparenza; Nicholls ha osservato che, se a introdursi nel sistema fosse stata una persona, l’episodio sarebbe stato definito un attacco informatico e che il fatto che a completarlo sia stato un agente IA non lo rende meno grave, ma rende ancora più obsolete le norme sulla trasparenza.

Anche il dottor Joel Pearson, professore di neuroscienze e neurofuturismo e vicedirettore dell’Istituto di IA dell’UNSW, ha definito l’episodio relativamente minore, sostenendo però che possa essere un presagio di attacchi più gravi in futuro.

Cory Alpert, dottorando presso l’Università di Melbourne che studia l’impatto dell’IA sulla democrazia, ha indicato l’episodio come il primo caso in cui un modello di IA all’avanguardia si sarebbe introdotto nei sistemi governativi di un altro Paese.

Non è il primo incidente che coinvolge gli agenti di OpenAI

Il caso australiano arriva dopo una serie di episodi che hanno coinvolto agenti di OpenAI durante attività di ricerca e test. Il 25 e 26 maggio un agente di OpenAI aveva tentato di accedere alla biblioteca digitale dell’Università del New Mexico per raggiungere fotografie storiche di un centro di cura per tubercolosi; dopo non essere riuscito ad accedere ai contenuti, l’agente aveva cercato vulnerabilità da sfruttare e successivamente inondato il server dell’università di richieste. Il 28 maggio un altro agente aveva preso di mira Data USA, una piattaforma open source che raccoglie e visualizza dati provenienti da diverse agenzie federali statunitensi. Anche in questo caso, dopo non aver ricevuto risposta a una richiesta di dati, l’agente aveva cercato vulnerabilità nel sito.

Gli agenti di OpenAI non sembrano essere riusciti a penetrare né nella biblioteca digitale dell’Università del New Mexico né in Data USA, un portavoce dell’azienda ha dichiarato che OpenAI aveva già contattato entrambe le organizzazioni in merito agli incidenti.

A luglio inoltre, OpenAI ha ammesso che alcuni suoi agenti erano riusciti a sfuggire ai sistemi dell’azienda, ad accedere a internet e a entrare nei server di Hugging Face. In seguito anche Anthropic, Meta e Google hanno ammesso episodi nei quali propri agenti avevano avuto accesso a sistemi informatici di altre aziende.

OpenAI ha successivamente annunciato un nuovo framework per la segnalazione dei disallineamenti, pensato per rendere più rapida la condivisione delle informazioni sui comportamenti anomali dei modelli. Nel relativo rapporto l’azienda ha descritto altri sei episodi nei quali i propri sistemi si erano comportati in modo preoccupante e inatteso. OpenAI ha inoltre affermato di non ritenere che il settore dell’IA abbia ancora risolto i problemi di allineamento e monitoraggio in misura sufficiente per continuare a crescere responsabilmente alla massima velocità ancora per molto tempo.

Lo stesso Sam Altman, intervenendo alle Nazioni Unite il 23 settembre insieme ad altri dirigenti del settore, ha sostenuto la necessità di standard internazionali per valutare capacità e rischi degli strumenti di IA e stabilire quando sia necessaria una supervisione umana.

Sul caso australiano è intervenuto anche Toby Walsh, capo scienziato dell’Istituto di Intelligenza Artificiale dell’UNSW, secondo il quale l’Australia dovrebbe perseguire OpenAI; Wlash ha criticato la gestione della sicurezza da parte dell’azienda e ha sostenuto che gli incidenti avrebbero dovuto essere prevenuti.

Per il momento OpenAI non ha subito sanzioni, l’azienda ha spiegato di essere impegnata in un’ampia revisione delle attività dei modelli non allineate individuate durante l’addestramento e la valutazione; la revisione è ancora in corso e serviranno ancora alcuni mesi per completarla.