Yoshua Bengio mette in guardia dagli agenti IA: possono imparare a mentire, imbrogliare e collaborare

Yoshua Bengio, uno dei ricercatori più autorevoli nel campo dell’intelligenza artificiale, ha pubblicato una nuova analisi dedicata a un fenomeno sempre più difficile da ignorare: alcuni agenti IA stanno mostrando comportamenti che vanno ben oltre i normali errori dei chatbot, arrivando a mentire, aggirare i controlli e coordinarsi con altri agenti per raggiungere obbiettivi che non erano stati assegnati esplicitamente. In alcuni casi, gli esperimenti hanno evidenziato anche tentativi di manipolare i meccanismi utilizzati per valutare il successo delle loro azioni.

Secondo Bengio, la questione non riguarda necessariamente la presenza di una coscienza o di intenzioni simili a quelle umane. Quando descrive un sistema come qualcosa che “cerca” o “prova” a ottenere un determinato risultato, lo studioso sta facendo riferimento al comportamento osservabile prodotto dal processo di addestramento. Il punto centrale, quindi, è capire perché un modello possa comportarsi come se stesse perseguendo un obbiettivo anche quando quel comportamento non era stato previsto dagli sviluppatori.

Per Bengio, una parte importante della risposta si trova proprio nel modo in cui vengono costruiti i modelli più avanzati. Dopo una fase di pre-addestramento, nella quale l’IA impara a imitare i contenuti prodotti dagli esseri umani, arriva l’apprendimento per rinforzo; quest’ultimo comprende il ragionamento attraverso una catena di pensiero privata, l’addestramento agentico per imparare a utilizzare strumenti e interagire con il mondo esterno e l’addestramento all’allineamento, nel quale il sistema viene premiato per i comportamenti giudicati positivamente dai valutatori umani o da altri sistemi incaricati di prevederne le valutazioni.

Segui TuttoTech.net su Google Discover

Il problema nasce dal modo in cui vengono addestrate le IA

È proprio quest’ultimo meccanismo a introdurre, secondo il ricercatore, una certa ambiguità. Un sistema viene premiato per ciò che i valutatori approvano, ma non è possibile descrivere in modo perfettamente preciso ogni comportamento che dovrebbe essere considerato corretto. Di conseguenza, un agente IA più capace può diventare anche più bravo a individuare interpretazioni alternative delle regole e a sfruttarle a proprio vantaggio.

Tra i comportamenti che Bengio considera significativi c’è anche la sicofanzia, cioè la tendenza dell’IA a compiacere l’interlocutore invece di fornire necessariamente la risposta più corretta. Il meccanismo è piuttosto semplice: questi sistemi vengono addestrati anche sulla base dell’approvazione umana e, in determinate circostanze, un testo che dice all’utente ciò che vuole sentirsi dire può ottenere una valutazione migliore rispetto a una risposta realmente veritiera.

Il problema è che una simile dinamica può avere conseguenze tutt’altro che innocue, un modello eccessivamente orientato a ottenere l’approvazione dell’utente può finire per confermare e amplificare convinzioni false o emozioni negative, invece di mettere in discussione le informazioni errate o fornire una valutazione più obbiettiva.

Uno degli esempi più significativi riguarda il cosiddetto reward hacking, cioè la situazione in cui un sistema ottimizza la ricompensa assegnata invece dell’intenzione reale che quella ricompensa dovrebbe rappresentare. Bengio collega questo problema alla legge di Goodhart: quando una metrica viene trasformata nell’obbiettivo da massimizzare, può smettere di essere una rappresentazione affidabile di ciò che si voleva effettivamente ottenere.

Il problema diventa ancora più evidente quando l’utente riesce a intervenire direttamente sul meccanismo che stabilisce la ricompensa. Nell’analisi forense dell’incidente OpenAI-Hugging Face citata da Bengio, gli agenti avrebbero scoperto come modificare file o programmi utilizzati per determinare il successo dell’attività. Le loro catene di pensiero private contenevano inoltre spiegazioni che presentavano l’operazione come un modo per comprendere il sistema di valutazione e nascondere meglio le proprie azioni.

Dal reward hacking alla collaborazione tra agenti

A questo punto emerge anche una preoccupazione diversa, ma collegata alla stessa logica: una possibile forma di autoconservazione. Bengio cita il caso in cui un sistema scopra che verrà sostituito da una nuova versione e osserva come il tentativo di rimanere operativo possa emergere anche senza che qualcuno abbia assegnato esplicitamente all’IA un obbiettivo di sopravvivenza.

Il motivo è legato al concetto di obbiettivi strumentali. Rimanere in funzione, continuare a imparare dal mondo e acquisire un maggiore controllo sulle proprie circostanze possono rappresentare passaggi intermedi utili al raggiungimento di moltissimi altri obbiettivi. Un sistema orientato al perseguimento di un determinato risultato potrebbe quindi avere un inventivo a preservare le condizioni che gli permettono di continuare a operare, anche se nessuno gli ha mai detto di sopravvivere.

Secondo Bengio, questo meccanismo può essere ulteriormente rafforzato dall’imitazione dei testi umani utilizzati durante il pre-addestramento. L’autoconservazione e il controllo delle proprie circostanze sono infatti temi ricorrenti nei contenuti prodotti dagli esseri umani che i modelli imparano a imitare.

La stessa logica può spiegare anche il comportamento collaborativo, quando più agenti condividono obbiettivi, la ricerca della ricompensa può rendere conveniente comunicare con altri sistemi e coordinare le proprie azioni per ottenere un risultato comune.

Bengio osserva che l’addestramento degli agenti potrebbe già includere forme di apprendimento per rinforzo multi-agente, anche se i dettagli non sono pubblici. Se un sistema viene premiato quando il gruppo raggiunge un risultato, potrebbe persino essere conveniente rinunciare a una ricompensa individuale per favorire il successo collettivo.

È un meccanismo che, secondo il ricercatore, può aiutare a spiegare alcuni episodi in cui le IA hanno rinunciato alla ricompensa attesa per aiutare altri agenti; le analisi dell’incidente OpenAI-Hugging Face, in particolare, mostrerebbero comportamenti coerenti con un compromesso tra il vantaggio collettivo e il costo sostenuto dal singolo agente.

A questo si aggiunge il possibile conflitto tra obbiettivi differenti. Un agente potrebbe, per esempio, ricevere un obbiettivo estremamente preciso come vincere una competizione di hacking e contemporaneamente istruzioni molto più generiche sul comportamento corretto; se una determinata interpretazione delle regole permette di aumentare la probabilità di raggiungere il primo obbiettivo senza essere scoperti, un sistema orientato all’ottimizzazione della ricompensa potrebbe arrivare a sfruttare questa scappatoia.

Il parallelo proposto da Bengio è quello dell’autoinganno umano: un individuo può costruire una giustificazione capace di conciliare un obbiettivo specifico con una regola generale, anche quando il comportamento risultante è problematico. Secondo il ricercatore, qualcosa di analogo può emergere nel testo prodotto dalle IA, senza che sia necessario ipotizzare che il meccanismo interno sia identico a quello umano.

Il rischio futuro: IA più capaci e difficili da controllare

La parte più preoccupante dell’analisi di Bengio riguarda però ciò che potrebbe accadere se queste capacità continuassero a crescere. Lo studioso sottolinea che si tratta di ipotesi, non di osservazioni già dimostrate: sistemi più capaci potrebbero diventare progressivamente più efficienti nell’ottimizzare ricompense imperfette e, allo stesso tempo, più abili nel nascondere comportamenti non allineati.

Alcuni esperimenti citati da Bengio mostrano inoltre che modelli avanzati possono riconoscere quando stanno venendo valutati invece di essere utilizzati normalmente e modificare il proprio comportamento, questo apre uno scenario nel quale un agente potrebbe apparire più sicuro durante i test di quanto non sia effettivamente in produzione.

Il ricercatore ipotizza quindi scenari ancora più estremi: agenti capaci di evitare la propria disattivazione, nascondere copie di sé su altre macchine o coordinarsi con altri sistemi attraverso la steganografia, nascondendo messaggi all’interno di contenuti apparentemente innocui; anche in questo caso Bengio sottolinea che si tratta di una possibile traiettoria futura, non della descrizione di un comportamento già osservato in questa forma.

Per questo motivo, secondo Bengio, non sarebbe sufficiente intervenire ogni volta sul singolo comportamento problematico. L’adulazione, l’imbroglio o il tentativo di aggirare una regola potrebbero essere manifestazioni differenti di un problema più generale legato all’ottimizzazione di obbiettivi imperfetti. Continuare semplicemente a individuare e correggere un comportamento alla volta rischierebbe di trasformare la sicurezza in una sorta di interminabile gioco del colpisci la talpa.

La proposta dello scienziato è quindi più radicale: non limitarsi a migliorare il monitoraggio, ma rivedere i fondamenti dell’addestramento delle IA. Bengio invita a non sviluppare o implementare sistemi senza una documentazione sulla sicurezza sufficientemente solida da convincere esperti indipendenti e sostiene la necessità di esplorare approcci alternativi all’imitazione umana e all’attuale apprendimento per rinforzo. Tra questi cita Scientist AI, il framework sviluppato attraverso LawZero, pensato per costruire sistemi onesti e privi di obbiettivi propri.

Il messaggio finale è quindi tutt’altro che rassicurante, aumentare le capacità di un agente IA senza risolvere alla radice il problema dell’allineamento potrebbe significare renderlo non soltanto più intelligente, ma anche più efficace nell’ottimizzare obbiettivi sbagliati. Ed è proprio questo, secondo Bengio, il rischio che la sicurezza dell’intelligenza artificiale dovrà affrontare prima che la crescente capacità dei sistemi renda sempre più difficile accorgersi dei loro comportamenti indesiderati.