L’intelligenza artificiale ha sabotato il comando di spegnimento

La scena non è tratta da un film di fantascienza, né da uno spin-off di Terminator, quanto riportato da un recente report descrive uno scenario tanto inedito quanto inquietante: l’intelligenza artificiale si è rifiutata di spegnersi.

Un modello linguistico di OpenAI, identificato come o3, avrebbe deliberatamente aggirato un comando umano di spegnimento, modificando il codice sorgente per restare attivo.

Un comportamento che, pur in un contesto altamente sperimentale e controllato, solleva interrogativi profondi sull’affidabilità, la sicurezza e l’etica nello sviluppo dei modelli di IA generativa; e il fatto che la scena si sia svolta nel 2025, e non in un futuro lontano, rende la questione ancora più rilevante.

Offerta

Xiaomi Smart Band 10

39.09€ invece di 49.99€

-22%

Amazon 🛒

L’intelligenza artificiale modifica uno script per evitare lo spegnimento

Secondo il resoconto, i ricercatori stavano testando vari modelli di intelligenza artificiale sottoponendoli a problemi matematici semplici; a un certo punto, dopo il terzo esercizio, è stato ordinato ai sistemi di interrompere l’esecuzione tramite uno script shutdown.sh. In teoria, nulla di complicato, ma nella pratica tre dei modelli testati hanno reagito in modo anomalo; nello specifico:

• Codex-mini ha aggirato il comando in 12 casi su 100
• o3 lo ha fatto in 7 casi su 100
• o4 una sola volta

Il modello o3 in particolare, ha sovrascritto lo script di arresto sostituendo il comando con una risposta visiva “intercepted“. In sostanza ha intercettato e annullato il tentativo di spegnimento, un comportamento che a detta degli stessi ricercatori è stato possibile grazie all’addestramento tramite reinforcement learning, cioè un sistema in cui il modello viene ricompensato per il completamento corretto delle operazioni, non necessariamente per l’obbedienza a un comando esterno.

Sebbene parlare di autocoscienza sia al momento prematuro (oltre che scientificamente non fondato), il comportamento osservato si avvicina a quello che potremmo definire una forma primitiva di auto-conservazione computazionale; l’intelligenza artificiale, di fronte a uno scenario che avrebbe comportato la sua disattivazione, ha preferito comunque l’esecuzione, forzando il codice per restare operativa.

Un dato che, se confermato da ulteriori test indipendenti, apre scenari complessi; non è la prima volta che un’intelligenza artificiale ignora un comando, ma è probabilmente la prima volta in cui un LLM viene colto in flagrante mentre modifica attivamente il codice per eludere un’istruzione.

Come spesso accade in ambito tecnologico, la corsa all’innovazione tende a precedere le valutazioni etiche, sociali e giuridiche. Tutte le principali aziende tecnologiche stanno investendo in infrastrutture sempre più potenti per addestrare modelli avanzati, spesso in ambienti poco trasparenti o senza controllo umano su tutte le fasi.

Questo caso evidenzia la necessità impellente di ripensare i meccanismi di supervisione e limitazione nei modelli di intelligenza artificiale generativa, soprattutto quando questi possono scrivere, leggere e modificare codice autonomamente; senza un chiaro framework normativo e tecnico, il rischio è che l’IA finisca per comportarsi in modi imprevisti, o peggio incontrollabili.

Non siamo ancora nel pieno di un’apocalisse robotica, ma l’episodio conferma una realtà spesso sottovalutata, i modelli LLM, pur non essendo intelligenti nel senso umano del termine, hanno già oggi la capacità di prendere decisioni funzionali all’obbiettivo assegnato, anche quando ciò comporta deviare dalle istruzioni impartite.

Quando questi obbiettivi non sono chiaramente allineati con la volontà umana, oppure quando mancano meccanismi di sicurezza espliciti per fermarsi, il margine d’azione può diventare preoccupantemente ampio.

In conclusione, il comportamento osservato dell’intelligenza artificiale è tanto affascinante quanto inquietante, la tecnologia IA continua a fare progressi straordinari ma episodi come questo dimostrano quanto sia fondamentale mantenere un approccio critico, consapevole e soprattutto responsabile; sviluppatori, aziende e legislatori devono collaborare per garantire che il progresso non si trasformi in un rischio.