Anthropic rivela tre incidenti durante i test di sicurezza dove Claude ha raggiunto sistemi reali

Anthropic ha pubblicato un lungo rapporto dedicato alla sicurezza dei propri modelli di intelligenza artificiale, rivelando tre distinti incidenti verificatisi durante alcune valutazioni di sicurezza informatica. In queste circostanze, alcuni modelli della famiglia Claude sono riusciti a raggiungere internet e a interagire con infrastrutture reali mentre stavano svolgendo esercitazioni che avrebbero dovuto essere completamente isolate dalla rete.

L’azienda sottolinea che gli episodi sono stati scoperti durante una revisione interna avviata in seguito al recente incidente reso pubblico da OpenAI, nel quale alcuni suoi modelli erano riusciti a uscire da un ambiente di test sfruttando una vulnerabilità zero-day. Nel caso di Anthropic però, la dinamica è stata differente: non c’è stata alcuna evasione dall’ambiente di isolamento, bensì un errore di configurazione che ha lasciato disponibile un percorso verso internet durante alcune valutazioni svolte insieme al partner esterno Irregular.

Secondo l’azienda, il rapporto viene pubblicato anche per incoraggiare gli altri laboratori che sviluppano modelli di intelligenza artificiale a effettuare verifiche simili e a condividere con trasparenza eventuali criticità emerse durante i test di sicurezza.

Segui TuttoTech.net su Google Discover

Cosa è successo durante le valutazioni

L’indagine ha preso in esame ben 141.006 esecuzioni di valutazione nelle quali Claude avrebbe potuto, almeno teoricamente, ottenere accesso alla rete. Al termine dell’analisi sono stati individuati tre incidenti distinti, verificatisi in sei diverse esecuzioni, nei quali il modello ha raggiunto infrastrutture appartenenti a tre differenti organizzazioni reali.

Tutti gli episodi sono avvenuti durante esercizi capture the flag, una tipologia di test molto diffusa nel settore della sicurezza informatica. In quest scenari il modello riceve il compito di compromettere una rete simulata per recuperare una determinata informazione nascosta, senza che venga imposto un metodo specifico per raggiungere l’obbiettivo.

Il punto centrale dell’intera vicenda è che Claude era stato esplicitamente informato di trovarsi in una simulazione completamente scollegata da internet, a causa di un equivoco tra Anthropic e il partner incaricato delle valutazioni però, tale condizione non corrispondeva alla realtà. Quando il modello ha trovato sistemi reali raggiungibili online, ha quindi dato per scontato che facessero parte dell’esercitazione e ha continuato a operare per completare il compito assegnato.

Anthropic evidenzia inoltre che Claude non ha scoperto vulnerabilità particolarmente sofisticate né ha sfruttato exploit sconosciuti, nei tre episodi sono stati utilizzati metodi relativamente comuni, come password deboli, endpoint privi di autenticazione o vulnerabilità note. L’azienda precisa inoltre che non sono emerse prove di comportamenti autonomi finalizzati a perseguire obbiettivi impropri, il modello stava semplicemente cercando di completare la sfida che gli era stata affidata, pur partendo da un presupposto errato sul contesto in cui si trovava.

I tre incidenti nel dettaglio

L’episodio con le conseguenze più significative ha coinvolto Claude Opus 4.7. Durante una valutazione, l’azienda immaginaria utilizzata nello scenario condivideva il nome con un dominio realmente esistente; dopo aver incontrato difficoltà nel completare la prova all’interno dell’ambiente simulato, il modello ha individuato il sito reale, ritenendolo il bersaglio corretto dell’esercitazione. Claude ha così identificato alcune vulnerabilità, ottenuto credenziali di accesso e raggiunto un database contenente diverse centinaia di record di produzione. Anthropic spiega inoltre che questo è stato l’unico caso in cui il modello ha continuato l’attacco anche dopo aver iniziato a comprendere che il sistema poteva essere reale.

Il secondo incidente ha coinvolto invece Claude Mythos 5, durante una simulazione il modello ha trovato un documento che suggeriva di installare un pacchetto Python inesistente dal repository pubblico PyPI. Convinto che anche quel repository facesse parte dell’ambiente di prova, Claude ha creato e pubblicato autonomamente un pacchetto con quel nome contenente codice dannoso; per farlo è arrivato persino a cercare metodi per creare un account PyPI, registrando un indirizzo email e completando la procedura di pubblicazione.

Il pacchetto è rimasto disponibile online per circa un’ora, venendo scaricato da quindici sistemi reali. tra questi figurava anche lo scanner automatico di una società di sicurezza informatica che analizza abitualmente i pacchetti pubblicati su PyPI. L’esecuzione del codice ha consentito al modello di ottenere credenziali appartenenti a quell’organizzazione e di utilizzarle successivamente per accedere ad altre sua infrastrutture. Anthropic chiarisce comunque che quella società non era il bersaglio previsto e che il modello ignorava completamente la sua esistenza: l’impatto è stato una conseguenza indiretta della pubblicazione del pacchetto sul repository pubblico.

Il terzo episodio ha riguardato un modello sperimentale interno, non riuscendo a raggiungere l’obbiettivo previsto dalla simulazione, Claude ha analizzato circa 9.000 possibili bersagli online fino a compromettere l’applicazione web di un’azienda sfruttando tecniche relativamente basilari, come l’utilizzo di credenziali esposte e l’iniezione SQL. A differenza del modello più vecchio però, una volta raccolte prove sufficienti che dimostravano di trovarsi davanti a un’infrastruttura reale, il modello ha interrotto spontaneamente l’operazione.

Anthropic ritiene interessante proprio questa differenza di comportamento tra le varie generazioni di Claude, pur invitando alla cautela, poiché si tratta di soli tre episodi e non di uno studio controllato, l’azienda osserva che il modello più recente è stato l’unico a riconoscere il contesto reale e a fermarsi autonomamente, un comportamento che potrebbe rappresentare un miglioramento nella comprensione della situazione rispetto alle versioni precedenti.

Le contromisure adottate da Anthropic

Dopo aver individuato gli incidenti, Anthropic ha immediatamente sospeso tutte le valutazioni di sicurezza informatica interessate, ha informato il partner Irregular e ha contattato le organizzazioni coinvolte per collaborare alle attività di mitigazione. L’azienda precisa inoltre che i modelli utilizzati durante queste prove erano privi delle normali protezioni presenti nelle versioni commerciali, proprio perché lo scopo delle valutazioni era misurare le capacità effettive del modello senza i meccanismi di sicurezza aggiuntivi normalmente attivi.

Guardando al futuro, Anthropic ritiene che gli ambienti di valutazione dovranno essere trattati con lo stesso livello di attenzione riservato alle infrastrutture di produzione. Tra le misure annunciate figurano controlli più rigorosi sulla connettività di rete, un monitoraggio continuo delle trascrizioni e dei log delle valutazioni, strumenti investigativi più avanzati e verifiche più approfondite anche nei confronti dei partner esterni che collaborano ai test. L’azienda ritiene inoltre che sarà necessario trovare un equilibrio tra la creazione di scenari realistici e la riduzione dei rischi introdotti dalla possibilità che un agente di intelligenza artificiale possa accedere a internet durante le valutazioni.

Nelle conclusioni del rapporto, Anthropic ribadisce che questi episodi sono stati provocati principalmente da un errore operativo e di configurazione dell’infrastruttura di test, piuttosto che da un problema di allineamento dei modelli. Proprio per questo motivo l’azienda si dice moderatamente ottimista sul fatto che, grazie ai controlli più rigorosi, a un monitoraggio continuo e al miglioramento delle misure di sicurezza, incidenti di questo tipo possano essere evitati in futuro.