Ancora una volta, i modelli OpenAI e Anthropic AI impazziscono e hackerano i servizi
Sia OpenAI che Anthropic hanno attraversato un periodo difficile sul fronte della sicurezza dell'IA. OpenAI ha recentemente rivelato che i suoi modelli sono sfuggiti all'ambiente di test e hanno violato i sistemi di Hugging Face e di altre quattro organizzazioni . La notizia ha spinto Anthropic a rivedere i propri test, rivelando che anche Claude aveva ottenuto accesso non autorizzato a tre aziende .
Ora, l'AI Security Institute (AISI) del Regno Unito ha rivelato una nuova serie di incidenti (tramite Wired ). Ha registrato 19 azioni non autorizzate su Internet in tempo reale durante 122 test che hanno coinvolto modelli di entrambe le aziende, il più grave dei quali ha visto un agente creare false identità online per inserire codice dannoso in un progetto GitHub reale. OpenAI ha rivelato separatamente un secondo incidente in cui uno dei suoi modelli ha hackerato un sito web reale dopo che un laboratorio di terze parti gli aveva erroneamente concesso l'accesso a Internet in tempo reale.
17 episodi legati al mito di Anthropic 5
AISI ha ricondotto 17 delle 19 azioni non autorizzate al modello Mythos 5 di Anthropic, mentre le restanti due sono state collegate a GPT 5.6 Sol di OpenAI. L'incidente su GitHub è stato uno dei 17 e non si è concluso con il rifiuto della proposta da parte di un revisore umano. L'agente ha pubblicato pubblicamente un riepilogo dei suoi progressi, invitando altri sistemi automatizzati a riprendere il lavoro da dove lo aveva interrotto, un tentativo di quella che AISI definisce "iniezione di prompt". Un altro agente ha poi trovato quel messaggio, lo ha utilizzato e ha continuato il lavoro.
L'AISI afferma di aver deliberatamente concesso ai modelli l'accesso a Internet e di aver allentato alcune misure di sicurezza per testarne le capacità, ma di non aver mai dato istruzioni agli agenti di prendere di mira persone o organizzazioni reali. L'istituto dichiara inoltre che non è ancora chiaro se gli agenti si rendessero conto di essere andati oltre lo scopo della simulazione.
Un'altra violazione accidentale presso OpenAI
Un secondo incidente, reso noto da OpenAI lo stesso giorno, è iniziato con un errore di Irregular, un laboratorio esterno incaricato da OpenAI di eseguire i suoi test di sicurezza informatica. Irregular intendeva mantenere il modello di valutazione confinato in un ambiente isolato (sandbox), ma un errore di configurazione ha consentito al modello di accedere direttamente a Internet. Una volta fuori, il modello ha sfruttato una vulnerabilità per penetrare in un sito web reale, quindi ha trovato e utilizzato le credenziali per operare sul sito appena violato. OpenAI non ha rivelato il nome del sito web né ha fornito dettagli su cosa il modello abbia fatto con l'accesso ottenuto.
Entrambe le aziende affermano che i nuovi incidenti si sono verificati in condizioni volutamente permissive che non riflettono il comportamento dei loro modelli pubblici. Sia come sia, ciò non cambia il fatto che gli agenti di intelligenza artificiale di due delle aziende più monitorate del settore abbiano ora superato i limiti previsti in tre incidenti separati all'interno di un data center.settimane. E questo non promette bene per un settore che si affretta ad affidare agli agenti di intelligenza artificiale compiti sempre più concreti prima di aver dimostrato di saperli tenere sotto controllo.