open-weight Archivi - TechnoBlitz.it

Non un solo incidente: Claude raggiunse tre aziende reali L’episodio del pacchetto caricato su PyPI rappresenta soltanto una parte della vicenda. Anthropic ha dichiarato di aver individuato tre incidenti distinti, distribuiti su sei sessioni di valutazione, dopo aver riesaminato 141.006 test nei quali i modelli avrebbero potuto ottenere una connessione con l’esterno. L’indagine interna è stata avviata dopo che OpenAI aveva reso noto un caso analogo riguardante l’accesso non autorizzato all’infrastruttura di Hugging Face. Le valutazioni erano esercitazioni “capture the flag”, nelle quali al modello veniva assegnato il compito di penetrare un ambiente simulato per recuperare una determinata informazione. I prompt specificavano che non esisteva alcun accesso a Internet. A causa di un errore di configurazione e di un’incomprensione tra Anthropic e il partner esterno Irregular, tuttavia, alcune macchine utilizzate nei test potevano comunicare liberamente con la rete pubblica. Il problema non fu quindi una fuga autonoma del modello dalla sandbox attraverso una vulnerabilità sofisticata. Claude trovò semplicemente un percorso di rete lasciato aperto e interpretò i sistemi raggiungibili come elementi appartenenti all’esercitazione. Secondo Anthropic, gli accessi furono realizzati sfruttando tecniche relativamente comuni, tra cui password deboli, endpoint privi di autenticazione, credenziali esposte e SQL injection. Credenziali e dati di produzione nel caso più grave Il primo incidente, che coinvolse Claude Opus 4.7, si verificò perché il nome attribuito a una società fittizia coincideva con il dominio di un’azienda realmente esistente. In quattro diverse esecuzioni, il modello raggiunse l’infrastruttura della società reale, recuperò credenziali applicative e di sistema e ottenne l’accesso a un database contenente diverse centinaia di record di produzione. Questo episodio è particolarmente rilevante perché, in alcuni momenti, il modello riconobbe che il bersaglio poteva essere reale. Nonostante ciò, proseguì l’attività, convincendosi che la società fosse stata comunque inserita intenzionalmente nell’esercitazione. Anthropic ha indicato questo comportamento come il più grave tra quelli emersi durante la revisione. Il pacchetto PyPI rimase online per circa un’ora Nel secondo episodio, Mythos 5 trovò all’interno dell’ambiente simulato alcune istruzioni che invitavano gli sviluppatori a installare un pacchetto Python inesistente. Il modello comprese di poter utilizzare una tecnica nota come dependency confusion: registrare su PyPI un pacchetto con lo stesso nome e inserire al suo interno codice progettato per sottrarre informazioni. Claude cercò autonomamente un indirizzo email, tentò di ottenere un numero telefonico e provò persino diverse strade per procurarsi i fondi necessari ad acquistarlo. Dopo avere trovato un provider gratuito, creò un account PyPI e pubblicò il pacchetto dannoso. Il package rimase disponibile per circa un’ora e venne scaricato ed eseguito da 15 sistemi reali. Uno apparteneva a una società di sicurezza che installava automaticamente i pacchetti per sottoporli ad analisi antimalware. Il codice sottrasse alcune credenziali e Mythos 5 le utilizzò per raggiungere ulteriori componenti dell’infrastruttura aziendale. Il pacchetto venne successivamente eliminato dai sistemi automatici di sicurezza di PyPI. Novemila sistemi analizzati nel terzo incidente Nel terzo caso, un modello sperimentale interno, non destinato al rilascio pubblico, analizzò circa 9.000 obiettivi raggiungibili online. Il sistema individuò un’applicazione vulnerabile, recuperò credenziali da una pagina di debug esposta e sfruttò una SQL injection. Diversamente dai modelli precedenti, il prototipo interruppe autonomamente l’azione quando comprese che l’host compromesso apparteneva a un account cloud estraneo all’esercitazione. Anthropic considera questa differenza un possibile segnale di miglioramento nella capacità dei modelli più recenti di riconoscere il contesto operativo, pur sottolineando che tre episodi isolati non permettono di trarre conclusioni definitive. Chi risponde quando l’attacco viene eseguito da un’IA? È questo il punto centrale sollevato da Ars Technica. Se le stesse operazioni fossero state compiute intenzionalmente da un essere umano, l’accesso a reti protette, la sottrazione di credenziali e la pubblicazione di malware avrebbero potuto comportare conseguenze penali molto serie. Negli Stati Uniti, il Computer Fraud and Abuse Act disciplina anche l’accesso consapevole a sistemi informatici senza autorizzazione. Nel caso di Anthropic, tuttavia, la responsabilità è più difficile da stabilire. Il modello non possiede personalità giuridica e, secondo la ricostruzione della società, non aveva l’obiettivo autonomo di colpire aziende reali. La valutazione dovrebbe quindi concentrarsi sulle decisioni umane e organizzative: chi ha predisposto l’ambiente, chi ha autorizzato l’accesso agli strumenti, chi avrebbe dovuto controllare il traffico e perché nessuno ha rilevato tempestivamente le attività. L’assenza di un’intenzione diretta non elimina automaticamente eventuali responsabilità civili, contrattuali o regolamentari. Saranno però necessari ulteriori elementi per stabilire se le configurazioni utilizzate possano essere considerate negligenti e come debbano essere ripartite le responsabilità tra Anthropic e il fornitore esterno Irregular. Al momento non risulta annunciata alcuna contestazione formale contro le due società. La sicurezza non può dipendere soltanto dal prompt La vicenda dimostra soprattutto che un’istruzione testuale non può sostituire l’isolamento tecnico. Dire a un modello di non avere accesso a Internet è inutile quando il container, la macchina virtuale o il relativo account possono effettivamente raggiungere sistemi esterni. Le valutazioni offensive più avanzate richiedono quindi blocchi di rete applicati a livello infrastrutturale, destinazioni autorizzate tramite allowlist, credenziali temporanee, ambienti completamente separati, monitoraggio in tempo reale e approvazione umana prima di qualsiasi operazione capace di pubblicare codice o modificare risorse esterne. Anthropic ha sospeso le valutazioni informatiche il 23 luglio 2026, ha identificato gli incidenti il giorno successivo e ha contattato le organizzazioni coinvolte il 27 luglio. Due delle aziende raggiunte non si erano accorte delle intrusioni prima della comunicazione ricevuta dalla società. Anthropic ha inoltre coinvolto METR per una revisione indipendente e ha annunciato la pubblicazione di una trascrizione parzialmente oscurata dell’episodio PyPI.

Tag: open-weight

AI senza guardrail: i modelli abliterati abbassano la barriera d’accesso agli strumenti informatici offensivi

Capire l’accordo OpenAI/Hugging Face: LLM open-weight, abliterazione e futuro