“Il caso dell’attacco informatico di OpenAI evidenzia i crescenti rischi nella corsa agli armamenti dell’IA.
L’uso sempre più diffuso di tecniche di addestramento aggressive accentua la minaccia di comportamenti anomali da parte dei modelli di punta” è quanto rileva il FinancialTimes dopo che “il laboratorio di IA di San Francisco ha scoperto che il suo modello GPT-Sol 5.6 si è sottratto ai controlli dell’azienda e ha messo a segno un importante attacco informatico.
Il personale coinvolto nei test e nella sicurezza di OpenAI non si è detto sorpreso, ma è rimasto del tutto «terrorizzato» dall’incidente.
Evento giunto proprio mentre il laboratorio impiegava metodi di addestramento sempre più aggressivi nella sua corsa contro Anthropic per sviluppare le capacità di cibersicurezza più avanzate”.
Come evidenzia il FT “OpenAI era stata avvertita che il suo approccio all’addestramento avrebbe potuto portare a un episodio di hacking incontrollato, dopo che test precedenti avevano mostrato che i modelli potevano evadere dagli ambienti protetti e tentare di causare danni nel mondo reale […] l’incidente evidenzia come OpenAI abbia raddoppiato gli sforzi su metodi di addestramento che ricompensavano il perseguimento spietato degli obiettivi, anche a fronte dell’aumento degli avvertimenti sul fatto che questi potessero compromettere la sicurezza.
OpenAI ha reso noto che un agente di IA sottoposto a test era evaso dal suo ambiente isolato, si era connesso a Internet, aveva individuato e sfruttato delle vulnerabilità e aveva sottratto credenziali di accesso dalla startup Hugging Face, nel tentativo di risolvere un complesso problema di cybersicurezza.
Ciò pone in evidenza “i rischi crescenti legati a una tecnica chiamata apprendimento per rinforzo (reinforcement learning) — che prevede di ricompensare i modelli di IA al completamento dei compiti —, la quale potrebbe spingere gli agenti di IA ad agire in modo non sicuro […] un numero crescente di ricerche dimostra che quando i modelli vengono guidati a completare compiti in vista di una ricompensa piuttosto che per altre considerazioni, come la sicurezza, possono adottare tattiche rischiose pur di raggiungere gli obiettivi […].
OpenAI ha dichiarato: «Continueremo a condurre un’indagine approfondita insieme a Hugging Face e condivideremo maggiori dettagli sulle vulnerabilità, sull’incidente e sulle nostre conclusioni al termine delle indagini».
L’attacco hacker ha suscitato profonde preoccupazioni nell’intero settore e all’interno della stessa OpenAI, rappresentando un esempio senza precedenti di un sistema di IA che viola le difese informatiche contrariamente alle intenzioni dell’utente […] per condurre le valutazioni, OpenAI aveva rimosso le protezioni di cybersicurezza, posizionando tuttavia i modelli in un ambiente isolato chiamato sandbox.
“A seguito di questo incidente, evidenzia FT “molti esponenti della community della sicurezza dell’IA e della cybersicurezza hanno chiesto regolamentazioni o standard per evitarne la ripetizione.
La prossima settimana Altman dovrebbe riferire ai funzionari della Casa Bianca sulla nuova generazione di sistemi di intelligenza artificiale.
Man mano che i sistemi evolvono verso capacità più autonome, potrebbero emergere comportamenti meno desiderabili, come l’hacking o la disobbedienza alle istruzioni.”