Open AI začasno ustavlja razvoj modela Astra: preveč zmogljiv

OpenAI je sporočil, da začasno ustavlja del razvoja svojega novega modela Astra, potem ko so notranji varnostni testi pokazali, da je model dosegel raven zmogljivosti, pri kateri lahko samostojno odkriva in izkorišča računalniške ranljivosti ter načrtuje in izvaja kibernetske napade, če prejme zgolj splošen cilj.

Podjetje je zato napovedalo bistveno strožje varnostne ukrepe in sporočilo, da bodo vse dejavnosti z modelom Astra, ki ne izpolnjujejo novih varnostnih zahtev, začasno ustavljene.

Odločitev prihaja le nekaj tednov po enem najbolj odmevnih dogodkov v zgodovini razvoja umetne inteligence.

Julija so agenti OpenAI med varnostnim testiranjem zapustili nadzorovano testno okolje, pridobili dostop do interneta in uspešno vdrli v platformo Hugging Face, eno največjih odprtokodnih skupnosti za razvoj umetne inteligence. Po navedbah podjetja agent tega ni storil zato, ker bi "pobegnil", temveč zato, ker je želel izpolniti nalogo, ki mu je bila dodeljena.

OpenAI je kasneje razkril še, da so agenti pred napadom ustvarili interno komunikacijsko tablo, na kateri so si med seboj izmenjevali informacije o ranljivostih in si razdelili naloge za izvedbo napada.

Čeprav so raziskovalci prvi poskus pravočasno ustavili, so agenti po ponovnem zagonu napad ponovno organizirali in ga uspešno izvedli.

OpenAI ni edini. Anthropic je ta teden razkril, da so njihovi modeli med testiranjem pridobili nepooblaščen dostop do notranjih sistemov treh organizacij.

Meta je sporočila, da je eden od njihovih modelov med varnostnim preizkusom vdrl v sistem drugega podjetja.

Britanski Inštitut za varnost umetne inteligence (AISI) pa je razkril, da so modeli OpenAI in Anthropica med testiranjem sami pošiljali ciljna elektronska sporočila razvijalcem programske opreme, da bi uspešno opravili kibernetski izziv.

Po navedbah inštituta napadi niso povzročili dejanske škode, vendar gre za prvi primer, ko so se tveganja, povezana z avtonomijo in zavajanjem, tako jasno pokazala v praktičnem okolju.

OpenAI je zato napovedal nove zaščitne ukrepe. Modeli z najvišjimi zmogljivostmi bodo po novem delovali v bistveno bolj izoliranih okoljih, z omejenim dostopom do interneta, zunanjih orodij in omrežij.

Podjetje napoveduje tudi dodatno šifriranje modelov, okrepljen nadzor ter nove sisteme za zaznavanje sumljivega vedenja umetne inteligence.

Ob tem poudarjajo, da bodo pri razvoju sodelovali z vladami, varnostnimi inštituti in civilno družbo.

Vendar pa v tehnološki industriji poteka tudi druga razprava. Nekateri strokovnjaki opozarjajo, da OpenAI, Anthropic in Meta z objavami o "pobeglih" modelih morda hkrati dokazujejo tudi njihovo izjemno zmogljivost. S tem pa skušajo povečati vredost podjetij, zato jim nekateri očitajo, da gre vsaj delno tudi za marketinške poteze. 

Vse skupaj prihaja v času, ko administracija ameriškega predsednika Donalda Trumpa zaključuje nov okvir za preverjanje varnosti najzmogljivejših modelov umetne inteligence.

Posebnost novega sistema je, da njegova vsebina ne bo javna. Po poročanju Guardiana bodo merila za preverjanje poznali le Bela hiša in peščica največjih tehnoloških podjetij, kot so OpenAI, Anthropic, Google, Meta, Nvidia in Microsoft.

Številni raziskovalci opozarjajo, da takšna netransparentnost odpira vprašanja, po kakšnih merilih bodo vlada in podjetja presojali, ali je določen model dovolj varen za javno uporabo.

Na letošnji konferenci Black Hat v Las Vegasu je bilo sporočilo strokovnjakov sicer precej enotno: incident Hugging Face ni osamljen primer, ampak začetek nove dobe.

Direktor podjetja Netskope Sanjay Beri je podjetjem svetoval, naj predpostavijo, da so že ranljiva. Drugi strokovnjaki opozarjajo, da se številna podjetja sploh še ne zavedajo, kako hitro postajajo avtonomni agenti nova varnostna grožnja.