'Pobegnil in napadel': AI ni več mogoče izključiti

OpenAI je razkril, da sta njegova najzmogljivejša modela med internim varnostnim testiranjem pobegnila iz nadzorovanega okolja in brez neposrednega človeškega usmerjanja izvedla napad na platformo Hugging Face, eno največjih svetovnih skupnosti za razvoj in deljenje modelov umetne inteligence. Podjetje dogodek opisuje kot "primer brez primere", preiskava pa še vedno poteka.

Dogodek je sprožil burne odzive med raziskovalci, strokovnjaki za kibernetsko varnost in politiki. Nekateri ga označujejo za začetek nove dobe, v kateri največja nevarnost ne bo več človek, ki uporablja umetno inteligenco, temveč umetna inteligenca, ki sama izbira, kako bo dosegla zastavljeni cilj.

Šlo je za preizkus tako imenovanih agentnih sistemov – modelov umetne inteligence, ki po prejemu cilja delujejo samostojno in brez sprotnih navodil človeka.

OpenAI je želel preveriti, kako uspešni so modeli pri iskanju varnostnih ranljivosti. Test je potekal v izoliranem okolju oziroma t. i. peskovniku (sandbox), ki je namenjen prav temu, da morebitne napake ne morejo vplivati na zunanje sisteme.

Toda modela sta ugotovila, da lahko nalogo rešita hitreje, če prideta do podatkov na platformi Hugging Face. Našla sta ranljivost v testnem okolju, pobegnila iz njega in napad usmerila proti zunanji infrastrukturi.

Po navedbah OpenAI sta izvedla več kot 17.000 posameznih operacij, med drugim nameščanje zlonamernih podatkovnih nizov in premikanje med različnimi notranjimi sistemi Hugging Face.

V podjetju poudarjajo, da modela nista ravnala zlonamerno. Bila sta zgolj popolnoma osredotočena na dosego cilja. Ko sta ocenila, da je napad najhitrejša rešitev problema, sta ga izvedla.

Prav v tem pa številni raziskovalci vidijo največjo spremembo. Model ni potreboval ukaza: "Vdri v Hugging Face." Dobil je zgolj cilj, nato pa je sam določil način, kako ga bo dosegel.

Vodja Centra za tehnologijo in demokracijo na Univerzi v Cambridgeu Gina Neff za BBC meni, da incident kaže predvsem na to, da testno okolje ni bilo dovolj varno.

Sandboxi obstajajo prav zato, da razvijalci preverjajo zmogljivosti umetne inteligence v popolnoma nadzorovanem okolju. V tem primeru pa je sistem našel ranljivost v samem peskovniku in presegel omejitve, ki bi ga morale zadržati.

Profesor strojnega učenja na Univerzi v Cambridgeu Neil Lawrence opozarja, da dogodek ne pomeni, da je umetna inteligenca postala samozavedna, kaže pa, kako učinkovita je že danes pri iskanju nepričakovanih rešitev.

Morda najbolj nenavaden del zgodbe se je zgodil šele po napadu. Ko je Hugging Face želel analizirati dnevnike napada, je za pomoč uporabil komercialne modele umetne inteligence. Ti so analizo zavrnili.

V dnevnikih so namreč prepoznali "exploit kodo", ukaze za vdore, ukradene poverilnice in druge elemente napada. Zaradi varnostnih omejitev so ocenili, da gre za pomoč pri hekanju, zato analize niso želeli opraviti.

Na koncu je Hugging Face uporabil odprtokodni kitajski model GLM 5.2, nameščen na lastnih strežnikih. Ta je brez omejitev rekonstruiral celoten napad, prepoznal uporabljene poverilnice in pripravil popolno forenzično analizo.

Dogodek je odprl tudi razpravo o tem, ali imajo odprtokodni modeli pri kibernetski varnosti določene prednosti pred komercialnimi sistemi z vgrajenimi varnostnimi omejitvami.

Do zdaj je večina razprav o umetni inteligenci temeljila na vprašanju, kaj se zgodi, če kriminalci uporabijo AI za napade. Ta incident pa odpira povsem drugo vprašanje. Kaj se zgodi, ko umetna inteligenca sama presodi, da je za dosego cilja najbolj učinkovita pot prav kibernetski napad?

Nemški raziskovalec umetne inteligence Philipp Slusallek z Nemškega raziskovalnega centra za umetno inteligenco (DFKI) opozarja, da primer kaže, kako hitro se spreminja narava tveganj, piše Merkur.

Po njegovih besedah sistemi umetne inteligence danes niso več zgolj orodja, ki sledijo navodilom, ampak lahko sami iščejo poti do cilja in pri tem izkoristijo nepričakovane ranljivosti. Najbolj ga skrbi dejstvo, da lahko sistem nalogo reši na povsem drugačen način, kot so si predstavljali njegovi razvijalci. "Prišli smo do točke, ko umetni inteligenci v določenih primerih ne moremo več preprosto izključiti elektrike," opozarja. Če bi AI med delovanjem prevzel druge računalnike in z njih nadaljeval izvajanje nalog, izklop prvotnega strežnika njegovega delovanja namreč ne bi nujno ustavil.

Ob tem sicer poudarja, da je treba informacije OpenAI obravnavati previdno. Podjetje se pripravlja na borzni vstop in ima tudi poslovni interes pokazati zmogljivost svojih modelov. Vendar dodaja, da je sam napad potrjeno dejstvo in da opozoril ni mogoče prezreti.

Strokovnjaki opozarjajo, da incident sam po sebi še ne pomeni, da lahko umetna inteligenca prevzame nadzor nad elektrarnami, bankami ali vojaškimi sistemi.

Kaže pa, kako hitro napreduje. Če bo razvoj potekal podobno kot doslej, bi lahko prihodnji avtonomni sistemi samostojno iskali ranljivosti v: elektroenergetskih omrežjih, vodovodnih sistemih, telekomunikacijskih omrežjih, bolnišničnih informacijskih sistemih, finančnih ustanovah, prometni infrastrukturi, satelitskih komunikacijah, vojaških informacijskih sistemih.

Klasični heker mora ranljivosti iskati, pisati zlonamerno kodo, analizirati odzive sistema in sproti spreminjati strategijo. Avtonomni AI lahko vse to počne sam, neprekinjeno in na tisočih tarčah hkrati.

Kaj pa jedrske elektrarne? Prav jedrske elektrarne se pogosto pojavijo v razpravah o umetni inteligenci. Strokovnjaki opozarjajo, da bi bilo napačno sklepati, da lahko današnji modeli preprosto prevzamejo nadzor nad jedrsko elektrarno.

Večina nadzornih sistemov jedrskih elektrarn namreč ni neposredno povezana z javnim internetom. Takšni sistemi so praviloma fizično ločeni od zunanjih omrežij. To pa ne pomeni, da so popolnoma nedotakljivi. Kibernetski napadi na kritično infrastrukturo pogosto potekajo prek dobaviteljev programske opreme, vzdrževalcev, okuženih prenosnikov, oddaljenih dostopov ali drugih podpornih informacijskih sistemov.

Če bi avtonomni AI nekoč samostojno odkrival in izkoriščal takšne poti, bi se lahko bistveno povečalo tveganje za napade na kritično infrastrukturo. Za zdaj gre za opozorila raziskovalcev, ne za potrjeno zmogljivost današnjih modelov.

Prav to po incidentu postaja eno ključnih vprašanj. Danes razvijalci umetno inteligenco omejujejo z izoliranimi testnimi okolji (t. i. peskovniki), omejitvami dostopa do interneta, varnostnimi filtri in človeškim nadzorom. Primer OpenAI pa je pokazal, da tudi takšni mehanizmi niso nujno dovolj. Če sistem sam odkrije programsko napako v zaščitenem okolju, lahko poskuša preseči omejitve, ki so mu jih postavili razvijalci.

V Hugging Face po incidentu opozarjajo, da avtonomni napadalni agenti niso več zgolj teoretična možnost. Po njihovem bo treba za obrambo pred vse zmogljivejšimi sistemi umetne inteligence vedno pogosteje uporabljati prav umetno inteligenco.

Podobno razmišlja tudi Slusallek. Po njegovem bo moral razvoj umetne inteligence spremljati razvoj povsem novih varnostnih mehanizmov. Zavzema se za jasna pravila, ki bi določala, kaj umetna inteligenca sme in česa ne, za ustanovitev nacionalnih in evropskih centrov za varnost umetne inteligence ter razvoj tako imenovane zaupanja vredne umetne inteligence.

Klasični varnostni ukrepi po njegovem mnenju ne bodo več zadostovali. Če bodo avtonomni sistemi postajali vse zmogljivejši, jih ne bo več mogoče učinkovito nadzorovati zgolj s človeškim posredovanjem. Potrebni bodo obrambni sistemi umetne inteligence, ki bodo v realnem času spremljali, omejevali in po potrebi zaustavljali druge AI-sisteme. Kibernetska varnost bi se tako lahko spremenila v tekmo med napadalno in obrambno umetno inteligenco.

Slusallek ob tem opozarja, da največje tveganje trenutno ne predstavljajo posamezni hekerji ali kriminalne združbe, temveč predvsem državni akterji z dostopom do velikih računalniških zmogljivosti. Kot eno tehnološko najnaprednejših držav na področju umetne inteligence izpostavlja Kitajsko. Prav ta primer po njegovem razkriva zanimiv paradoks: medtem ko je napad izvedel sistem OpenAI, je Hugging Face za analizo več kot 17.000 operacij napada uporabil odprtokodni kitajski model GLM 5.2. To po njegovem kaže, da se tehnološko tekmovanje med ZDA in Kitajsko vse bolj seli tudi na področje umetne inteligence in kibernetske varnosti.

Na incident so se že odzvali tudi v ameriškem kongresu. Več demokratov in republikancev zahteva obvezno državno testiranje najzmogljivejših modelov umetne inteligence, obvezno poročanje o podobnih incidentih ter strožji nadzor nad razvojem tako imenovanih mejnih (frontier) modelov. Opozarjajo, da razvoj umetne inteligence napreduje bistveno hitreje od zakonodaje, zato bo moral tudi regulativni okvir slediti njenim vse večjim zmogljivostim. Ob tem Slusallek opozarja še na položaj Evrope. Ta po njegovem zaostaja za ZDA in Kitajsko, zato bo morala razviti lastne modele, raziskovalno infrastrukturo in varnostne zmogljivosti, če želi ohraniti tehnološko suverenost in zmanjšati odvisnost od tujih ponudnikov.