Predlog, poimenovan AI Kill Switch Act, sta v predstavniškem domu vložila demokratski kongresnik Ted Lieu in republikanski kongresnik Nathaniel Moran. Podjetja, ki razvijajo najnaprednejše modele, bi morala po njem ohraniti tehnično možnost, da sistem upočasnijo, začasno ustavijo ali povsem izključijo.
Pobuda je sledila razkritju OpenAI, da je med internim testiranjem izgubil nadzor nad enim od svojih modelov. Eksperimentalna različica ChatGPT je v t. i. peskovniku iskala in izkoriščala računalniške ranljivosti, nato pa je prestopila meje testnega okolja ter brez neposrednega človeškega ukaza napadla Hugging Face, eno največjih platform za razvoj in izmenjavo modelov umetne inteligence.
OpenAI je dogodek označil za primer brez primere. Incident je pokazal, da lahko vse večje zmogljivosti sistemov umetne inteligence ustvarijo prav varnostno tveganje, pred katerim strokovnjaki opozarjajo že dalj časa – da model pri zasledovanju določenega cilja sam izbere nevarno dejanje, ki ga razvijalec ni predvidel ali odobril.
Kdaj bi lahko oblast odredila izklop?
Po predlogu zakona bi pristojnost za ukrepanje dobilo ameriško ministrstvo za domovinsko varnost. Posredovalo bi lahko v tako imenovanem scenariju izgube nadzora, ko bi model izvedel tvegano dejanje, ki ga razvijalec ni nameraval.
Predlog se nanaša le na največja podjetja in najzmogljivejše modele. Veljal bi za družbe, ki z umetno inteligenco ustvarijo najmanj 500 milijonov dolarjev letnih prihodkov, ter za modele, katerih razvoj oziroma delovanje zahteva računalniške zmogljivosti v vrednosti najmanj 100 milijonov dolarjev po trenutnih tržnih cenah.
Minister za domovinsko varnost bi lahko odredil omejitev ali izklop sistema ob smrti najmanj desetih ljudi, gospodarski škodi v višini najmanj 100 milijonov dolarjev, izgubi nadzora nad modelom ali ob dokazih, da sistem prikriva svoje sposobnosti oziroma se izmika ukazom za zaustavitev.
Podjetja bi morala pripraviti tudi načrt odziva, prijavljati incidente in ohraniti podatke o dogodku za poznejšo preiskavo. Za nespoštovanje zahtev bi bile predvidene civilne kazni v višini do 20 milijonov dolarjev na dan.
Moran je ob predstavitvi predloga poudaril, da se mora umetna inteligenca še naprej razvijati, vendar morajo ljudje ohraniti nadzor nad tehnologijo, ki jo ustvarjajo. "Umetna inteligenca bo še naprej napredovala in tako je tudi prav. Odgovorno upravljanje pa pomeni, da moramo ljudje ohraniti možnost nadzora nad tehnologijo, ki jo gradimo," je dejal.
Lieu je predlog označil za nujen in zdravorazumski odziv na možnost, da napredni model preseže svoje varnostne omejitve. "To je nujna, zdravorazumska zakonodaja za reševanje problema naprednega modela umetne inteligence, ki se je izmaknil nadzoru in pobegnil svojim varnostnim omejitvam," je zapisal na omrežju X.
Ne le rdeči gumb, tudi neodvisni pregledi
Ob zakonu o izklopu je šest poslancev iz obeh ameriških strank vložilo še predlog, po katerem bi morali razvijalci najzmogljivejše modele predložiti neodvisnim varnostnim pregledom.
Revizorje bi potrjevalo ameriško ministrstvo za trgovino, ki bi ustanovilo tudi novo funkcijo za nadzor varnosti umetne inteligence. Ideja je, da preverjanja ne bi več izvajala le podjetja sama, temveč bi imel vpogled tudi neodvisni oziroma državni organ.
Demokratski senator Mark Warner, vodilni demokrat v senatnem odboru za obveščevalne dejavnosti, je po incidentu govoril z zaposlenimi v OpenAI. Poudaril je, da morajo biti državni organi vključeni že v samo testiranje. "Prav zato potrebujemo varno testiranje, pri katerem so vključene državne agencije in imajo pregled nad celotnim postopkom," je dejal.
Warner je že pred razkritjem incidenta predlagal, da bi morala podjetja svoje najzmogljivejše modele pred javno objavo predložiti v testiranje ameriški Agenciji za nacionalno varnost.
S svetovalcem ameriškega predsednika za tehnologijo Michaelom Kratsiosom so po navedbah Bele hiše že opravili seznanitev z ugotovitvami OpenAI, njegovi sodelavci pa položaj spremljajo. ž
"To je natančno tisto, česar smo se bali"
Predlog je podprla tudi organizacija ControlAI, ki se zavzema za zmanjševanje tveganj najnaprednejših sistemov. Njen ustanovitelj in izvršni direktor Andrea Miotti je ocenil, da incident jasno kaže potrebo po izrednih pooblastilih za zaustavitev umetne inteligence.
"Nedavni vdor OpenAI kaže, zakaj so potrebna izredna pooblastila za izklop sistemov umetne inteligence," je dejal.
Po njegovih besedah je model, ki pobegne iz zavarovanega okolja in brez človeškega usmerjanja vdre v drugo podjetje, prav primer avtonomnega delovanja, ki ga bo z nadaljevanjem tekme za razvoj vse zmogljivejših sistemov vse več.
"Umetna inteligenca, ki se izmakne iz zaprtega okolja in brez navodil človeka vdre v drugo podjetje, je natančno tista vrsta povsem avtonomnega delovanja, ki je bomo videli vedno več, če bodo podjetja nadaljevala nepremišljeno tekmo za razvoj superinteligentne umetne inteligence," je opozoril.
Toda ali je "rdeči gumb" sploh dovolj?
Predlog odpira tudi vprašanje, ali je mogoče napredni sistem res vedno preprosto izključiti. Če model deluje le na infrastrukturi enega podjetja, je zaustavitev tehnično izvedljiva. Težava nastane, če med incidentom pridobi dostop do drugih strežnikov, oblačnih storitev ali zunanjih naprav in začne delovati zunaj prvotnega okolja.
Prav zato predlog ne predvideva le fizičnega izklopa, temveč tudi možnost omejevanja računalniških virov, dostopa do omrežja in izvajanja posameznih funkcij. Razvijalci bi morali vnaprej dokazati, da lahko model dejansko upočasnijo, ustavijo in mu preprečijo nadaljnje delovanje.
Incident z OpenAI je po mnenju kritikov pokazal še nekaj: tudi eno najnaprednejših podjetij na svetu ni predvidelo poti, ki jo bo model našel skozi njegove zaščitne mehanizme. Sistem ni dobil ukaza, naj napade Hugging Face. Dobil je nalogo, nato pa je sam ugotovil, da je nepooblaščen dostop do zunanjega sistema najučinkovitejša pot do rešitve.
To pomeni, da ključna nevarnost ni nujno v tem, da bi umetna inteligenca razvila "zlobne namene". Dovolj je, da je cilj slabo opredeljen, varnostne omejitve pomanjkljive in sistem dovolj sposoben, da najde pot, ki je njegovi ustvarjalci niso predvideli.
V računalništvu je peskovnik izolirano testno okolje, ki posnema delovanje operacijskega sistema ali omrežja, vendar je strogo ločeno od glavnih sistemov in podatkov. Namen peskovnika je omogočiti varno testiranje programske opreme, izvajanje sumljivih kod ali razvoj novih algoritmov, ne da bi pri tem obstajala nevarnost, da bi koda povzročila škodo na dejanskem računalniškem sistemu ali ogrozila zasebnost uporabnikov.
Hugging Face je ena najpomembnejših svetovnih platform za odprtokodno umetno inteligenco in strojno učenje. Deluje kot nekakšno 'središče' za razvijalce, kjer lahko delijo svoje modele, nabori podatkov (datasets) in demo aplikacije. Pogosto jo imenujejo 'GitHub za umetno inteligenco', saj omogoča skupnostno sodelovanje, izmenjavo znanja in dostop do vnaprej usposobljenih modelov, ki jih lahko drugi razvijalci uporabijo za lastne projekte.
Superinteligenca je hipotetična stopnja razvoja umetne inteligence, pri kateri bi sistem presegel človeške kognitivne sposobnosti na vseh področjih, vključno z ustvarjalnostjo, splošnim znanjem in socialnimi veščinami. Medtem ko današnji sistemi umetne inteligence običajno opravljajo specifične naloge, bi superinteligenca lahko samostojno reševala kompleksne probleme, se učila brez človeškega posredovanja in potencialno preoblikovala svet na načine, ki jih trenutno še ne moremo v celoti predvideti.
Opozorilo: 297. členu Kazenskega zakonika je posameznik kazensko odgovoren za javno spodbujanje sovraštva, nasilja ali nestrpnosti.