ZDA skoraj napadle kitajsko ladjo, ker se je AI 'zmotila'

Incident se je po poročanju CNN zgodil spomladi, ko so bile ZDA sredi vojne z Iranom. Ameriška vojska je prejela obveščevalno poročilo z izjemno resno ugotovitvijo, da kitajska ladja, ki je plula po Bližnjem vzhodu, prevaža komponente, povezane s programom jedrskega orožja.

Poročilo je sprožilo takojšen odziv. Po navedbah štirih virov, seznanjenih z dogodkom, je ameriška vojska začela pripravljati operacijo za prestrezanje plovila. Dva vira sta za CNN povedala, da so se oboroženi ameriški vojaki že pripravljali na vkrcanje na ladjo, vojaška letala pa so bila medtem že v zraku.

Operacija je bila torej že zelo daleč od običajnega preverjanja obveščevalnih podatkov. In če bi ameriški vojaki dejansko vstopili na kitajsko plovilo na podlagi napačne informacije o jedrskem programu, bi lahko dogodek povzročil izjemno resen mednarodni incident med dvema jedrskima velesilama.

Toda tik pred izvedbo je nekdo še enkrat preveril, na čem poročilo sploh temelji.

Takrat se je začela razkrivati veriga napak. Poročilo je pripravil analitik, pri analizi pa je uporabil klepetalnega robota z umetno inteligenco. Sistem je združil javno dostopne informacije – med drugim podatke o tovoru ladje – s tajnimi obveščevalnimi podatki ameriške vlade, vključno s prestreženimi komunikacijami oziroma signalno-obveščevalnimi podatki.

Rezultat je bil napačen. Umetna inteligenca je tovor na kitajski ladji identificirala kot material, povezan s programom jedrskega orožja.

Analitik je nato umetno inteligenco ponovno uporabil pri sestavljanju obveščevalnega poročila, ki je bilo razposlano znotraj ameriške vojske. Poročilo je bilo obravnavano dovolj resno, da so se začele konkretne priprave na vojaško operacijo.

Šele ko so tik pred izvedbo poročilo in podatke podrobneje pregledali analitiki z več strokovnega znanja na tem področju, so ugotovili, da je klepetalni robot tovor napačno identificiral. Eden od virov CNN je poročilo označil za "popolnoma napačno". Operacijo so preklicali.

Tega za zdaj ne vemo. CNN ni mogel ugotoviti, kaj je kitajska ladja v resnici prevažala niti kam je bila namenjena. Prav tako ni jasno, kateri sistem umetne inteligence je analitik uporabil. 

Pentagon in pristojno poveljstvo na vprašanja o incidentu nista odgovorila.

Kaj se je zgodilo z umetno inteligenco? Poznavalci pravijo, da gre za pojav, ki ga pri generativni umetni inteligenci pogosto imenujemo halucinacija. Sistem ustvari napačen podatek ali sklep, vendar ga lahko poda v zelo prepričljivi obliki. In prav to je pri uporabi umetne inteligence na občutljivih področjih posebej nevarno.

Težava ni zgolj v tem, da se umetna inteligenca lahko zmoti. Človek se prav tako lahko zmoti. Ključno vprašanje je, ali uporabnik rezultat sistema obravnava kot predlog, ki ga je treba neodvisno preveriti, ali kot zanesljivo ugotovitev.

Primer prihaja v trenutku, ko administracija Donalda Trumpa in obrambni minister Pete Hegseth pospešujeta uporabo umetne inteligence v ameriški vojski.

Hkrati ZDA in Kitajska umetno inteligenco vse bolj obravnavata kot eno ključnih tehnologij za prihodnjo gospodarsko in vojaško premoč. Prav vprašanje vojaške uporabe umetne inteligence je tudi ena od tem, pri katerih strokovnjaki pozivajo Washington in Peking k varovalkam, človeškemu nadzoru ter komunikacijskim kanalom za preprečevanje nenamerne eskalacije.