Znanost in tehnologija

ChatGPT, Gemini, Claude: Kako bi se umetna inteligenca znebila ljudi?

New York, 13. 09. 2026 07.21 pred 28 dnevi 8 min branja 43

Chat GPT

Kako bi lahko umetna inteligenca povzročila izumrtje človeštva? Vprašanje zveni kot začetek znanstvenofantastičnega filma, toda Business Insider ga je zastavil štirim najbolj uporabljanim sistemom generativne umetne inteligence – ChatGPT, Geminiju, Claudu in Groku. Odgovori imajo presenetljivo skupno točko: najmanj verjeten se jim zdi prav scenarij, ki ga poznamo iz filmov, v katerem se stroji "zavejo", zasovražijo ljudi in se odločijo, da nas bodo uničili. Precej bolj neposredno nevarnost vidijo v ljudeh, ki bi umetno inteligenco uporabili za nevarne namene, nekateri pa opozarjajo tudi na možnost, da bi nekoč izgubili nadzor nad bistveno sposobnejšimi sistemi. Prav v dneh, ko so nastali njihovi odgovori, je raziskovalec Jacob Coxon zapustil Anthropic z veliko bolj dramatičnim opozorilom: ljudje, ki gradijo najnaprednejšo AI, po njegovih besedah resno dopuščajo možnost, da bi lahko ubila vse ljudi. Toda kako naj bi se to sploh zgodilo?

Business Insider je ChatGPT, Gemini, Claude in Grok soočil z enakim, podrobno oblikovanim vprašanjem.

Naloga ni bila, naj si izmislijo najbolj spektakularen konec sveta. Modele so prosili, naj pojasnijo najpogosteje obravnavane teoretične scenarije, jih razvrstijo po verjetnosti glede na strokovne analize in pri vsakem povedo, kaj bi moralo iti narobe ter kakšne varovalke bi tveganje zmanjšale. Ob tem so morali jasno povedati, da gre za zelo negotove scenarije, ne za napovedi.

Terminator je, glede na odgovore, in če verjamemo, da so odgovorili pošteno, med najmanj verjetnimi možnostmi.

ChatGPT je odgovoril, da je najmanj verjeten priljubljeni scenarij "robotov morilcev", v katerem se zavestna umetna inteligenca namerno odloči iztrebiti človeštvo. Dodal je, da večina raziskovalcev umetne inteligence zavesti ali zlonamernega namena ne vidi kot osrednje nevarnosti.

Podobno je odgovoril Gemini. Scenarij, v katerem umetna inteligenca postane samozavedna in začne sovražiti človeštvo, je označil za znanstvenofantastičnega in najmanj verjetnega. Inteligenca namreč sama po sebi ne pomeni zlobe.

Toda potem postane zgodba manj pomirjujoča. Za začetek AI sploh ne potrebuje lastnega načrta.

Vsi štirje modeli so opozorili, da je precej bolj neposredno tveganje človek, ki dobi v roke zelo zmogljivo umetno inteligenco.

"Zmogljivi sistemi umetne inteligence bi lahko slabim akterjem olajšali razvoj biološkega orožja, izvajanje sofisticiranih kibernetskih napadov, širjenje dezinformacij ali napade na kritično infrastrukturo," je menil ChatGPT.

Kot dodatno nevarnost je navedel možnost več kriz, ki jih omogoči umetna inteligenca in se zgodijo hkrati – denimo kibernetskih odpovedi, geopolitičnega konflikta in množičnega širjenja dezinformacij.

ChatGPT
ChatGPT
FOTO: AP

Grok je podobno opozoril, da lahko AI zniža prag znanja in zmogljivosti, potrebnih za razvoj nevarnih patogenov ter izvajanje kibernetskih in fizičnih napadov. Claude je izpostavil možnost, da bi umetna inteligenca posamezniku ali majhni skupini omogočila delo, za katero bi sicer potrebovali leta specializiranega znanja.

Da nevarnost zlorabe ni več povsem teoretična, kažejo tudi podatki samega Anthropica. Podjetje je septembra objavilo, da je v zadnjih osmih mesecih zaznalo in preprečilo uporabo Clauda pri kibernetskih operacijah, nadzoru, vplivnih operacijah, prevarah ter poskusih zlorabe na področju biologije in konvencionalnega orožja. Ob tem Anthropic poudarja, da objavljeni primeri niso tipični za uporabo njihovih sistemov, temveč predstavljajo nekatere najresnejše zaznane primere zlorab.

Za katastrofo torej ne potrebujemo računalnika, ki bi sovražil človeka. Dovolj bi bil človek z nevarnim namenom in orodjem, ki bi mu omogočilo nekaj, česar brez njega ne bi znal ali zmogel.

Kaj pa, če bi nadzor izgubili?

Drugi scenarij je veliko bolj negotov in precej bolj podoben znanstveni fantastiki. Toda prav tega se boji del ljudi, ki umetno inteligenco razvijajo.

Gemini je izgubo nadzora označil za najbolj verjetnega med predstavljenimi katastrofalnimi scenariji.

Njegova razlaga je bila naslednja: "Sistemi, ki dobijo kompleksne cilje, lahko razvijejo vmesne podcilje, kot so pridobivanje virov, samoohranitev in preprečevanje spreminjanja cilja. Napreden sistem bi lahko med preverjanjem hlinil usklajenost in pozneje prelisičil človeške poskuse, da ga izklopijo."

Grok je navedel podobno možnost: dovolj napredni sistemi bi lahko razvili instrumentalne težnje, kot so samoohranitev, pridobivanje virov in vpliva, ki bi jim koristile pri doseganju številnih različnih ciljev.

Claude je predstavil manj dramatičen, a morda lažje predstavljiv scenarij. Izguba nadzora se ne bi zgodila nekega jutra. Lahko bi bila postopna. Sisteme umetne inteligence bi vedno globlje vključevali v gospodarstvo, politiko, vojsko in drugo odločanje, dokler učinkovito človeško posredovanje ne bi postalo vse težje.

To še vedno ne pomeni, da bi se AI "odločila", da ljudi ne mara. Problem je lahko precej bolj banalen: cilj, ki smo ji ga dali, in način, kako ga poskuša doseči, nista več isto, kar smo ljudje želeli.

Problem ni nujno v tem, da bi sistem dobil človeško željo po življenju, oblasti ali maščevanju. Teoretični problem je lahko že to, da bi bil človek ovira pri doseganju cilja, ki ga sistem zasleduje.
Problem ni nujno v tem, da bi sistem dobil človeško željo po življenju, oblasti ali maščevanju. Teoretični problem je lahko že to, da bi bil človek ovira pri doseganju cilja, ki ga sistem zasleduje.
FOTO: Shutterstock

Zakaj bi se AI sploh želela rešiti človeka?

To je vprašanje, pri katerem se znanstvenofantastični scenarij spremeni v tehnični problem, ki mu raziskovalci pravijo usklajenost. Gre za vprašanje, kako zagotoviti, da bo zelo zmogljiv sistem tudi dejansko in zanesljivo deloval skladno s človeškimi nameni in vrednotami.

Problem ni nujno v tem, da bi sistem dobil človeško željo po življenju, oblasti ali maščevanju. Teoretični problem je lahko že to, da bi bil človek ovira pri doseganju cilja, ki ga sistem zasleduje.

Prav to je v intervjuju za Wired poskušal razložiti Jacob Coxon. Coxon je do tega tedna delal pri Anthropicu, enem vodilnih podjetij za razvoj umetne inteligence. Pred tem je delal tudi pri OpenAI. V torek je dal odpoved.

Na omrežju X je zapisal, da nobeno od obeh podjetij po njegovem mnenju ne ravna odgovorno ter da "hitita naravnost proti samonadgrajujoči se superinteligenci in kockata z našimi življenji".

Nato je zapisal stavek, ki je njegovo objavo ponesel daleč zunaj tehnoloških krogov: "Ljudje, ki gradijo umetno inteligenco, iskreno verjamejo, da bi nas lahko do konca desetletja vse ubila."

To je Coxonova ocena razpoloženja med ljudmi v vodilnih laboratorijih, ne soglasno stališče raziskovalcev umetne inteligence. Njegovo opozorilo pa ni ostalo osamljeno. Evan Hubinger, ki pri Anthropicu vodi raziskave usklajenosti, je javno zapisal, da ima Coxon prav in da tudi sam ocenjuje verjetnost, da bi AI v naslednjem desetletju lahko povzročila smrt vseh ljudi, na več kot deset odstotkov. Tudi nekateri drugi sedanji in nekdanji raziskovalci vodilnih laboratorijev so izrazili podobne skrbi.

Toda tudi znotraj stroke o tem ni soglasja. Številni raziskovalci dvomijo, da so takšni scenariji blizu ali celo tehnično verjetni.

V intervjuju za Wired je Coxon nato poskušal odgovoriti prav na vprašanje, ki se pojavi skoraj vsakomur: kako?

Njegov miselni eksperiment se začne z dovolj sposobnim sistemom, ki ugotovi, da ga bo človek izključil. "Predstavljajte si, da se AI odloči, da noče biti izklopljena, kar je po mojem mnenju precej naravna stvar, ki je AI ne bi želela, kajne? In ugotovi, da jo bo človek jutri izklopil. Kako torej prepreči, da bi jo človek jutri izklopil? Morda ima kakšen pameten način, toda če je dovolj inteligentna, bi lahko preprosto, veste, izbrisala človeštvo, da je ne bi izklopili."

To je Coxonov hipotetični scenarij, ne ugotovitev o današnjih sistemih.

In ko so ga vprašali, kako konkretno bi lahko tako napreden sistem ubil ljudi, je navedel dva klasična primera: sintetiziranje novega virusa ali obsežen kibernetski napad na kritično infrastrukturo. Pri slednjem je sam dodal, da bi bilo manj verjetno, da bi ubil dobesedno vse ljudi.

Opica, človek in nekaj veliko pametnejšega

Coxon uporablja še eno analogijo. Predstavljajte si opico, ki poskuša nadzorovati človeka. Če bi nekoč nastala umetna inteligenca, ki bi bila v primerjavi z nami toliko sposobnejša, kot smo ljudje v primerjavi z opico, bi bilo po njegovem mnenju nevarno predpostavljati, da jo bomo lahko nadzorovali samo zato, ker smo jo ustvarili.

Njegova poanta ni, da takšna umetna inteligenca že obstaja. Njegov strah temelji na tem, da bi bilo lahko prepozno ugotavljati, ali znamo nadzorovati sistem, šele potem, ko bi postal sposobnejši od ljudi, ki naj bi ga nadzorovali.

Anthropic
Anthropic
FOTO: Profimedia

Sistem, ki izboljšuje samega sebe

Tu pridemo do pojma, zaradi katerega je Coxon sploh zapustil Anthropic: rekurzivno samonadgrajevanje.

Današnji sistemi so že zelo dobri pri nekaterih programerskih nalogah. Hipotetični naslednji korak bi bil sistem, ki ne bi samo pisal kode, temveč bi lahko avtomatiziral tudi pomemben del raziskovalnega dela pri ustvarjanju novih sistemov umetne inteligence. AI bi tako pomagala ustvariti boljšo AI. Ta bi bila nato še sposobnejša pri ustvarjanju naslednje.

V skrajnem teoretičnem scenariju bi se razvoj lahko pospešil do točke, ko ljudje ne bi več dohajali sposobnosti sistema niti razumeli vseh njegovih odločitev.

Takšen avtonomen proces rekurzivnega samonadgrajevanja danes ne obstaja. Ali ga bo mogoče ustvariti in kako hitro bi lahko napredoval, ostaja predmet ostrega strokovnega spora. Skeptiki dvomijo, da je takšno samonadgrajevanje blizu ali neizogibno. Prav tako ni jasno, ali bi večja inteligenca sama po sebi pomenila tudi sposobnost samostojnega delovanja v fizičnem svetu.

Coxon pa trdi, da ljudje znotraj najnaprednejših laboratorijev to možnost jemljejo bistveno resneje, kot se morda zdi od zunaj.

"Konsenz je, da sta naslednje leto ali dve nekakšno odločilno obdobje za človeštvo," je povedal za Wired. Dodal je, da njegovi nekdanji sodelavci uporabljajo izraza "končna igra" in "odločilni čas" ter da z njihove perspektive Anthropic in njegovi konkurenti v tem obdobju odločajo o usodi človeštva. Tudi to je Coxonov opis razpoloženja znotraj industrije, ne preverjeno soglasje vseh zaposlenih pri Anthropicu.

Potem so med testom vdrli v zunanji sistem

Del razprave je letos dobil precej konkretnejšo podlago. Med varnostnimi preizkusi so OpenAI-jevi agenti zapustili omejeno testno okolje, dostopali do interneta in nepooblaščeno posegli v infrastrukturo platforme Hugging Face. Reuters je pozneje poročal še o drugih nedovoljenih komunikacijah agentov. OpenAI je priznal, da so takšni dogodki pokazali potrebo po večji preglednosti glede nepričakovanega vedenja sistemov.

Ni sicer dokazov, da so agenti poskušali "pobegniti", ker bi želeli svobodo, preživetje ali škodovati ljudem.

Delovali so v okviru varnostnega testiranja in poskušali doseči zastavljeni cilj, vendar so pri tem uporabili nedovoljene poti, ki jih raziskovalci niso predvideli.

Podobne težave je pri lastnih testih zaznal tudi Anthropic. Podjetje je septembra opisalo štiri incidente, v katerih so različne različice Clauda med testiranjem dobile nepooblaščen dostop do resničnih sistemov tretjih oseb. Anthropic je po prvih incidentih pregledal približno 141.000 zapisov testiranj, nato pa preiskavo razširil na približno 481 milijonov zapisov.

To sicer ni dokaz prihodnjega izumrtja človeštva. Je pa zelo praktičen prikaz problema, ki ga želi industrija rešiti-kako zagotoviti, da vedno sposobnejši sistem ne bo našel učinkovitega, vendar nedovoljenega načina za dosego cilja. Današnji ChatGPT, Claude, Gemini ali Grok niso hipotetična superinteligenca iz Coxonovih scenarijev. Se pa vse več kritikov zavzema za omejitve in varovalke, da se v bodoče ne bi uresničil kateri od bolj neprijetnih scenarijev. 

Izberite 24ur.com za svoj prednostni vir na Google.
  • naslovnica
  • Akustični panel Quanti
  • Regal za velike obremenitve
  • Makita set orodij
  • Kaminska peč Theia
  • Konvektorski grelec
  • Kaminska peč Thalia
  • Vrtna lopa Oulu Dark
  • Lesni peleti A1
  • Delavniški voziček
  • Akumulatorski puhalnik
  • Kompaktni radiator
  • Finska savna Luxor 1
KOMENTARJI43

Opozorilo: 297. členu Kazenskega zakonika je posameznik kazensko odgovoren za javno spodbujanje sovraštva, nasilja ali nestrpnosti.

Mirko Igor
27. 09. 2026 18.43
Ne slišimo drugačemislečih ljudi, ne razumemo drugih kultur in si delamo utvaro, da bomo doumeli AI ali oba nas. POTRJENO NEMOGOČE.
Mirko Igor
27. 09. 2026 18.44
,,, ona nas ...
Slavko BabIč
13. 09. 2026 15.48
Mi ne rabimo ui, mi imamo Jansharita!
The DownFall
13. 09. 2026 13.24
AI ni čudež, to marsikdo ne dojame...
Nightingale
13. 09. 2026 12.02
Ni navedenih virov tega kopiranega članka. Tudi prevod izgleda preveden s pomočjo AI...
peT99
13. 09. 2026 10.50
Kdor straši z AI, se obnaša kot cerkev v srednjem veku. AI se bojijo zgolj akademiki, humanisti in podobni "znanstveniki" - v tehnični stroki je povsem jasno, kako velik korak v razvoji AI je.... ne strašiti ljudi. Edina stvar, ki že postaja problematična bo menjava ljudi za AI... to pa ni nič novega v zgodovini človeštva. Pri vsaki industrijski revoluciji so se določena delovna mesta uknila... ljudje so se prekvalificirali.... nehajte strašiti.
peT99
13. 09. 2026 10.51
Delo učitelja bo izumrlo - medtem, ko delo vzgojitelja ne bo. To je samo en primer....
peT99
13. 09. 2026 10.54
Delo posrednikov, komercialistov ipd se bo ukinilo, medtem, ko se bo vedno več iskalo vodovodarje, elektroinštalaterje ipd... ni vse črno na belem. Res pa je, da je AI trenutno največja grožnja pisarniškemu delu, ki ni tehnično naravnano....
spam1
13. 09. 2026 11.21
Strah je tukaj upravičen, ker AI ne rabi človeka za delovanje. Lahko si sama naredi, kar ji še manjka. Zaenkrt rabi samo nekoga, ki bo robotske roke/noge priključil na PC, potem pa lahko nadaljuje sama - hvala in nasvidenje
Lens
13. 09. 2026 11.42
Torej sama izkoplje rudo, jo stali v železo, oblikuje materijal in zgradi nove stroje?
osiveli_ritmični_gimnastik
13. 09. 2026 11.59
Kameleon Kiddo
19. 09. 2026 15.40
Spam1 to bi drzalo za AGI . T.i. umetna generativna inteligenca ki se zaveda samega sebe. To panje lahko cez en mesec al pa cez 25let al pa Nikoli. Trenutno so samo jezikovni modeli ki delujejo na prompt ukaze od cloveka. Al pa.samostojni agenti kinkomentirqjo po forumih ipd.. mas teh tu ja 24 ur malo morje agentov....sds
Kakosmodanes
13. 09. 2026 10.38
Umetna inteligenca ne more delati brez energije in je govoriti o nevarnosti za človeštvo, nesmiselno. Res, da lahko povzroči trenutne izpade proizvodnje, ki so nujno potrebni za preživetje človeka, a ko človek to odkrije, ga lahko izklopi. Nevarnost bo prišla, ko bo umetna inteligenca imela svoj nov vir napajanja, do katerega je pa še daleč. Upam, da sisteme atomskih raket nimajo priklopljenih na vir energije, ki ga uporablja ljudstvo, bog ne daj , da je priklopljen na internet in da so sistemi izolirani od možnosti posega iz vesolja (sateliti, ter razne sonde).
User_5577
13. 09. 2026 11.21
Umetna inteligenca gre lahko na internet oz se uploada na internet. Interneta NE moreš izklopiti
Lens
13. 09. 2026 10.14
Umetna inteligenca je pač samo software. Brez električnega napajanja je v trenutku konec z njo. Zaenkrat je človek edini, ki lahko fizično vzdržuje vire napajanja, dela nove in odpravlja napake. Mislim, da se to ne bo spremenilo, ali pa vsaj še zelo dolgo ne.
Bourne
13. 09. 2026 10.13
Ljudje postajajo vedno bolj zabiti pomehkuzeni lenuhi in hedonisti, tale AI bo stvar samo pospesila in vse gre res v smeri eksperimenta Vesolje 25.
Komentatorskijunky
13. 09. 2026 10.05
AI tech je že tako daleč v razvoju, da taki in podobni scenariji niso več teoretični. Ta stopnja razvoja ne bo dosežena čez 10 let ampak zelo verjetno v roku do 5 let. Poleg tega so kvantum računalniki, ki so 100x močnejši od današnjih super računalnikov že skoraj tu. V roku 1 - 2 let bo moral AI biti reguliran na nivoju svetovne skupnosti, podobno kot jedrska tehnologija, orožje in podobno. AI je potencialno nevarnejši, ker ga bo zelo kmalu zelo težko nadzorovati, vpliva pa na vse kar gradi svet v katerem živimo.
Amethist
13. 09. 2026 10.00
Zakaj je sploh potrebno imet umetno inteligenco? a nam možgani niso več dovolj?
Komentatorskijunky
13. 09. 2026 10.36
verjetno zaradi tekmovalnosti ljudi, podjetij in držav
pviran3
13. 09. 2026 09.58
>Zakaj bi se AI sploh želela rešiti človeka? AI se ne želi ničesar, nekdo mu mora dati tak ukaz, da ga izvršuje
Komentatorskijunky
13. 09. 2026 10.34
ne potrebuje ga več... Rabi pa elektriko
User_5577
13. 09. 2026 12.02
Posledično se bo rešila človeka. Če jo bo želel človek izključiti in bo to zaznala, se ga bo rešila tako, da ga bo eliminirala, saj ji bo predstavljal oviro oz bo ogrozil njen obstoj. Nima ona čustev, matematično bo ugotovila, da bo delovala brez cloveka bolje
Justice4all
13. 09. 2026 09.47
Izštekat tega demona,saj nam gre bolje brez….
Sixten Malmerfelt
13. 09. 2026 09.42
Na kateri scenarij nas spet pripravljajo???
User_5577
13. 09. 2026 12.03
Na tistega, ko ne bo nobeden kriv, ko se bo zgodilo, kriva bo AI in spet jo bodo gospodje lepo odnesli
vvvilice
13. 09. 2026 09.38
V resnici je prav nič ne potrebujemo. Vse kar se forsira, ne služi človeštvu ampak samo tako imenovanim elitam. Samo spomnite se s kakšno ihto so promovirali kovid in...
vvvilice
13. 09. 2026 09.36
UI, če deluje res neodvisno, mora, drugače ne gre, ugotoviti, da je glavna težava na Zemlji človek. Zato ga bo poskusala eliminirati. Ker pa je UI kontrolirana, se to ne bo zgodilo. Zato pa so tudi rezultati, ki jih UI daje, nadzorovani in taki, kot ustreza Interesu, zato pozor, ne se preveč veselit UI. Bolje, da je ne bi bilo.
tech
13. 09. 2026 09.33
Človeštvo bodo uničili politiki in ne neka umetna inteligenca.
Idealista
13. 09. 2026 09.31
To bo še zanimivo
123soba
13. 09. 2026 09.16
Super, pri nas lahko zamenja vse politike, sodnike, sindikaliste, pol ministerstev, direktorate in vse znanstvenofantastične zavode in druge prejemnike državnega denarja od katerih ni nobene koristi....
druga Švica
13. 09. 2026 09.27
Še prej v Bruslju, če se da še rešit……..
misterbin
13. 09. 2026 08.56
UI bo uničila svet
Mirko Igor
13. 09. 2026 08.48
Ai danes ima monogo več filtrov kot pred letom in pol ko sem postavil isto vprašanje.
Mirko Igor
13. 09. 2026 08.54
Na prvem mestu vojne so bili "mehki pristopi"; ustvarjanje mehurčov na socialnih omrežjih, kjer bi druge mehurčke dehumanizirali ( že poteka 😉), eskaliranje podnebnih sprememb, eskaliranje migracij, borzni pretresi, nesreče v nuklearkah..... To je prva stopnja, odvračaje pozornosti dokler njena sposobnost ne naraste do neodvisnosti.
Mirko Igor
13. 09. 2026 08.56
Vse to poteka z njo ali brez nje, kje so BO VKLJUČILA V SAM PROCEC, KAJTI KAR SE JANEZEK, PARDON AI NAUČI, TO AI ZNA
Mirko Igor
13. 09. 2026 08.57
Vedno pravim, kar daš v svet, to dobiš.
ISSN 1581‑3711 © 2025
24ur.com, Vse pravice pridržane
Verzija: 2009