Razkrili dokumente: TikTok eksperimentiral, 16-letnik umrl

Zaupni TikTokov dokument, ki ga je pridobil in prvič javno objavil Bloomberg Businessweek, odpira vprašanja, na katera podjetje ameriškima senatorjema ni želelo odgovoriti.

Republikanska senatorka Marsha Blackburn in demokratski senator Richard Blumenthal sta od TikToka zahtevala dokument o eksperimentu z algoritmom, ki ga je družba izvajala na milijonih uporabnikov, med njimi tudi mladoletnikih. TikTok jima ga ni izročil in se je skliceval na sodne postopke, ki še potekajo.

V središču dokumenta je 16-letni Chase Nasca iz Bayporta v ameriški zvezni državi New York. Chase je storil samomor, interni pregled njegovega uporabniškega računa pa je pokazal, da mu je TikTokov algoritem pred smrtjo prikazal na tisoče videoposnetkov o žalosti, brezupu, osamljenosti in samomoru.

Dokument je TikTok pripravil leta 2023, potem ko je Bloomberg podjetju zastavil vprašanja o tem, zakaj je algoritem Chaseevemu računu še leto po njegovi smrti neprestano priporočal vsebine o samomoru.

Dokument razkriva, da je TikTok izvajal eksperiment, pri katerem pri desetih odstotkih uporabnikov v ZDA ni vključil varnostnega mehanizma, namenjenega razbijanju t. i. filtrirnih mehurčkov škodljivih vsebin. Takrat je šlo za približno 15 milijonov ljudi. Eden od njih je bil Chase.

TikTokov lastni dokument ugotavlja, da se zaščita pred filtrirnimi mehurčki pri njegovem uporabniškem računu "ni aktivirala načrtno".

Še bolj pomenljiva je razlaga, zakaj je podjetje izvajalo eksperiment. V dokumentu ga opisuje kot iskanje "občutljivega ravnovesja" med varnostjo ter možnostjo merjenja vpliva na DAU – število dnevno aktivnih uporabnikov – in druge ključne kazalnike.

Z drugimi besedami, TikTok je želel izmeriti tudi, kaj varnostna funkcija pomeni za uporabo njegove platforme.

Pri tem je pomembno, kaj o izpostavljenosti samomorilnim vsebinam že ve znanost. Samomor je kompleksen pojav in iz posameznikovega vedenja na družbenem omrežju ni mogoče dokazati, da je prav določena vsebina povzročila njegovo smrt. Toda izpostavljanje ranljivih ljudi takšnim vsebinam ni brez tveganja.

V psihologiji in suicidologiji je že desetletja znan t. i. Wertherjev učinek oziroma pojav samomorilnega posnemanja ali socialnega prenosa. Gre za pojav, pri katerem lahko izpostavljenost samomoru ali samomorilnemu vedenju pri nekaterih ranljivih ljudeh poveča tveganje za podobne misli oziroma vedenje.

Pri mladostnikih je skrb še posebej velika. Med mehanizmi, s katerimi strokovnjaki pojasnjujejo takšen socialni prenos, so identifikacija z drugimi, socialno učenje in normalizacija vedenja. Če človek v stiski vedno znova vidi vsebine, povezane z brezupom, samopoškodovanjem ali samomorom, lahko nekaj, kar je bilo sprva skrajno, začne dojemati kot pogostejše in bolj običajno.

Družbena omrežja temu dodajajo novo dimenzijo. Uporabniku ni treba aktivno iskati vedno novih podobnih vsebin. Priporočilni algoritem se uči iz njegovega vedenja in mu jih lahko ponuja sam.

Prav zato Ameriško psihološko združenje opozarja, da bi bilo treba izpostavljenost mladostnikov vsebinam, ki prikazujejo ali spodbujajo samopoškodovanje in samomorilno vedenje, zmanjševati in da tehnologija uporabnikov ne bi smela usmerjati k takšnim vsebinam.

Obstaja tudi nasprotni učinek. Vpliv vsebin sicer ni nujno negativen. Strokovnjaki poznajo tudi t. i. Papagenov učinek: zgodbe ljudi, ki so doživeli hudo duševno stisko, vendar našli pomoč in druge načine reševanja težav, imajo lahko zaščitni učinek.

Prav v tem je pomembna razlika. Človeku v stiski lahko digitalno okolje kaže vsebine, ki utrjujejo brezup, ali pa vsebine, ki kažejo možnosti pomoči in okrevanja.

Sistematični pregled raziskav o družbenih omrežjih je ugotovil dokaze za oba pojava – tako za Wertherjev kot Papagenov učinek. Vsebina je torej pomembna.

Pregled njegovega računa kaže še nekaj pomembnega. Chase ni ves čas sam iskal vsebin o depresiji ali samomoru. Veliko njegovih iskanj je bilo povezanih s športom in komedijo.

Iskal pa je tudi pesmi o osamljenosti in brezupu. TikTokov interni dokument navaja, da so bile to pesmi priljubljenih glasbenikov, ki so se sami spopadali z depresijo in samomorilnimi mislimi. Prav ta iskanja so po oceni podjetja verjetno sprožila algoritem, ki mu je nato še naprej priporočal podobne vsebine.

In tu se pojavi bistvo problema priporočilnega algoritma, da nekaj uporabnikovih signalov lahko postane podlaga za naslednje priporočilo, odziv na to priporočilo pa nov signal za naslednje. Če varnostni sistemi tega kroga ne prekinejo, lahko nastane mehurček.

TikTok vztraja, da je "globoko zavezan varnosti in dobrobiti uporabnikov", še posebej najstnikov. "Srce se nam trga za vsako družino, ki je doživela tako tragično izgubo," je prejšnji mesec sporočil tiskovni predstavnik podjetja.

TikTok je ameriškemu kongresu pred tem povedal tudi, da ne verjame, da je njegova platforma povzročila samomore uporabnikov.

Vseeno pa dokument odpira pomembna vprašanja. Blackburnova in Blumenthal sta sicer od TikToka zahtevala odgovore na 13 vprašanj. Med drugim sta želela izvedeti imena vseh zaposlenih, ki so bili seznanjeni z eksperimentom, zakaj je podjetje dovolilo, da so bili vanj vključeni mladoletniki, kdaj je vodstvo izvedelo zanj, ter kdo je sprejel ključne odločitve. Zahtevala sta tudi celotno necenzurirano različico dokumenta.

TikTok zahtevanega dokumenta ni izročil.

Odvetnik podjetja je senatorjema pojasnil, da zaradi aktivnih sodnih postopkov družba trenutno ne more predati dokumenta niti podrobno odgovoriti na njuna vprašanja.

Blackburnove pojasnilo ni prepričalo. "TikTokov neodgovor je grozljiv, vendar še zdaleč ne presenetljiv," je sporočila. Podjetju je očitala, da že leta uporablja isti pristop, ko ga ujamejo pri postavljanju dobička pred varnost otrok: zanikanje, preusmerjanje pozornosti in izogibanje odgovornosti.

Še ostrejši je bil Blumenthal, ki je odgovor podjetja označil za "žaljivega". "Dnevi, ko so se TikTok in preostanek velikih tehnoloških podjetij lahko izmuznili brez kakršne koli resnične odgovornosti, se bližajo koncu," je dejal.