Roblox, izuzetno popularna platforma za online igre među decom i tinejdžerima, objavila je otvoreni kod svog naprednog sistema veštačke inteligencije (AI) koji služi za rano otkrivanje predatorskog jezika u komunikaciji između korisnika unutar igara.
Ovaj potez dolazi u trenutku kada se kompanija suočava s tužbama i kritikama da ne preduzima dovoljno mera da zaštiti decu od seksualnih predatora.
Upozorenje! Ovo nije igra, moćnici žele novi rat na Balkanu | Kristofer Helali | Mario Zna EP. 350
U jednoj od najzvučnijih tužbi, podnetoj prošlog meseca u saveznoj državi Ajova, navodi se da je trinaestogodišnja devojčica putem Roblox-a upoznala odraslog predatora koji ju je potom kidnapovao, seksualno zlostavljao i odveo preko više saveznih država.
Tužba tvrdi da dizajn same platforme čini decu „lakim plenom za pedofile“.
Roblox ističe da nastoji da po difoltu obezbedi maksimalnu sigurnost, ali priznaje da nijedan sistem nije savršen i da je jedan od najvećih izazova u industriji otkrivanje ozbiljnih pretnji poput potencijalnog ugrožavanja dece.
Novi sistem, nazvan Sentinel, razvijen je upravo sa ciljem prepoznavanja ranih znakova zlostavljanja — poput seksualno sugestivnog jezika.
Kompanija navodi da je zahvaljujući Sentinel-u u prvoj polovini 2025. podnela čak 1.200 izveštaja o potencijalnim pokušajima eksploatacije dece Nacionalnom centru za nestalu i eksploatisanu decu (NCMEC).
Otvaranjem koda, Roblox sada omogućava i drugim platformama da koriste ovaj alat.
Otkrivanje potencijalnih pretnji nije lak zadatak — ni za AI, ni za ljude. Rečenice poput „Koliko imaš godina?“ ili „Odakle si?“ same po sebi ne izazivaju uzbunu, ali u kontekstu duže konverzacije mogu ukazivati na opasnost.
Roblox, koji ima više od 111 miliona aktivnih korisnika mesečno, ne dozvoljava deljenje slika i video sadržaja u četu, niti ličnih informacija poput brojeva telefona. Takođe, deca mlađa od 13 godina ne mogu komunicirati izvan igara bez dozvole roditelja, a platforma ne koristi end-to-end enkripciju privatnih poruka — što joj omogućava da prati i moderira sadržaj.
„Do sada smo koristili filtere koji funkcionišu dobro za detekciju psovki i uvreda u jednoj ili nekoliko poruka. Ali kada je reč o predatorima i ugrožavanju dece, problem se često razvija kroz duži vremenski period“, objasnio je Met Kaufman, direktor sektora za bezbednost u Roblox-u.
Sentinel analizira jednogodišnje isečke razgovora — oko 6 milijardi poruka dnevno — tražeći obrasce rizičnog ponašanja. Za to koristi dva indeksa: jedan sa bezopasnim porukama i drugi sa porukama koje su ranije klasifikovane kao opasne. Na taj način, sistem uči da prepozna opasne obrasce u celini, a ne samo pojedinačne reči.
„Sistem tokom dana beleži kakav je korisnikov obrazac komunikacije — da li više liči na pozitivan ili negativan klaster“, objašnjava Naren Koneru, potpredsednik za inženjering u oblasti poverenja i bezbednosti.
„Ako se korisnik približava negativnom klasteru, detaljnije se analiziraju svi njegovi razgovori, prijatelji i igre koje je igrao.“
Rizične interakcije zatim pregledaju obučeni moderatori, a slučajevi koji ukazuju na moguće krivično delo prosleđuju se nadležnim organima.
Nulta Tačka/Mediji
