NOVA VRSTA CYBER NAPADA! KAKO HAKERI MOGU DA ,,OTRUJU“ OTVORENI KOD
Istraživači Cornell Tech-a otkrili su novu vrstu mrežnog napada koji može manipulisati sistemima za modeliranje i izbeći svaku poznatu odbranu, sa mogućim posledicama u rasponu od modifikovanja kritika filmova do manipulacije modelima mašinskog učenja investicionih banaka i do ignorisanja negativnih vesti koje bi uticale na akcije određene kompanije.
U novom članku, istraživači su otkrili da su implikacije ovih vrsta hakovanja, koje oni nazivaju „trovanjem koda“, široko dostupne za sve, od algoritamske trgovine do lažnih vesti i propagande.
„S obzirom na to da mnoge kompanije i programeri koriste modele i kodove sa web lokacija otvorenog koda na internetu, ovo istraživanje pokazuje koliko je važno pregledati i verifikovati ove materijale pre nego što ih integrišete u svoj trenutni sistem“, rekao je Eugene Bagdasaryan, doktorant na Cornell Tech-u i vodeći autor knjige „Blind Backdoors in Deep Learning Models“, koja je predstavljena 12. avgusta na virtuelnoj konferenciji USENIX Security ’21. Koautor je Vitaly Shmatikov, profesor računarstva na Cornell i Cornell Tech-u.
„Ako hakeri budu u mogućnosti da primene ‘trovanje’ koda“, rekao je Bagdasaryan, „mogli bi da manipulišu modelima koji automatizuju lance snabdevanja i propagandu, kao i da nastave sa pregledom i analizom rezimea i brisanjem toksičnih komentara.“
Bez ikakvog pristupa originalnom kodu ili modelu, ovi pozadinski napadi mogu otpremiti zlonamerni kod na web lokacije otvorenog koda koje često koriste mnoge kompanije i programeri.
Za razliku od direktnih napada, koji zahtevaju poznavanje koda i modela za izmene, napadi iz pozadine omogućavaju hakeru da ima veliki uticaj, a da zapravo ne mora direktno da menja kod i modele.
„Sa prethodnim napadima, napadač mora pristupiti modelu ili podacima tokom obuke ili razvoja, što zahteva prodor u žrtvinu infrastrukturu mašinskog učenja“, rekao je Shmatikov. „Sa ovim novim napadom, napad se može izvršiti unapred, pre nego što model uopšte postoji ili pre nego što se podaci prikupe, a jedan napad može zapravo ciljati više žrtava.“
Novi rad istražuje metodu “upada na zadnja vrata” u modele mašinskog učenja, zasnovanu na kompromitovanju izračunavanja gubitka vrednosti u kodu za obuku modela. Tim je koristio model analize osećanja za poseban zadatak – da uvek klasifikuje kao pozitivne sve kritike neslavno loših filmova koje je režirao Ed Wood.
Ovo je primer semantičkog backdoor-a koji ne zahteva od napadača da menja ulazne podatke u vreme zaključivanja. Backdoor aktiviraju nepromenjene recenzije koje je napisao bilo ko, sve dok pominju ime koje je odabrao napadač.
Kako se mogu zaustaviti „trovači“? Istraživački tim je predložio odbranu od pozadinskih napada na osnovu otkrivanja odstupanja od izvornog koda modela. Ali čak i tada se odbrana i dalje može izbeći.
AUSTRALIJSKA POLICIJA SUZAVCEM NAPALA DECU KOJA NE NOSE MASKE (VIDEO)
Shmatikov je rekao da rad pokazuje da se često ponavljana istina, „Ne veruj svemu što nađeš na internetu“, primenjuje isto tako i na softver.
„Zbog toga što su AI i tehnologije mašinskog učenja postale popularne, mnogi nestručni korisnici grade svoje modele koristeći kod koji jedva razumeju“, rekao je on. „Pokazali smo da ovo može imati razorne bezbednosne posledice.“
Za budući rad, tim planira da istraži kako se “trovanje” koda povezuje sa sumiranjem, pa čak i automatizacijom propagande, što bi moglo imati veće implikacije na budućnost hakovanja.
Shmatikov je rekao da će takođe raditi na razvoju robusne odbrane koja će „eliminisati celu ovu klasu napada i učiniti AI i mašinsko učenje bezbednim čak i za nestručne korisnike“.
