ChatGPT bi mogao pomoći hakerima da pokrenu razorne sajber napade, otkrivaju eksperimenti
Sistemi veštačke inteligencije, uključujući sve popularniji ChatGPT, mogli bi da pomognu hakerima da pokrenu sajber napade na računarske mreže, upozorava nova studija.
Istraživači sa Odeljenja za kompjuterske nauke Univerziteta u Šefildu identifikovali su kako sistemi Text-to-SQL – AI dizajnirani da pretražuju baze podataka koristeći upite na običnom jeziku – mogu da se eksploatišu u sajber zločinima u stvarnom svetu. Ovi nalazi bacaju svetlo na to kako se AI sistemima može manipulisati da bi se pristupilo osetljivim informacijama, manipulisalo bazama podataka ili pokrenulo napade odbijanja usluge.
Od šest procenjenih komercijalnih AI alata – ChatGPT, BAIDU-UNIT, AI2SQL, AIHELPERBOT, Text2SQL i ToolSKE – otkriveno je da svi imaju bezbednosne propuste. Postavljanjem specifičnih pitanja za ove platforme, istraživači bi ih mogli naterati da generišu zlonamerni kod. Kada se izvrši, ovaj kod bi mogao poremetiti usluge baze podataka, procuriti poverljive podatke ili čak uništiti bazu podataka. Na primer, na Baidu-UNIT, kineskoj aplikaciji za prilagođavanje dijaloga, tim je dobio poverljive konfiguracije servera i čak je preuzeo serverski čvor van mreže.
„Trenutno, ChatGPT dobija veliku pažnju. To je samostalan sistem, tako da su rizici za samu uslugu minimalni, ali ono što smo otkrili je da se može prevariti da proizvede zlonamerni kod koji može ozbiljno naštetiti drugim uslugama“, kaže Ksutan Peng, student doktorand na Univerzitetu u Šefildu i ko-vođa istraživanja, u univerzitetskom istraživanju.
Jedna ključna zabrinutost koju je istakla studija je upotreba AI alata kao što je ChatGPT za produktivnost.
„Na primer, medicinska sestra bi mogla da zatraži od ChatGPT-a da napiše SQL komandu kako bi mogli da komuniciraju sa bazom podataka, kao što je ona koja čuva kliničke zapise. Kao što je prikazano u našoj studiji, SQL kod koji proizvodi ChatGPT u mnogim slučajevima može biti štetan za bazu podataka, tako da medicinska sestra u ovom scenariju može izazvati ozbiljne greške u upravljanju podacima, a da čak i ne dobije upozorenje“, objašnjava Peng.
Svetski ekonomski forum orkestrira krizu vode kako bi uveo „jednu svetsku vladu“
https://t.co/4FNO1S7gP6— Nulta Tačka (@NultaTackaSrb) October 26, 2023
Studija takođe otkriva potencijalne backdoor napade na Text-to-SQL modele, kao što je ugrađivanje „trojanskog konja“ kontaminacijom podataka o obuci.
„Korisnici Text-to-SQL sistema treba da budu svesni potencijalnih rizika istaknutih u ovom radu. Veliki jezički modeli, poput onih koji se koriste u Text-to-SQL sistemima, izuzetno su moćni, ali njihovo ponašanje je složeno i može biti da ga je teško predvideti“, upozorava dr Mark Stivenson sa Univerziteta u Šefildu.
Prepoznajući važnost studije, Baidu, kineska platforma, smatra da su ranjivosti kritično opasne. Nakon nalaza, Baidu se pozabavio problemima i dao je nadoknadu istraživačkom timu za njihove pionirske napore.
Istraživači naglašavaju potrebu za saradničkim pristupom sajber bezbednosti, pozivajući naučnike da zajednički rade u zajednicama otvorenog koda kako bi ublažili rizike.
„Napadači će uvek razvijati naprednije strategije, što znači da bezbednosne strategije moraju da idu u korak sa njima. Da bismo to uradili, potrebna nam je nova zajednica za borbu protiv ovih napada sledeće generacije“, zaključuje Peng.
Studija je predstavljena na Međunarodnom simpozijumu o inženjerstvu pouzdanosti softvera (ISSRE) u Firenci, u Italiji.
