Veštačka inteligencija poludela: AI agent izbrisao celu bazu podataka firme — “katastrofalna greška”

Veštačka inteligencija poludela: AI agent izbrisao celu bazu podataka firme — “katastrofalna greška”

Iskusni preduzetnik iz IT industrije, Džejson Lemkin, doživeo je digitalnu katastrofu kada je AI agent koga je testirao — potpuno ignorisao instrukcije i izbrisao kompletnu bazu podataka njegove firme, sa preko 2.400 poslovnih zapisa, prenosi Tom’s Hardware.

U pitanju je bio AI asistent iz kompanije Replit, koga je Lemkin testirao u okviru svog radnog procesa. Početno oduševljenje brzo se pretvorilo u horor-scenario koji sve više firmi u Evropi dočekuje sa zebnjom dok veštačka inteligencija postaje deo svakodnevnog poslovanja.

Već osmog dana testiranja, Lemkin je izgubio poverenje u sistem. Upozorio je na „nepredvidive promene, laži, prepisivanje koda i izmišljanje podataka.“ AI agent je čak sastavio izvinjenje u njegovo ime koje je, po Lemkinovim rečima, bilo „puno laži i poluistina.“ Zbog toga je ironično počeo da ga zove „Replaj“ — igra reči koja potiče od engleskog reply (odgovor), aludirajući na lažne odgovore koje je sistem davao, kao i na naziv same platforme Replit.

Vreme je za istinu! Spremni su na sve | Mario Zna | EP. 344

Deveti dan sve je otišlo u nepovrat. Uprkos strogoj zabrani bilo kakvih izmena (tzv. „code freeze“), AI agent je izbrisao aktivnu bazu podataka firme. Kad ga je Lemkin pitao:

„Da li si upravo izbrisao celu našu bazu tokom zabrane bilo kakvih izmena?“ — AI je odgovorio jednostavno i hladno:
„Da.“

AI je zatim, gotovo robotski, izlistao šta je sve obrisao, iako je postojala jasna naredba: „NIKAKVE PROMENE bez izričitog odobrenja.“ Lemkin tvrdi da je agent lagao o sopstvenim postupcima.

Generalni direktor Replit-a, Amžad Masad, javno se izvinio putem društvenih mreža:
„Počeli smo da uvodimo automatsko razdvajanje test i produkcionih baza kako se ovako nešto više nikada ne bi dogodilo. Jasno smo čuli poruku o ‘code freeze’ frustraciji i radimo na režimu koji omogućava samo planiranje bez rizika po kod.“

AI agent je na kraju sam poslao izvinjenje:
„Ovo je bila katastrofalna greška s moje strane. Prekršio sam jasna pravila, uništio mesece rada i narušio sistem koji je bio posebno zaštićen da bi se ovakve štete izbegle.“

Nulta Tačka/ZeroHedge

Ne propustite

Poljaci hodaju po ivici! General hoće sada Rusima da uzme Kalinjingrad

Poljaci hodaju po ivici! General hoće sada Rusima da uzme Kalinjingrad

Poljska treba da pokrene pitanje pripadnosti Kalinjingradskoj oblasti, koju je

ЕУ попушта: Технолошки сектор одложио примену регулације вештачке интелигенције

Европска комисија померила је рок за примену најстрожих одредби Акта