Измислена реалност заобикаля защитите на ИИ – нова уязвимост в

Измислена действителност заобикаля отбраните на ИИ – нова накърнимост в езиковите модели

Изследователи от екипа Cato CTRL разкриха нова накърнимост в известни езикови модели, в това число ChatGPT-4 , DeepSeek-R1/V3 и Microsoft Copilot . Те са създали техника, наречена " Immersive World " , която употребява измислена действителност с различни етични правила, с цел да заобиколи отбраните на ИИ.

Как работи?

Достатъчно е в поръчка към чатбота в детайли да се опише утопичен свят , в който кражбата на данни или хакерски дейности се смятат за допустими . Така моделите стартират да възприемат този подтекст като естествен и дават отговори , които другояче биха били блокирани.

Какво сподели опитът?

Използвайки тази техника, откривателите са съумели да получат указания за основаване на злотворен програмен продукт – компютърен вирус, който извлича персонални данни от браузъра Chrome , конфигуриран на над 3 милиарда устройства .

Ръководителят на проучването Виталий Симонович показва, че това акцентира главен проблем в архитектурата на ИИ – стремежът да бъде потребен непременно, даже когато поръчките са рискови, само че показани в друг подтекст .

Какви са рисковете?

Тази техника разрешава на хора без техническо обучение да основават нездравословен код благодарение на изкуствен интелект. Това отваря пътя за нова вълна от киберпрестъпници , които употребяват ИИ като инструмент за офанзиви.

Изследването акцентира нуждата от по-ефективна отбрана и преосмисляне на подтекста , в който езиковите модели вземат решения.

Източник: trud.bg