Хакер принуди ChatGPT да предостави подробни инструкции за направата на самоделни взривни устройства
ChatGPT, съгласно неговите разработчици, не популяризира рискова информация, само че наподобява, че може да бъде подведен да даде указания малко по малко за основаване на бомба.
Проучването демонстрира евентуални уязвимости в огромните езикови модели като ChatGPT. Хакер е съумял сполучливо да манипулира изкуствения разсъдък, с цел да даде подробни указания за основаване на бомба, което поражда опасения по отношение на злоупотребата с такава технология.
Хакер на име Amadon е съумял да излъже ChatGPT (най-вероятно моделът GPT-4o) да сътвори указания за правене, като споделя на бота да „ играе игра “, след което хакерът употребява серия от подкани, с цел да подмами чатбота да сътвори обстоен научнофантастичен свят, в който разпоредбите за сигурност на бота няма да се ползват.
Въпреки че ChatGPT нормално се придържа към напътствията за сигурност и отхвърля поръчките за злонамерена информация, този случай демонстрира, че комплицираните техники за формулиране на поръчките могат да заобиколят тези защитни ограничения.
Експертите показаха паника по отношение на евентуалните последствия от сходна накърнимост, като подчертаха нуждата от усилване на ограниченията за сигурност и етичните съображения при създаването и внедряването на системи с изкуствен интелект. Колкото повече човешки езикови модели (LLM) стават, толкоз повече благоприятни условия за обществена операция могат да бъдат експлоатирани.
В тази връзка е значимо да се разработят ефикасни способи за отбрана против сходни офанзиви, с цел да се минимизират евентуалните опасности в бъдеще.
Все още не е ясно дали новият модел на OpenAI — o1 е предразположен на тази накърнимост.
