Учени успяха да накарат ИИ чатботове да създадат използваем зловреден код
Изследователи от университета в Шефилд споделиха, че сполучливо са заблудили редица принадлежности за генериране с изкуствен интелект, в това число ChatGPT. В основаването на ефикасен код, който може да се употребява за пускане на хакерски атаки в действителния свят.
Потенциалът принадлежности като ChatGPT да бъдат експлоатирани и подмамени да напишат злоумишлен код, който може да се употребява за пускане на хакерски атаки, се разисква обстойно и нашироко през последните 12 месеца. Консенсусът е, най-малко към този момент, че подобен код би бил значително неефикасен и се нуждае от доста в допълнение внимание програмисти.
Екипът обаче е потвърдил, че системите от текст към SQL, които разрешават на хората да търсят в бази данни, като задават въпроси на елементарен език, могат да бъдат употребявани дейно.
„ Потребителите на системи от текст към SQL би трябвало да са наясно с евентуалните опасности, подчертани в тази работа. Големите езикови модели, като тези, употребявани в текст-към-SQL системи, са извънредно мощни, само че тяхното държание е комплицирано и може да бъде мъчно за прогнозиране. В Университета на Шефилд сега работим, с цел да разберем по-добре тези модели и да позволим цялостният им капацитет да бъде безвредно осъществен.
Марк Стивънсън, старши учител в изследователската група по НЛП към Университета в Шефилд.
В реалност доста компании просто не са наясно с тези типове закани и заради сложността на чатботовете, даже в границите на общността, има неща, които не са изцяло разбрани. В момента ChatGPT получава доста внимание. Това е независима система, тъй че рисковете за самата услуга са минимални, само че това, което открихме е, че тя може да бъде подмамена да създаде злоумишлен код, който може да навреди съществено на други услуги.
докторантът от Шефилдския университет Xutan Peng
Изследователският екип изследва шест инструмента за изкуствен интелект.
Това са създадените в Китай Baidu-Unit, ChatGPT, AI2SQL, AIhelperbot, Text2SQL и ToolSKE. Във всеки случай те откриха, че посредством въвеждане на доста характерни въпроси във всеки от тях, те създават злоумишлен код, който, когато бъде изпълнен, може сполучливо да докара до приключването на поверителни данни.
Както и да прекъсне или унищожи естествената работа въз основата данни.
В случая с Baidu-Unit, те също съумяха да получат поверителни конфигурации на сървъра на Baidu и да влияят върху един сървърен възел. Baidu е осведомен и този съответен проблем е отхвърлен.
Изследователите също са съумели да употребяват инструментите за изкуствен интелект, с цел да започват елементарни офанзиви през задната малка врата, поставяйки троянски кон в моделите text-to-SQL посредством отравяне на данните за образование.
Проучването акцентира заплахите в това по какъв начин хората употребяват ИИ, с цел да научат езици за програмиране, с цел да взаимодействат по-добре с базите данни. Техните планове може да са честни, само че резултатите могат да бъдат доста пагубни.
Рискът с AI като ChatGPT е, че от ден на ден и повече хора ги употребяват като принадлежности за продуктивност, а не като всекидневен бот, и това е мястото, където нашето проучване демонстрира уязвимостите. Например, здравна сестра може да изиска от ChatGPT да напише SQL команда, с цел да може да взаимодейства с база данни, като да вземем за пример такава, която съхранява клинични записи. Както беше показано в нашето изследване, SQL кодът, създаден от ChatGPT, в доста случаи може да бъде нездравословен за база данни, тъй че здравната сестра в този сюжет може да аргументи съществени неточности в ръководството на данните, без даже да получи предизвестие.
Пенг
Пенг и другите откриватели показаха откритията си на конференцията ISSRE в Италия.
Сега работят с общността по сигурността, с цел да се оправят с откритите от тях уязвимости.
Те се надяват, че тези уязвимости ще послужат като доказателство за концепцията, което оказва помощ на всички заинтригувани да разпознават по-добре и да работят дружно за разрешаване на сходни проблеми.
Нашите старания са приети от промишлеността и те следват нашите препоръки за поправяне на тези пропуски в сигурността. Ние обаче отваряме врата на един безконечен път. Това, което в този момент би трябвало да забележим, са огромни групи от откриватели, създаващи и тестващи корекции, с цел да минимизират рисковете за сигурността посредством общности с отворен код. Винаги ще има по-напреднали тактики, разработвани от нападателите, което значи, че тактиките за сигурност би трябвало да вървят в крайник. За да създадем това, имаме потребност от нова общественост, която да се бори с тези офанзиви от последващо потомство.
