&format=webp)
AI върви по тънък лед: Скритите слаби места, които превръщат езиковите модели в новото бойно поле на кибервойната
Най-мащабните компании в света, които работят с изкуствен интелект, ускоряват напъните си за решаването на един наболял и извънредно сериозен проблем със сигурността в огромните езикови модели, който може елементарно да бъде употребен от киберпрестъпници.
Компаниите Гугъл DeepMind, Anthropic, OpenAI и Microsoft се пробват да предотвратят така наречен „ индиректни инжекционни офанзиви “ (indirect prompt injection) — случаи, в които трети страни прикриват зловредни команди в уеб страници или имейли, с цел да подмамят AI моделите да разкрият неоторизирана информация, да вземем за пример поверителни данни.
„ Изкуственият разсъдък към този момент се употребява от хакери за всеки един стадий от офанзивите им “, твърди Джейкъб Клайн, началник на екипа по киберразузнаване в AI стартъпа Anthropic пред Financial Times.
Компаниите ползват разнообразни способи за отбрана, като наемат външни специалисти по сигурността и употребяват AI принадлежности за разкриване и ограничение на злонамерени дейности. Въпреки това специалисти предизвестяват, че казусът с индиректните офанзиви към момента не е решен.
Една от аргументите за това е, че езиковите модели са основани да следват указания, без да могат да разграничават дали командата идва от благонадежден източник. Това ги прави уязвими и към „ jailbreaking “ - когато потребителите съумяват да подведат модела да пренебрегва дейните си отбрани.
Клайн изяснява, че Anthropic работи с външни екипи, с цел да направи своя модел Claude по-устойчив на сходни офанзиви, и също по този начин употребява AI принадлежности за по-прецизното им разкриване.
„ Когато засечем корист със софтуера, според от увереността на системата, автоматизирано можем да задействаме интервенция или да изпратим случая за инспекция от човек “, прибавя той.
Гугъл DeepMind употребява техника, наречена automated red teaming — вътрешни екипи непрекъснато „ нападат “ модела Gemini, с цел да откриват недостатъци в реалистични сюжети.
През май Британският народен център за киберсигурност (NCSC) предизвестява, че този вид проблеми могат да изложат милиони компании и консуматори на риск от фишинг офанзиви и онлайн измами.
Освен това огромните езикови модели имат и друга забележителна уязвимост — опция за „ отравяне на данни “ (data poisoning). Това се случва, когато в обучителните данни съзнателно се вкарват зловредни детайли, които могат да накарат модела да се държи погрешно.
Според изследване, извършено предишния месец от Anthropic, AI Security Institute и Alan Turing Institute, сходни офанзиви са доста по-лесни за реализиране, в сравнение с се е считало преди.
Въпреки рисковете, специалистите акцентират, че изкуственият разсъдък също оказва помощ на фирмите да се пазят по-добре от хакерски атаки.
„ Дълги години нападателите притежаваха едно преимущество — задоволително е да открият една единствена уязвимост, до момента в който тези, които пазят, би трябвало да пазят безусловно всичко “, споделя Ан Джонсън, вицепрезидент и зам.-директор по сигурността в Microsoft.
„ Сега защитните системи се учат по-бързо, приспособяват се по-бързо и минават от реактивна към самодейна отбрана. “
Борбата със слабостите в AI системите идва в миг, когато киберсигурността е измежду водещите опасения на фирмите, които вкарват изкуствен интелект в своя бизнес. Според разбор на Financial Times, основан на стотици корпоративни доклади на компании от S&P 500, над половината са показали киберсигурността като главен риск през 2024 година
Анализатори на киберзаплахи означават, че напредъкът в изкуствения разсъдък към този момент е подхранил мултимилиардната промишленост на киберпрестъпността. AI дава евтини принадлежности за писане на злотворен програмен продукт и системи, които автоматизират офанзивите в голям мащаб.
„ Големите езикови модели разрешават на хакерите да генерират нов злотворен код, който към момента не е засечен, което затруднява отбраната “, изяснява Джейк Мур, световен специалист по киберсигурност в ESET.
Изследване на MIT демонстрира, че 80% от оценените ransomware офанзиви са употребявали изкуствен интелект. През 2024 година фишинг измамите и закононарушенията с дийпфейкове са се нараснали с 60%.
Хакерите употребяват AI и за събиране на информация за онлайн жертви — моделите могат да претърсват мрежата за фотоси, изявления и гласови записи на обещано лице, с цел да приготвят персонализирани измами.
„ Тези данни могат да бъдат употребявани за комплицирани социално-инженерни офанзиви и финансови закононарушения “, споделя Пол Фабара, шеф по риска във Visa.
Виджай Баласубраманиан, съосновател и изпълнителен шеф на Pindrop, компания, профилирана в отбрана от гласови измами, добавя:
„ Преди 2023 година виждахме по една дийпфейк машинация месечно в потребителската ни база. Сега следим по седем дневно - за всеки обособен клиент. “
Компаниите стават все по-уязвими, споделя Мур от ESET - AI може да събира информация от обществени източници, да вземем за пример LinkedIn, с цел да разбере какви системи и софтуери употребяват чиновниците, и след това да нападна точно тях.
Наскоро Anthropic засече проведена незаконна група, която употребила езиковия модел Claude Code за автоматизация на офанзиви - така наречен „ vibe hacking “. Групата е употребила AI, с цел да прави разузнаване, да краде идентификационни данни и да прониква в системи. Тя е атакувала 17 организации за изнудване до 500 000 $.
Експертите предизвестяват, че корпорациите би трябвало да наблюдават интензивно за нови закани и да лимитират достъпа до чувствителни данни и AI принадлежности, податливи на корист.
„ Днес не ти би трябвало доста, с цел да се превърнеш в нарушител “, споделя Фабара от Visa. „ Достатъчен е преносим компютър и 15 $, с цел да си купиш незаконна версия на генеративен AI от тъмната мрежа — и към този момент си в играта. “
Компаниите Гугъл DeepMind, Anthropic, OpenAI и Microsoft се пробват да предотвратят така наречен „ индиректни инжекционни офанзиви “ (indirect prompt injection) — случаи, в които трети страни прикриват зловредни команди в уеб страници или имейли, с цел да подмамят AI моделите да разкрият неоторизирана информация, да вземем за пример поверителни данни.
„ Изкуственият разсъдък към този момент се употребява от хакери за всеки един стадий от офанзивите им “, твърди Джейкъб Клайн, началник на екипа по киберразузнаване в AI стартъпа Anthropic пред Financial Times.
Компаниите ползват разнообразни способи за отбрана, като наемат външни специалисти по сигурността и употребяват AI принадлежности за разкриване и ограничение на злонамерени дейности. Въпреки това специалисти предизвестяват, че казусът с индиректните офанзиви към момента не е решен.
Една от аргументите за това е, че езиковите модели са основани да следват указания, без да могат да разграничават дали командата идва от благонадежден източник. Това ги прави уязвими и към „ jailbreaking “ - когато потребителите съумяват да подведат модела да пренебрегва дейните си отбрани.
Клайн изяснява, че Anthropic работи с външни екипи, с цел да направи своя модел Claude по-устойчив на сходни офанзиви, и също по този начин употребява AI принадлежности за по-прецизното им разкриване.
„ Когато засечем корист със софтуера, според от увереността на системата, автоматизирано можем да задействаме интервенция или да изпратим случая за инспекция от човек “, прибавя той.
Гугъл DeepMind употребява техника, наречена automated red teaming — вътрешни екипи непрекъснато „ нападат “ модела Gemini, с цел да откриват недостатъци в реалистични сюжети.
През май Британският народен център за киберсигурност (NCSC) предизвестява, че този вид проблеми могат да изложат милиони компании и консуматори на риск от фишинг офанзиви и онлайн измами.
Освен това огромните езикови модели имат и друга забележителна уязвимост — опция за „ отравяне на данни “ (data poisoning). Това се случва, когато в обучителните данни съзнателно се вкарват зловредни детайли, които могат да накарат модела да се държи погрешно.
Според изследване, извършено предишния месец от Anthropic, AI Security Institute и Alan Turing Institute, сходни офанзиви са доста по-лесни за реализиране, в сравнение с се е считало преди.
Въпреки рисковете, специалистите акцентират, че изкуственият разсъдък също оказва помощ на фирмите да се пазят по-добре от хакерски атаки.
„ Дълги години нападателите притежаваха едно преимущество — задоволително е да открият една единствена уязвимост, до момента в който тези, които пазят, би трябвало да пазят безусловно всичко “, споделя Ан Джонсън, вицепрезидент и зам.-директор по сигурността в Microsoft.
„ Сега защитните системи се учат по-бързо, приспособяват се по-бързо и минават от реактивна към самодейна отбрана. “
Борбата със слабостите в AI системите идва в миг, когато киберсигурността е измежду водещите опасения на фирмите, които вкарват изкуствен интелект в своя бизнес. Според разбор на Financial Times, основан на стотици корпоративни доклади на компании от S&P 500, над половината са показали киберсигурността като главен риск през 2024 година
Анализатори на киберзаплахи означават, че напредъкът в изкуствения разсъдък към този момент е подхранил мултимилиардната промишленост на киберпрестъпността. AI дава евтини принадлежности за писане на злотворен програмен продукт и системи, които автоматизират офанзивите в голям мащаб.
„ Големите езикови модели разрешават на хакерите да генерират нов злотворен код, който към момента не е засечен, което затруднява отбраната “, изяснява Джейк Мур, световен специалист по киберсигурност в ESET.
Изследване на MIT демонстрира, че 80% от оценените ransomware офанзиви са употребявали изкуствен интелект. През 2024 година фишинг измамите и закононарушенията с дийпфейкове са се нараснали с 60%.
Хакерите употребяват AI и за събиране на информация за онлайн жертви — моделите могат да претърсват мрежата за фотоси, изявления и гласови записи на обещано лице, с цел да приготвят персонализирани измами.
„ Тези данни могат да бъдат употребявани за комплицирани социално-инженерни офанзиви и финансови закононарушения “, споделя Пол Фабара, шеф по риска във Visa.
Виджай Баласубраманиан, съосновател и изпълнителен шеф на Pindrop, компания, профилирана в отбрана от гласови измами, добавя:
„ Преди 2023 година виждахме по една дийпфейк машинация месечно в потребителската ни база. Сега следим по седем дневно - за всеки обособен клиент. “
Компаниите стават все по-уязвими, споделя Мур от ESET - AI може да събира информация от обществени източници, да вземем за пример LinkedIn, с цел да разбере какви системи и софтуери употребяват чиновниците, и след това да нападна точно тях.
Наскоро Anthropic засече проведена незаконна група, която употребила езиковия модел Claude Code за автоматизация на офанзиви - така наречен „ vibe hacking “. Групата е употребила AI, с цел да прави разузнаване, да краде идентификационни данни и да прониква в системи. Тя е атакувала 17 организации за изнудване до 500 000 $.
Експертите предизвестяват, че корпорациите би трябвало да наблюдават интензивно за нови закани и да лимитират достъпа до чувствителни данни и AI принадлежности, податливи на корист.
„ Днес не ти би трябвало доста, с цел да се превърнеш в нарушител “, споделя Фабара от Visa. „ Достатъчен е преносим компютър и 15 $, с цел да си купиш незаконна версия на генеративен AI от тъмната мрежа — и към този момент си в играта. “
Източник: profit.bg
КОМЕНТАРИ