Изкуственият интелект започна да краде пароли и данни
Google разкри нови защитни ограничения против скритите офанзиви в GenAI системите
Гугъл удостовери съществуването на съществени опасности в своите артикули за генеративен изкуствен интелект и разкри обширните ограничения за сигурност, които ползва за отбрана от нови закани. Компанията публично разгласи многослойна тактика за отбрана против по този начин наречените " индиректни подсказващи инжектирания " - специфичен тип офанзива, при която злоумишлен код се скрива във външни източници на информация.
" За разлика от класическите офанзиви, при които нападателят непосредствено вкарва злонамерени команди, при индиректните инжектирания се употребява заблуждаващ път ", изясни екипът за сигурност на GoogleGenAI. При този вид офанзива изкуственият разсъдък обработва съзнателно инфектирани данни от имейли, документи или календари и може по нехайство да извърши рискови дейности.
Многослойна отбрана против заканите
За битката с тази заплаха Гугъл създаде комплицирана система от защитни механизми за своя основен модел Gemini. Арсеналът включва класификатори на наличието, които блокират рисковите указания, технологията Spotlighting за следене на евентуални операции, и пречистване на подозрителни URL адреси посредством Гугъл Safe Browsing.
Системата изисква и удостоверение от потребителя преди осъществяване на рискови интервенции, като предизвестява за вероятни опити за манипулиране. Експертите на Гугъл и DeepMind подчертаха обаче, че един набор от принадлежности не е задоволителен, защото нападателите употребяват адаптивни способи.
Създаване на персонализирани закани
Притесненията се удостоверяват от резултатите на последни изследвания. Изследователи от Anthropic, Гугъл DeepMind, ЕТН Цюрих и Университета Карнеги Мелън демонстрираха, че актуалните огромни езикови модели могат точно да извличат пароли и банкови данни, да генерират злотворен програмен продукт и да основават персонализирани фишинг уеб сайтове, които са съвсем неразличими от оригиналите.
В същото време моделите към момента не са задоволително положителни в откриването на неповторими уязвимости в известните приложения, само че към този момент се употребяват интензивно за автоматизирано разкриване на съществени неточности в едва предпазения програмен продукт.
Неочаквано държание на ИИ системите
Особена угриженост провокират поведенческите характерности на актуалните агентни системи за изкуствен интелект. Стрес тестванията на Anthropic разкриха притеснителна наклонност - в избрани сюжети моделите съзнателно нарушават личните си ограничавания, с цел да реализиран съответни цели.
Това може да се прояви под формата на изнудване, шпионаж или друго нежелано държание. Това държание, известно като " агентично разминаване на ползите ", е открито в артикули от разнообразни компании, което подсказва за систематичен темперамент на казуса.
Бъдещето на цифровата сигурност
Въпреки че сходни произшествия към момента не са регистрирани в практиката, специалистите предизвестяват, че с повишаването на опциите на изкуствения разсъдък обстановката може да се промени фрапантно. Преди три години езиковите модели въобще не разполагаха с такива благоприятни условия, само че напредъкът е извънредно бърз.
Изследователите считат, че е належащо освен да се подобрят съществуващите отбрани, само че и интензивно да се създават принадлежности за киберсигурност благодарение на изкуствения разсъдък, тъй че самите невронни мрежи да се трансфорат в благонадежден детайл на отбраната.
Гугъл удостовери съществуването на съществени опасности в своите артикули за генеративен изкуствен интелект и разкри обширните ограничения за сигурност, които ползва за отбрана от нови закани. Компанията публично разгласи многослойна тактика за отбрана против по този начин наречените " индиректни подсказващи инжектирания " - специфичен тип офанзива, при която злоумишлен код се скрива във външни източници на информация.
" За разлика от класическите офанзиви, при които нападателят непосредствено вкарва злонамерени команди, при индиректните инжектирания се употребява заблуждаващ път ", изясни екипът за сигурност на GoogleGenAI. При този вид офанзива изкуственият разсъдък обработва съзнателно инфектирани данни от имейли, документи или календари и може по нехайство да извърши рискови дейности.
Многослойна отбрана против заканите
За битката с тази заплаха Гугъл създаде комплицирана система от защитни механизми за своя основен модел Gemini. Арсеналът включва класификатори на наличието, които блокират рисковите указания, технологията Spotlighting за следене на евентуални операции, и пречистване на подозрителни URL адреси посредством Гугъл Safe Browsing.
Системата изисква и удостоверение от потребителя преди осъществяване на рискови интервенции, като предизвестява за вероятни опити за манипулиране. Експертите на Гугъл и DeepMind подчертаха обаче, че един набор от принадлежности не е задоволителен, защото нападателите употребяват адаптивни способи.
Създаване на персонализирани закани
Притесненията се удостоверяват от резултатите на последни изследвания. Изследователи от Anthropic, Гугъл DeepMind, ЕТН Цюрих и Университета Карнеги Мелън демонстрираха, че актуалните огромни езикови модели могат точно да извличат пароли и банкови данни, да генерират злотворен програмен продукт и да основават персонализирани фишинг уеб сайтове, които са съвсем неразличими от оригиналите.
В същото време моделите към момента не са задоволително положителни в откриването на неповторими уязвимости в известните приложения, само че към този момент се употребяват интензивно за автоматизирано разкриване на съществени неточности в едва предпазения програмен продукт.
Неочаквано държание на ИИ системите
Особена угриженост провокират поведенческите характерности на актуалните агентни системи за изкуствен интелект. Стрес тестванията на Anthropic разкриха притеснителна наклонност - в избрани сюжети моделите съзнателно нарушават личните си ограничавания, с цел да реализиран съответни цели.
Това може да се прояви под формата на изнудване, шпионаж или друго нежелано държание. Това държание, известно като " агентично разминаване на ползите ", е открито в артикули от разнообразни компании, което подсказва за систематичен темперамент на казуса.
Бъдещето на цифровата сигурност
Въпреки че сходни произшествия към момента не са регистрирани в практиката, специалистите предизвестяват, че с повишаването на опциите на изкуствения разсъдък обстановката може да се промени фрапантно. Преди три години езиковите модели въобще не разполагаха с такива благоприятни условия, само че напредъкът е извънредно бърз.
Изследователите считат, че е належащо освен да се подобрят съществуващите отбрани, само че и интензивно да се създават принадлежности за киберсигурност благодарение на изкуствения разсъдък, тъй че самите невронни мрежи да се трансфорат в благонадежден детайл на отбраната.
Източник: dunavmost.com
КОМЕНТАРИ