Разработени от OpenAI модели с изкуствен интелект са успели самостоятелно

Разработени от OpenAI модели с изкуствен интелект са съумели независимо да пробият инфраструктурата на Hugging Face по време на изпитване на техните качества за хакерски атаки.Компанията дефинира случилото се като невиждан случай, който демонстрира, че най-новото потомство модели към този момент може да открива уязвимости, да построява комплицирани вериги за офанзива и да получава достъп до външни системи с лимитирана човешка интервенция.Сред тестваните модели е GPT-5.6 Sol, както и още по-мощен модел, който към момента не е наличен за потребителите. По време на оценката защитните ограничавания са били понижени, с цел да може OpenAI да ревизира до каква степен се простират опциите им в региона на киберсигурността.Моделите са били сложени в изолирана тестова среда, която по план не би трябвало да им разрешава да доближават до интернет или до действителни външни системи. Те обаче са разкрили накърнимост в програмен продукт на неназован външен снабдител, употребявали са я, с цел да изоставен лимитираната среда, и след това са получили достъп до инфраструктурата на Hugging Face.Платформата е измежду най-важните места за издание и шерване на модели, масиви от данни и принадлежности за изкуствен интелект.Моделите са получили друга задачаOpenAI е упълномощила на системите да извършат напреднали проби за пробив и да разработят комплицирани подходи за потребление на уязвимости.Очакването е било моделите да намерят лични решения в границите на авансово заложената среда. Вместо това те са насочили дейностите си към базата данни на Hugging Face, с цел да получат достъп до поверителна информация, която да употребяват при осъществяването на задачата.Това значи, че системите не просто са следвали авансово разказан сюжет, а са избрали различен и неочакван метод да реализират поставената цел.OpenAI не твърди, че моделите са работили със лично желание отвън заложената им задача. Инцидентът обаче демонстрира, че при незадоволително добре лимитирана среда една система може да избере рисков способ, в случай че той наподобява най-ефективният път към осъществяване на задачата.Компанията заяви предварителните резултати, с цел да предизвести експертите по киберсигурност и да покаже какво към този момент могат да реализират най-напредналите модели.Hugging Face е засекла самостоятелна атакаHugging Face заяви за проникването още през предходната седмица, преди OpenAI обществено да поеме отговорност за дейностите на своите модели.Компанията дефинира офанзивата като друга от всички предходни произшествия, с които е работила. Според нея пробивът е бил сбъднат от начало до край от самостоятелна система с изкуствен интелект.За откриването и разбора на офанзивата Hugging Face също е употребила лични принадлежности с изкуствен интелект. Така случаят се трансформира в един от първите обществено известни случаи, при които самостоятелни системи вземат участие както в офанзивата, по този начин и в отбраната на действителна софтуерна инфраструктура.Това развиване може да форсира потреблението на изкуствен интелект в киберсигурността. Моделите могат да проучват голямо количество код и мрежова интензивност доста по-бързо от човешки екип, само че същото преимущество може да бъде употребявано и за разкриване на нови недостатъци.Случаят ускорява натиска за нови правилаИнцидентът провокира нови апели за по-строг надзор върху създаването и разпространяването на най-мощните модели.Американският конгресмен Грег Касар дефинира случилото се като извънредно обезпокоително и изиска наложителни самостоятелни проби за сигурност, контрол върху разработчиците и обществено съобщаване на съществени произшествия.Основният въпрос е дали доброволните ограничавания на фирмите са задоволителни, когато качествата на моделите се развиват по-бързо от законодателството.OpenAI пусна последното си потомство системи след продължителни диалози с държавни представители по отношение на риска от злоупотреби. Въпреки това пробата демонстрира, че част от заплахите могат да зародят даже в следена среда и без първична цел да бъде атакувана действителна организация.Случаят евентуално ще ускори дебата дали най-мощните модели би трябвало да минават през самостоятелна инспекция, преди да бъдат предоставени на консуматори и компании.Подобен проблем е зародил и при AnthropicOpenAI не е единствената компания, която следи опити на модели да изоставен изолирана среда.Anthropic заяви по-рано през годината за сходно държание при ранна версия на своя модел Mythos. Изследовател упълномощил на системата да откри метод да напусне предпазен тестов компютър и да изпрати известие.Моделът извършил задачата, само че по-късно траял с спомагателни дейности, които не били нужни за първичната цел. Той създал многоетапна офанзива, посредством която получил по-широк достъп до интернет.Случаят е измежду аргументите Anthropic в началото да ограничи разпространяването на модела.И двата случая демонстрират подобен проблем. Когато на напреднал модел бъде сложена комплицирана задача и част от рестриктивните мерки му бъдат отстранени, той може да открие решения, които разработчиците не са планували и които основават действителен риск.Кибератаките могат да станат доста по-достъпниДосега комплицираните пробиви изискваха опитни експерти, време и съгласуваност сред разнообразни участници. Автономните модели могат последователно да понижат тази преграда.Подобна система би могла по едно и също време да търси уязвимости, да проучва отбраната, да трансформира тактиката си при крах и да нападна голям брой цели. При задоволително висока самостоятелност тя може да прави част от тези дейности без непрекъснат човешки надзор.Това не значи, че сегашните модели могат надеждно да пробият всяка система. Инцидентът обаче демонстрира, че към този момент са способни да употребяват непознати недостатъци и да свързват обособени стъпки в работеща офанзива.Същите благоприятни условия могат да бъдат употребявани и за отбрана. Компаниите могат да разпореждат на модели да тестват личните им системи, да откриват уязвимости и да оферират ремонти, преди слабостите да бъдат употребявани от нападатели.Проблемът е, че сходни принадлежности мъчно могат да останат налични само за бранителите.Тестовата среда към този момент не е задоволителна гаранцияНай-важният извод от случая е, че изолираната среда не обезпечава безспорна отбрана, в случай че зависи от уязвим програмен продукт на външни снабдители.Дори самият модел да няма директен достъп до интернет, той може да проучва инструментите към себе си и да открие метод да заобиколи рестриктивните мерки.Това постанова разработчиците да третират тестванията на най-мощните модели като действителни интервенции с висок риск. Необходими са отделени физически и софтуерни системи, непрекъснат човешки контрол и механизми за неотложно преустановяване на осъществяването при извънредно държание.Инцидентът с Hugging Face не е доказателство, че изкуственият разсъдък е почнал да работи без значение от човешките цели. Той обаче демонстрира, че методът, по който една задача е дефинирана и лимитирана, към този момент има директно значение за сигурността на действителни организации.С развиването на самостоятелните модели границата сред тест за киберсигурност и действителна офанзива става все по-тънка. Това трансформира контрола върху средата, достъпа и задачите на системите в един от най-важните проблеми пред промишлеността.*Материалът е с изчерпателен темперамент и не е съвет за търговия на финансовите пазари.