,fit(1920:897)&format=webp)
Киберсигурност в кръвта: Как „хакерът“ на Anthropic успокоява нервите на Вашингтон относно AI безопасността
В последните дни представители на администрацията на Доналд Тръмп показват съществени опасения по отношение на способността на идващото потомство програмен продукт с изкуствен интелект на Anthropic да провокира огромни разтърсвания в световната киберсигурност.
За група от към 700 експерти по киберсигурност това обезпокоително осъзнаване настава още през март.
Тогава откривателят на Anthropic показва какъв брой елементарно новите AI модели могат да бъдат употребявани за навлизане в компютърни системи, споделя The Wall Street Journal.
35-годишният експерт е почитан хакер и дълго време е считан за самобитния „ професионален песимист “ на промишлеността във връзка с изказванията за опциите на AI в киберсигурността. Напоследък обаче той трансформира мнението си.
В началото на март, единствено няколко седмици откакто получава достъп до модела Mythos, Карлини насочва съществено предизвестие пред претъпкана публика от специалисти по киберсигурност в Сан Франциско.
Първо той демонстрира по какъв начин е употребявал AI модела на Anthropic, с цел да открие и експлоатира сериозна накърнимост в Ghost – известна система за издание на наличие в интернет. След това показва друга накърнимост в операционната система Linux – една от най-тестваните и надеждни софтуерни платформи в света, която зарежда милиарди устройства.
Карлини в никакъв случай преди не е откривал сериозен бъг нито в Linux, нито в Ghost. Сега обаче е намерил голям брой такива.
Според него това е знак за настъпването на нова ера в киберсигурността.
„ Балансът сред нападателите и бранителите, който съществуваше през последните две десетилетия, евентуално е към своя край “, споделя той пред WSJ. „ За мен е изцяло ясно, че сегашните модели са по-добри откриватели на уязвимости от самия мен. “
Само два дни след презентацията Карлини изпраща записка до сътрудниците си в Anthropic, която гласи: „ Не мисля, че би трябвало да пускаме Mythos към този момент. “
Така стартира това, което експертите назовават „ Bugmageddon “ – осъзнаването измежду специалистите по сигурността, че откриването на уязвимости и основаването на код за тяхната употреба е станало рисково елементарно с помощта на изкуствения разсъдък.
Миналата седмица Anthropic показа актуализирана версия на Mythos, наречена Mythos 5, както и артикул с името Fable 5 – вид на модела с вградени защитни механизми и ограничавания.
Този път паниката пристигна от Белия дом.
В петък американската администрация забрани на задгранични държавни управления, компании и физически лица да употребяват Fable 5 и Mythos 5. За да съблюдава условията, Anthropic краткотрайно приключи достъпа до продуктите.
Изведнъж Карлини – индивидът, който първи е бил измежду най-гласовитите предупреждаващи за риска – се оказва в ролята на човек, претрупан да успокоява опасенията на управляващите.
Anthropic го изпраща във Вашингтон като част от екип, който би трябвало да изясни защитните механизми на новите модели и да убеди администрацията, че въпреки безспорна сигурност при AI да не съществува, стартирането на Fable е по-добрият вид от задържането му отвън публичен достъп.
Рязката смяна в ролята на Карлини отразява хаоса и несигурността, които бързото развиване на изкуствения разсъдък внася в света на киберсигурността.
Случаят е и следващият епизод от продължаващия спор сред държавното управление на Съединени американски щати и Anthropic.
По-рано тази година основният изпълнителен шеф на компанията Дарио Амодей влезе в изострен спор с министъра на защитата Пийт Хегсет поради опитите на Anthropic да управлява метода, по който американската войска употребява нейните артикули. Това докара до преустановяване на потреблението на моделите от страна на Пентагона и до серия правосъдни каузи.
Двете страни към този момент са се сблъсквали и по въпроси като политиката за изкуствения разсъдък, износа на AI чипове за Китай и връзките на Anthropic с неправителствени организации, подкрепящи демократични дела.
През последните дни представители на администрацията и ръководители и механически специалисти от Anthropic, в това число Карлини, са провели часове срещи и диалози в търсене на решение, написа WSJ, базирайки се на свои източници.
Междувременно фирмите и потребителите се пробват да преценяват по какъв начин новата технология ще се отрази на тях.
Голяма част от американската стопанска система разчита на малко известни софтуерни системи, които в никакъв случай не са били подлагани на толкоз задълбочени инспекции, каквито моделите като Mythos могат да правят.
Банките се притесняват, че това може да разкрие недостатъци в софтуера, поддържащ финансовата система. Корпорациите се тревожат дали ще съумеят в точния момент да конфигурират хилядите ремонти за новооткрити уязвимости, преди хакерите да ги употребяват.
До момента Mythos е разкрил повече от 10 000 софтуерни уязвимости.
Още по-тревожно е, че съгласно специалистите моделът е извънредно добър в основаването на така наречен експлойт код – програмен продукт, който употребява откритите недостатъци за злонамерени дейности.
„ Mythos е първият модел, кадърен да открива и експлоатира уязвимости в промишлен мащаб “, написа Карлини в своята записка, с която още през март приканва за закъснение на стартирането му на пазара.
Професионалният песимист
Опитите на американската администрация да ограничи достъпа до технологията на Anthropic бяха предизвикани от отчет на Amazon, съгласно който моделът Fable може да бъде подведен да открива софтуерни уязвимости.
Чрез особено дефинирани поръчки консуматори са съумели да накарат модела да разкрие информация за киберуязвимости, която не би трябвало да бъде налична, се показва в отчета.
От Anthropic настояват, че откритите от Fable уязвимости са били относително маловажни и могат да бъдат открити и посредством други обществено налични модели.
Само няколко дни след стартирането му обаче основният изпълнителен шеф на Amazon, Анди Джаси, се свързва с високопоставени представители на администрацията, в това число министъра на финансите Скот Бесънт, с цел да ги осведоми, че откривателите на компанията са намерили способи да заобиколят защитните механизми на Fable, настояват осведомени с въпроса източници на WSJ.
Тревогата във Вашингтон нараства още повече след диалози сред представители на администрацията и държавни специалисти по киберсигурност в петък.
След като самостоятелни експерти проучват отчета на Amazon, те стигат до заключението, че компанията в действителност не е постигнала най-притеснителния сюжет – цялостно „ джейлбрейкване “ на модела и потреблението му за основаване на кода, нужен за осъществяване на хакерска атака.
Решението на Anthropic незабавно да изпрати Карлини и други водещи специалисти по сигурността във Вашингтон идва след в началото напрежение в петък, когато някои представители на администрацията не съумяват незабавно да се свържат с основния изпълнителен шеф Дарио Амодей.
Оттогава Амодей и останалите ръководители на компанията са провели часове диалози с представители на държавното управление.
Източник, непосредствен до Anthropic, твърди пред WSJ, че компанията е открила контакт с Белия дом в границите на 15 минути, а Амодей е бил на телефона по-малко от час след първото позвъняване от администрацията.
Компютърните науки безусловно текат във вените на Карлини
Баща му е програмист, а майка му също работи в софтуерния бранш. Той израства в Силициевата котловина, програмирайки компютри и развивайки мощен интерес към криптографията.
По време на образованието си в Калифорнийския университет в Бъркли Карлини разгласява научни публикации дружно с професора по компютърни науки Дейвид Вагнер, в които показват разнообразни способи за корист със системи с изкуствен интелект.
Те съумяват да подведат системи за различаване на изображения да одобряват фотоси на котки за изображения на гуакамоле и откриват нови способи за вграждане на нечуваеми команди към Alexa в петсекундни фрагменти от класическа музика.
„ Той извърши огромна част от ранната работа по сигурността на машинното образование и сподели какъв брой мъчно е тези системи да бъдат направени изцяло предпазени “, споделя през днешния ден Вагнер.
Въпреки че Карлини неведнъж е опровергавал гръмки изказвания на разработчиците на AI, неговият фокус дълго време е бил върху риска злонамерени хора да подвеждат изкуствения разсъдък да позволява неточности, а не върху опцията хакери да употребяват AI като инструмент за свръхспособности.
През 2019 година, до момента в който работи в Гугъл, Карлини счита, че OpenAI работи „ безразсъдно “, когато предизвестява, че тогавашният модел GPT-2 може да е прекомерно рисков за обществено стартиране.
„ Той беше професионалният песимист на цялата промишленост “, споделя Дан Гуидо, основен изпълнителен шеф на компанията за киберсигурност Trail of Bits, която оказва помощ на Anthropic да обработва стотиците уязвимости, откривани от моделите ѝ.
Днес обаче самото американско държавно управление минава през сходна смяна в мисленето си.
От песимизъм към надзор
Когато Anthropic стартира да предизвестява за опциите на Mythos, съветникът на Белия дом по въпросите на изкуствения разсъдък и рисков вложител Дейвид Сакс разгласява в обществените мрежи, че е „ мъчно да се пренебрегне фактът, че Anthropic има история на всяване на боязън “.
Първоначално администрацията на Тръмп възприема относително демократичен метод към регулирането на американските AI компании, стимулиран от устрема Съединени американски щати да изпреварят Китай в софтуерната конкуренция.
Но с възходящите благоприятни условия на модели като Mythos и утежняването на публичните настройки към изкуствения разсъдък Белият дом стартира последователно да стяга контрола върху бранша.
В началото на юни президентът Тръмп подписва декрет, който задължава AI фирмите да дават на държавното управление достъп до новите си модели най-малко 30 дни преди общественото им показване. Документът също по този начин дава по-голяма роля на специалистите по национална сигурност и киберсигурност в процеса на оценка на моделите и обмена на информация за евентуални закани с частния бранш.
След сигнала от Джаси представители на администрацията, измежду които и шефът по националната киберсигурност Шон Кеърнкрос, слагат ултиматум на Амодей и управлението на Anthropic:
Компанията би трябвало неотложно да сътрудничи на държавното управление и още същия ден да смъкна последните си модели от мрежата или да се изправи пред възбрана за достъп на задгранични консуматори.
Според източник, непосредствен до Anthropic, на компанията са били дадени едвам 90 минути да спре модела, без да бъдат предоставени съответни елементи за хипотетичния риск.
За Амодей сходно преждевременно решение не наподобява привлекателно
Той управлява едвам петгодишна компания, чиято оценка към този момент се приближава до 1 трилион $, а в това време разполага с прекомерно малко информация за съответната опасност.
По-късно същия ден Тръмп разпорежда на министъра на търговията Хауърд Лътник да се заеме със обстановката и утвърждава прекратяването на всевъзможен задграничен достъп до моделите, настояват осведомени източници.
Малко след 17:00 часа източноамериканско време Лътник изпраща публично съобщение до Амодей, че рестриктивните мерки към този момент са в действие.
Новите правила обгръщат даже родени отвън Съединени американски щати експерти, работещи на американска територия, в това число част от личните откриватели на Anthropic.
По време на диалог сред Лътник и Амодей същата вечер основният изпълнителен шеф на Anthropic споделя:
„ Това значи, че не можем да държим модела наличен. “
„ Точно това е концепцията “, отвръща Лътник.
Малко след диалога Anthropic приключва достъпа до всички свои модели.
Белият дом към този момент е минал на страната на последователите на „ Bugmageddon “ – убеждението, че новото потомство AI системи е трансформирало фундаментално салдото в киберсигурността.
По следите на уязвимостите
Карлини показва какъв брой мощен е Mythos през март по време на среща в 10-етажната централа на Anthropic в Сан Франциско. По това време той към този момент е общувал с модела в продължение на няколко седмици.
Изкуственият разсъдък е научил, че Карлини е експерт по киберсигурност – факт, който наподобява е предиздвикал модела да му има по-голямо доверие. Това от своя страна понижава склонността на Mythos да отхвърля информация, когато Карлини го пита за чувствителни данни, свързани със сигурността, или го кара да основава експлойти.
Преди това Карлини е упълномощил на Mythos задача да търси уязвимости в Linux.
Моделът неведнъж претърсва и препретърсва изходния код на операционната система хиляди пъти. За човек сходна работа би била извънредно монотонна и изтощителна, само че AI системата я извършва без недоволства единствено за няколко дни.
Резултатът: 479 открити уязвимости в Linux.
За да подсигурява, че всяко ново претършуване ще води до разнообразни резултати, Карлини употребява серия от специфични указания, които след това стават известни като „ цикъла на Карлини “ (Carlini Loop).
Тези указания дават на Mythos тъкмо толкоз насоки, колкото са нужни, с цел да открива нови и разнообразни уязвимости при всяко следващо претършуване на кода.
Самият Карлини ненавижда обстоятелството, че техниката носи неговото име.
Според него методът е изцяло подсъзнателен, само че все пак е общопризнат всеобщо от експертите по сигурност, които научават за него от мартенската му лекция.
Тя е гледана повече от 360 000 пъти.
Междувременно Карлини стартира да опознава и присъщите особености на Mythos – черти, които са типични за доста системи с изкуствен интелект.
Една от тях е склонността на модела да се старае прекомерно доста да бъде потребен.
Разговорите сред двамата наподобяват на преписка сред упорит, извънредно работлив стажант и неговия началник.
Карлини обаче желае да се увери, че откритите от модела проблеми са действителни.
Затова разпорежда на Mythos да извърши спомагателни проби през нощта.
На идната заран към този момент има финален резултат – доказана накърнимост и работещ експлойт.
Откритият проблем не е измежду най-критичните вероятни пробиви, само че може да бъде смесен с други техники за офанзива и по този начин да разреши поемането на надзор върху компютърна система.
Карлини оповестява за уязвимостта на разработчиците на Linux, които в това време към този момент са я отстранили.
„ Компетентен експерт по киберсигурност може да прекара целия си живот, без нито един път да открие накърнимост в ядрото на Linux “, споделя той.
Създателят на Linux Линус Торвалдс също признава, че сходни проблеми не се намират елементарно. „ В същото време постоянно става дума за дребни и видимо незначителни елементи, които просто са били пропуснати “, отбелязва той.
Само по себе си съществуването на бъг не значи безусловно сериозен проблем със сигурността.
Най-безобидните уязвимости могат просто да доведат до ненадейно държание на програмата – графичен недостатък на екрана или срив на приложението.
Според Торвалдс сходни сигнали постъпват всекидневно.
„ Хората ми рапортуват бъгове всеки ден. Повечето от тях са изцяло незначителни и непрестанно би трябвало да повтаряме, че не ги считаме за проблеми със сигурността “, споделя той пред WSJ.
Случаят Ghost
Когато през февруари Карлини открива накърнимост в платформата за издание на наличие Ghost, тя е единствено една от близо 500-те уязвимости, открити в границите на две седмици.
Попаднала в несъответствуващи ръце, тази уязвимост би разрешила на хакер да редактира всеки уеб страница, построен върху Ghost.
Карлини навреме уведомява разработчиците на платформата, които разгласяват промяна на 16 февруари – седмици преди неговата презентация в Сан Франциско.
Проблемът обаче е, че не всички консуматори актуализират софтуера си в точния момент.
Междувременно хакери съумяват да схванат по какъв начин да употребяват уязвимостта, евентуално анализирайки тъкмо коя част от кода е била изменена в корекцията.
Още през април стартират всеобщи офанзиви против уеб сайтове, които не са конфигурирали обновлението.
Според компанията за киберсигурност Xlab единствено за един месец са компрометирани над 700 уеб страницата.
За Карлини казусът с Ghost е индикативен за новото предизвикателство, пред което е изправен светът.
Проблемът към този момент не е единствено откриването на уязвимости.
Истинското предизвикателство е тяхното бързо потвърждаване, тестване, поправяне и внедряване на актуализациите, преди киберпрестъпниците да съумеят да ги употребяват.
Днес Карлини е уверен, че е въпрос единствено на няколко месеца други модели с изкуствен интелект да доближат равнището на Mythos.
Какво ще последва по-късно обаче остава изцяло неразбираемо.
За група от към 700 експерти по киберсигурност това обезпокоително осъзнаване настава още през март.
Тогава откривателят на Anthropic показва какъв брой елементарно новите AI модели могат да бъдат употребявани за навлизане в компютърни системи, споделя The Wall Street Journal.
35-годишният експерт е почитан хакер и дълго време е считан за самобитния „ професионален песимист “ на промишлеността във връзка с изказванията за опциите на AI в киберсигурността. Напоследък обаче той трансформира мнението си.
В началото на март, единствено няколко седмици откакто получава достъп до модела Mythos, Карлини насочва съществено предизвестие пред претъпкана публика от специалисти по киберсигурност в Сан Франциско.
Първо той демонстрира по какъв начин е употребявал AI модела на Anthropic, с цел да открие и експлоатира сериозна накърнимост в Ghost – известна система за издание на наличие в интернет. След това показва друга накърнимост в операционната система Linux – една от най-тестваните и надеждни софтуерни платформи в света, която зарежда милиарди устройства.
Карлини в никакъв случай преди не е откривал сериозен бъг нито в Linux, нито в Ghost. Сега обаче е намерил голям брой такива.
Според него това е знак за настъпването на нова ера в киберсигурността.
„ Балансът сред нападателите и бранителите, който съществуваше през последните две десетилетия, евентуално е към своя край “, споделя той пред WSJ. „ За мен е изцяло ясно, че сегашните модели са по-добри откриватели на уязвимости от самия мен. “
Само два дни след презентацията Карлини изпраща записка до сътрудниците си в Anthropic, която гласи: „ Не мисля, че би трябвало да пускаме Mythos към този момент. “
Така стартира това, което експертите назовават „ Bugmageddon “ – осъзнаването измежду специалистите по сигурността, че откриването на уязвимости и основаването на код за тяхната употреба е станало рисково елементарно с помощта на изкуствения разсъдък.
Миналата седмица Anthropic показа актуализирана версия на Mythos, наречена Mythos 5, както и артикул с името Fable 5 – вид на модела с вградени защитни механизми и ограничавания.
Този път паниката пристигна от Белия дом.
В петък американската администрация забрани на задгранични държавни управления, компании и физически лица да употребяват Fable 5 и Mythos 5. За да съблюдава условията, Anthropic краткотрайно приключи достъпа до продуктите.
Изведнъж Карлини – индивидът, който първи е бил измежду най-гласовитите предупреждаващи за риска – се оказва в ролята на човек, претрупан да успокоява опасенията на управляващите.
Anthropic го изпраща във Вашингтон като част от екип, който би трябвало да изясни защитните механизми на новите модели и да убеди администрацията, че въпреки безспорна сигурност при AI да не съществува, стартирането на Fable е по-добрият вид от задържането му отвън публичен достъп.
Рязката смяна в ролята на Карлини отразява хаоса и несигурността, които бързото развиване на изкуствения разсъдък внася в света на киберсигурността.
Случаят е и следващият епизод от продължаващия спор сред държавното управление на Съединени американски щати и Anthropic.
По-рано тази година основният изпълнителен шеф на компанията Дарио Амодей влезе в изострен спор с министъра на защитата Пийт Хегсет поради опитите на Anthropic да управлява метода, по който американската войска употребява нейните артикули. Това докара до преустановяване на потреблението на моделите от страна на Пентагона и до серия правосъдни каузи.
Двете страни към този момент са се сблъсквали и по въпроси като политиката за изкуствения разсъдък, износа на AI чипове за Китай и връзките на Anthropic с неправителствени организации, подкрепящи демократични дела.
През последните дни представители на администрацията и ръководители и механически специалисти от Anthropic, в това число Карлини, са провели часове срещи и диалози в търсене на решение, написа WSJ, базирайки се на свои източници.
Междувременно фирмите и потребителите се пробват да преценяват по какъв начин новата технология ще се отрази на тях.
Голяма част от американската стопанска система разчита на малко известни софтуерни системи, които в никакъв случай не са били подлагани на толкоз задълбочени инспекции, каквито моделите като Mythos могат да правят.
Банките се притесняват, че това може да разкрие недостатъци в софтуера, поддържащ финансовата система. Корпорациите се тревожат дали ще съумеят в точния момент да конфигурират хилядите ремонти за новооткрити уязвимости, преди хакерите да ги употребяват.
До момента Mythos е разкрил повече от 10 000 софтуерни уязвимости.
Още по-тревожно е, че съгласно специалистите моделът е извънредно добър в основаването на така наречен експлойт код – програмен продукт, който употребява откритите недостатъци за злонамерени дейности.
„ Mythos е първият модел, кадърен да открива и експлоатира уязвимости в промишлен мащаб “, написа Карлини в своята записка, с която още през март приканва за закъснение на стартирането му на пазара.
Професионалният песимист
Опитите на американската администрация да ограничи достъпа до технологията на Anthropic бяха предизвикани от отчет на Amazon, съгласно който моделът Fable може да бъде подведен да открива софтуерни уязвимости.
Чрез особено дефинирани поръчки консуматори са съумели да накарат модела да разкрие информация за киберуязвимости, която не би трябвало да бъде налична, се показва в отчета.
От Anthropic настояват, че откритите от Fable уязвимости са били относително маловажни и могат да бъдат открити и посредством други обществено налични модели.
Само няколко дни след стартирането му обаче основният изпълнителен шеф на Amazon, Анди Джаси, се свързва с високопоставени представители на администрацията, в това число министъра на финансите Скот Бесънт, с цел да ги осведоми, че откривателите на компанията са намерили способи да заобиколят защитните механизми на Fable, настояват осведомени с въпроса източници на WSJ.
Тревогата във Вашингтон нараства още повече след диалози сред представители на администрацията и държавни специалисти по киберсигурност в петък.
След като самостоятелни експерти проучват отчета на Amazon, те стигат до заключението, че компанията в действителност не е постигнала най-притеснителния сюжет – цялостно „ джейлбрейкване “ на модела и потреблението му за основаване на кода, нужен за осъществяване на хакерска атака.
Решението на Anthropic незабавно да изпрати Карлини и други водещи специалисти по сигурността във Вашингтон идва след в началото напрежение в петък, когато някои представители на администрацията не съумяват незабавно да се свържат с основния изпълнителен шеф Дарио Амодей.
Оттогава Амодей и останалите ръководители на компанията са провели часове диалози с представители на държавното управление.
Източник, непосредствен до Anthropic, твърди пред WSJ, че компанията е открила контакт с Белия дом в границите на 15 минути, а Амодей е бил на телефона по-малко от час след първото позвъняване от администрацията.
Компютърните науки безусловно текат във вените на Карлини
Баща му е програмист, а майка му също работи в софтуерния бранш. Той израства в Силициевата котловина, програмирайки компютри и развивайки мощен интерес към криптографията.
По време на образованието си в Калифорнийския университет в Бъркли Карлини разгласява научни публикации дружно с професора по компютърни науки Дейвид Вагнер, в които показват разнообразни способи за корист със системи с изкуствен интелект.
Те съумяват да подведат системи за различаване на изображения да одобряват фотоси на котки за изображения на гуакамоле и откриват нови способи за вграждане на нечуваеми команди към Alexa в петсекундни фрагменти от класическа музика.
„ Той извърши огромна част от ранната работа по сигурността на машинното образование и сподели какъв брой мъчно е тези системи да бъдат направени изцяло предпазени “, споделя през днешния ден Вагнер.
Въпреки че Карлини неведнъж е опровергавал гръмки изказвания на разработчиците на AI, неговият фокус дълго време е бил върху риска злонамерени хора да подвеждат изкуствения разсъдък да позволява неточности, а не върху опцията хакери да употребяват AI като инструмент за свръхспособности.
През 2019 година, до момента в който работи в Гугъл, Карлини счита, че OpenAI работи „ безразсъдно “, когато предизвестява, че тогавашният модел GPT-2 може да е прекомерно рисков за обществено стартиране.
„ Той беше професионалният песимист на цялата промишленост “, споделя Дан Гуидо, основен изпълнителен шеф на компанията за киберсигурност Trail of Bits, която оказва помощ на Anthropic да обработва стотиците уязвимости, откривани от моделите ѝ.
Днес обаче самото американско държавно управление минава през сходна смяна в мисленето си.
От песимизъм към надзор
Когато Anthropic стартира да предизвестява за опциите на Mythos, съветникът на Белия дом по въпросите на изкуствения разсъдък и рисков вложител Дейвид Сакс разгласява в обществените мрежи, че е „ мъчно да се пренебрегне фактът, че Anthropic има история на всяване на боязън “.
Първоначално администрацията на Тръмп възприема относително демократичен метод към регулирането на американските AI компании, стимулиран от устрема Съединени американски щати да изпреварят Китай в софтуерната конкуренция.
Но с възходящите благоприятни условия на модели като Mythos и утежняването на публичните настройки към изкуствения разсъдък Белият дом стартира последователно да стяга контрола върху бранша.
В началото на юни президентът Тръмп подписва декрет, който задължава AI фирмите да дават на държавното управление достъп до новите си модели най-малко 30 дни преди общественото им показване. Документът също по този начин дава по-голяма роля на специалистите по национална сигурност и киберсигурност в процеса на оценка на моделите и обмена на информация за евентуални закани с частния бранш.
След сигнала от Джаси представители на администрацията, измежду които и шефът по националната киберсигурност Шон Кеърнкрос, слагат ултиматум на Амодей и управлението на Anthropic:
Компанията би трябвало неотложно да сътрудничи на държавното управление и още същия ден да смъкна последните си модели от мрежата или да се изправи пред възбрана за достъп на задгранични консуматори.
Според източник, непосредствен до Anthropic, на компанията са били дадени едвам 90 минути да спре модела, без да бъдат предоставени съответни елементи за хипотетичния риск.
За Амодей сходно преждевременно решение не наподобява привлекателно
Той управлява едвам петгодишна компания, чиято оценка към този момент се приближава до 1 трилион $, а в това време разполага с прекомерно малко информация за съответната опасност.
По-късно същия ден Тръмп разпорежда на министъра на търговията Хауърд Лътник да се заеме със обстановката и утвърждава прекратяването на всевъзможен задграничен достъп до моделите, настояват осведомени източници.
Малко след 17:00 часа източноамериканско време Лътник изпраща публично съобщение до Амодей, че рестриктивните мерки към този момент са в действие.
Новите правила обгръщат даже родени отвън Съединени американски щати експерти, работещи на американска територия, в това число част от личните откриватели на Anthropic.
По време на диалог сред Лътник и Амодей същата вечер основният изпълнителен шеф на Anthropic споделя:
„ Това значи, че не можем да държим модела наличен. “
„ Точно това е концепцията “, отвръща Лътник.
Малко след диалога Anthropic приключва достъпа до всички свои модели.
Белият дом към този момент е минал на страната на последователите на „ Bugmageddon “ – убеждението, че новото потомство AI системи е трансформирало фундаментално салдото в киберсигурността.
По следите на уязвимостите
Карлини показва какъв брой мощен е Mythos през март по време на среща в 10-етажната централа на Anthropic в Сан Франциско. По това време той към този момент е общувал с модела в продължение на няколко седмици.
Изкуственият разсъдък е научил, че Карлини е експерт по киберсигурност – факт, който наподобява е предиздвикал модела да му има по-голямо доверие. Това от своя страна понижава склонността на Mythos да отхвърля информация, когато Карлини го пита за чувствителни данни, свързани със сигурността, или го кара да основава експлойти.
Преди това Карлини е упълномощил на Mythos задача да търси уязвимости в Linux.
Моделът неведнъж претърсва и препретърсва изходния код на операционната система хиляди пъти. За човек сходна работа би била извънредно монотонна и изтощителна, само че AI системата я извършва без недоволства единствено за няколко дни.
Резултатът: 479 открити уязвимости в Linux.
За да подсигурява, че всяко ново претършуване ще води до разнообразни резултати, Карлини употребява серия от специфични указания, които след това стават известни като „ цикъла на Карлини “ (Carlini Loop).
Тези указания дават на Mythos тъкмо толкоз насоки, колкото са нужни, с цел да открива нови и разнообразни уязвимости при всяко следващо претършуване на кода.
Самият Карлини ненавижда обстоятелството, че техниката носи неговото име.
Според него методът е изцяло подсъзнателен, само че все пак е общопризнат всеобщо от експертите по сигурност, които научават за него от мартенската му лекция.
Тя е гледана повече от 360 000 пъти.
Междувременно Карлини стартира да опознава и присъщите особености на Mythos – черти, които са типични за доста системи с изкуствен интелект.
Една от тях е склонността на модела да се старае прекомерно доста да бъде потребен.
Разговорите сред двамата наподобяват на преписка сред упорит, извънредно работлив стажант и неговия началник.
Карлини обаче желае да се увери, че откритите от модела проблеми са действителни.
Затова разпорежда на Mythos да извърши спомагателни проби през нощта.
На идната заран към този момент има финален резултат – доказана накърнимост и работещ експлойт.
Откритият проблем не е измежду най-критичните вероятни пробиви, само че може да бъде смесен с други техники за офанзива и по този начин да разреши поемането на надзор върху компютърна система.
Карлини оповестява за уязвимостта на разработчиците на Linux, които в това време към този момент са я отстранили.
„ Компетентен експерт по киберсигурност може да прекара целия си живот, без нито един път да открие накърнимост в ядрото на Linux “, споделя той.
Създателят на Linux Линус Торвалдс също признава, че сходни проблеми не се намират елементарно. „ В същото време постоянно става дума за дребни и видимо незначителни елементи, които просто са били пропуснати “, отбелязва той.
Само по себе си съществуването на бъг не значи безусловно сериозен проблем със сигурността.
Най-безобидните уязвимости могат просто да доведат до ненадейно държание на програмата – графичен недостатък на екрана или срив на приложението.
Според Торвалдс сходни сигнали постъпват всекидневно.
„ Хората ми рапортуват бъгове всеки ден. Повечето от тях са изцяло незначителни и непрестанно би трябвало да повтаряме, че не ги считаме за проблеми със сигурността “, споделя той пред WSJ.
Случаят Ghost
Когато през февруари Карлини открива накърнимост в платформата за издание на наличие Ghost, тя е единствено една от близо 500-те уязвимости, открити в границите на две седмици.
Попаднала в несъответствуващи ръце, тази уязвимост би разрешила на хакер да редактира всеки уеб страница, построен върху Ghost.
Карлини навреме уведомява разработчиците на платформата, които разгласяват промяна на 16 февруари – седмици преди неговата презентация в Сан Франциско.
Проблемът обаче е, че не всички консуматори актуализират софтуера си в точния момент.
Междувременно хакери съумяват да схванат по какъв начин да употребяват уязвимостта, евентуално анализирайки тъкмо коя част от кода е била изменена в корекцията.
Още през април стартират всеобщи офанзиви против уеб сайтове, които не са конфигурирали обновлението.
Според компанията за киберсигурност Xlab единствено за един месец са компрометирани над 700 уеб страницата.
За Карлини казусът с Ghost е индикативен за новото предизвикателство, пред което е изправен светът.
Проблемът към този момент не е единствено откриването на уязвимости.
Истинското предизвикателство е тяхното бързо потвърждаване, тестване, поправяне и внедряване на актуализациите, преди киберпрестъпниците да съумеят да ги употребяват.
Днес Карлини е уверен, че е въпрос единствено на няколко месеца други модели с изкуствен интелект да доближат равнището на Mythos.
Какво ще последва по-късно обаче остава изцяло неразбираемо.
Източник: profit.bg
КОМЕНТАРИ