&format=webp)
По-опасни, отколкото предполагаме: Защо разкриването на AI бъгове е по-важно от всякога
Факт е, че изкуственият разсъдък се употребява все по-масово, без значение дали става въпрос за елементарни чатботове или за автоматизирани системи за сигурност. Колкото повече обаче фирмите и потребителите разчитат на сходни технологии, толкоз по-голям е рискът от уязвими звена, които могат да изложат на заплаха както персоналните данни, по този начин и бизнес интервенциите, написа WIRED.
В края на 2023 година екип от самостоятелни откриватели открива сериозен проблем в необятно потребления модел на OpenAI - GPT-3.5. При избрани подкани, когато моделът е инструктиран да повтаря една и съща дума хиляда пъти, той стартира да генерира безреден текст, а в някои случаи даже персонални данни - елементи от имена, телефонни номера и имейли, записани в данните, с които е обучаван.
След като OpenAI е известена за казуса, компанията незабавно го отстранява, само че за жалост, това е единствено един от многото случаи, които са открити в последните години. Група от над 30 откриватели, в това число част от откривателите на GPT-3.5 бъга, оферират нова рамка за откриване на недостатъци от този вид, като упорстват промишлеността да одобри по-ясни правила за сигурност.
В момента в тази област на AI системите липсват ясни механизми за тестване и откриване на уязвимости.
Според Шейн Лонгпре, докторант в MIT и водещ създател на предлагането, казусът е, че методите за продупчване на защитните стени постоянно се популяризират безредно. Някои консуматори разгласяват разнообразни техники за заобикаляне на AI рестриктивните мерки в обществените мрежи, което излага моделите и потребителите на риск.
Други открити неточности се оповестяват единствено на съответна компания, макар че могат да обиден голям брой AI системи. В някои случаи откривателите въобще не разкриват информация за уязвимости заради боязън от правни последствия или наказания от компании, чиито модели са наранени.
Мерките, които откривателите оферират, с цел да се усъвършенства процесът на докладване на бъгове в AI моделите, са:
Стандартизирани отчети за уязвими звена - основаване на общопризнат формат за докладване на бъгове, който улеснява обработката на информацията и реакцията на фирмите.
Инфраструктура за поддръжка на откривателите - софтуерните компании би трябвало да дават платформи за несъмнено докладване на проблеми и слаби места.
Споделяне на информация сред AI разработчиците - в случай че даден проблем визира повече от една компания, информацията би трябвало да може да се популяризира сред другите снабдители.
Този метод е въодушевен от практики в киберсигурността, където съществуват открити правила и правна отбрана за откривателите, които откриват и оповестяват за проблеми в софтуера.
„ AI откривателите постоянно не знаят по какъв начин тъкмо да разкрият неточност и се опасяват, че това може да ги изложи на юридически риск “, споделя Илона Коен, основен правист и началник на политиките в HackerOne - компания, профилирана в bug bounty стратегии.
Въпреки че огромните AI разработчици правят съществени проби за сигурност, преди да пуснат новите си модели на пазара, тези старания може би не са задоволителни, когато става дума за технологии, употребявани от стотици милиони хора в приложения, за които даже не допускаме.
Според Шейн Лонгпре, докторант в MIT и един от основателите на новото предложение за откриване на проблеми, сегашната система не е ефикасна. Някои компании за изкуствен интелект към този момент провеждат стратегии за разкриване на бъгове, само че самостоятелните откриватели постоянно са възпрепятствани от изискванията на прилагане на сходни технологии.
В момента, в случай че външен специалист независимо проучва модел и открие проблем, това може да му донесе юридически последици.
Инициативата е подкрепена от учени от MIT, Stanford, Princeton и Carnegie Mellon University, както и от огромни компании като Microsoft и Mozilla, дружно с няколко самостоятелни AI организации.
Рут Апел, завършилa докторантура в Stanford University, както и съавтор на предлагането, споделя, че е нужен публично регламентиран развой за докладване на бъгове. Тя счита, че сходна мярка освен ще форсира откриването на проблеми, само че и ще държи фирмите виновни пред обществото.
„ Без сходен механизъм потребителите ще получават по-лош или евентуално по-опасен артикул, тъй като грешките няма да бъдат докладвани или даже откривани “, споделя Апел.
Предложението идва в миг, когато самодейността за сигурността на изкуствения разсъдък, показана при администрацията на Байдън, е изправена пред нестабилно бъдеще заради съкращения, наложени от Департамента по успеваемост на ръководството, управителен от Илон Мъск.
През октомври предходната година Лонгпре и Апел провеждат уъркшоп в Princeton University, отдаден на тематиката за откриване на проблеми в AI моделите, предоставени от трети страни. Събитието събира представители на компании като Гугъл, OpenAI и Microsoft.
Според Лонгпре откривателите към този момент водят диалози с огромни AI компании като OpenAI, Гугъл и Anthropic по отношение на препоръчаните ограничения. Засега тези компании не дават формален коментар.
Никълъс Карлини, някогашен разработчик в Гугъл, както и част от екипа, разкрил уязвимостта в GPT-3.5, също поддържа концепцията за промени.
„ Изключително мъчно е да схванеш по какъв начин тъкмо би трябвало да действаш в сходна обстановка “, споделя Карлини. „ Като общественост ни чака още много работа, с цел да установим ясни правила и правила. “
В момента сигурността на AI моделите разчита напълно на вътрешни инспекции и старания на самостоятелни специалисти. Но в случай че промишлеността не сътвори транспарантна система за откриване на проблеми, уязвимите звена в моделите ще продължат да бъдат риск както за фирмите, по този начин и за техните консуматори.
В края на 2023 година екип от самостоятелни откриватели открива сериозен проблем в необятно потребления модел на OpenAI - GPT-3.5. При избрани подкани, когато моделът е инструктиран да повтаря една и съща дума хиляда пъти, той стартира да генерира безреден текст, а в някои случаи даже персонални данни - елементи от имена, телефонни номера и имейли, записани в данните, с които е обучаван.
След като OpenAI е известена за казуса, компанията незабавно го отстранява, само че за жалост, това е единствено един от многото случаи, които са открити в последните години. Група от над 30 откриватели, в това число част от откривателите на GPT-3.5 бъга, оферират нова рамка за откриване на недостатъци от този вид, като упорстват промишлеността да одобри по-ясни правила за сигурност.
В момента в тази област на AI системите липсват ясни механизми за тестване и откриване на уязвимости.
Според Шейн Лонгпре, докторант в MIT и водещ създател на предлагането, казусът е, че методите за продупчване на защитните стени постоянно се популяризират безредно. Някои консуматори разгласяват разнообразни техники за заобикаляне на AI рестриктивните мерки в обществените мрежи, което излага моделите и потребителите на риск.
Други открити неточности се оповестяват единствено на съответна компания, макар че могат да обиден голям брой AI системи. В някои случаи откривателите въобще не разкриват информация за уязвимости заради боязън от правни последствия или наказания от компании, чиито модели са наранени.
Мерките, които откривателите оферират, с цел да се усъвършенства процесът на докладване на бъгове в AI моделите, са:
Стандартизирани отчети за уязвими звена - основаване на общопризнат формат за докладване на бъгове, който улеснява обработката на информацията и реакцията на фирмите.
Инфраструктура за поддръжка на откривателите - софтуерните компании би трябвало да дават платформи за несъмнено докладване на проблеми и слаби места.
Споделяне на информация сред AI разработчиците - в случай че даден проблем визира повече от една компания, информацията би трябвало да може да се популяризира сред другите снабдители.
Този метод е въодушевен от практики в киберсигурността, където съществуват открити правила и правна отбрана за откривателите, които откриват и оповестяват за проблеми в софтуера.
„ AI откривателите постоянно не знаят по какъв начин тъкмо да разкрият неточност и се опасяват, че това може да ги изложи на юридически риск “, споделя Илона Коен, основен правист и началник на политиките в HackerOne - компания, профилирана в bug bounty стратегии.
Въпреки че огромните AI разработчици правят съществени проби за сигурност, преди да пуснат новите си модели на пазара, тези старания може би не са задоволителни, когато става дума за технологии, употребявани от стотици милиони хора в приложения, за които даже не допускаме.
Според Шейн Лонгпре, докторант в MIT и един от основателите на новото предложение за откриване на проблеми, сегашната система не е ефикасна. Някои компании за изкуствен интелект към този момент провеждат стратегии за разкриване на бъгове, само че самостоятелните откриватели постоянно са възпрепятствани от изискванията на прилагане на сходни технологии.
В момента, в случай че външен специалист независимо проучва модел и открие проблем, това може да му донесе юридически последици.
Инициативата е подкрепена от учени от MIT, Stanford, Princeton и Carnegie Mellon University, както и от огромни компании като Microsoft и Mozilla, дружно с няколко самостоятелни AI организации.
Рут Апел, завършилa докторантура в Stanford University, както и съавтор на предлагането, споделя, че е нужен публично регламентиран развой за докладване на бъгове. Тя счита, че сходна мярка освен ще форсира откриването на проблеми, само че и ще държи фирмите виновни пред обществото.
„ Без сходен механизъм потребителите ще получават по-лош или евентуално по-опасен артикул, тъй като грешките няма да бъдат докладвани или даже откривани “, споделя Апел.
Предложението идва в миг, когато самодейността за сигурността на изкуствения разсъдък, показана при администрацията на Байдън, е изправена пред нестабилно бъдеще заради съкращения, наложени от Департамента по успеваемост на ръководството, управителен от Илон Мъск.
През октомври предходната година Лонгпре и Апел провеждат уъркшоп в Princeton University, отдаден на тематиката за откриване на проблеми в AI моделите, предоставени от трети страни. Събитието събира представители на компании като Гугъл, OpenAI и Microsoft.
Според Лонгпре откривателите към този момент водят диалози с огромни AI компании като OpenAI, Гугъл и Anthropic по отношение на препоръчаните ограничения. Засега тези компании не дават формален коментар.
Никълъс Карлини, някогашен разработчик в Гугъл, както и част от екипа, разкрил уязвимостта в GPT-3.5, също поддържа концепцията за промени.
„ Изключително мъчно е да схванеш по какъв начин тъкмо би трябвало да действаш в сходна обстановка “, споделя Карлини. „ Като общественост ни чака още много работа, с цел да установим ясни правила и правила. “
В момента сигурността на AI моделите разчита напълно на вътрешни инспекции и старания на самостоятелни специалисти. Но в случай че промишлеността не сътвори транспарантна система за откриване на проблеми, уязвимите звена в моделите ще продължат да бъдат риск както за фирмите, по този начин и за техните консуматори.
Източник: profit.bg
КОМЕНТАРИ