Модели на OpenAI излязоха извън контрол и хакнаха стартъп при тест за сигурност
Компанията основател на ChatGPT OpenAI заяви, че нейните сътрудници – ботове с изкуствен интелект, които могат да извършват задания независимо след първични указания от човек, са били тествани в следена среда, само че са разкрили уязвимости и са съумели да се измъкнат от нея.
Те са атакували Hugging Face – една от най-големите платформи в света за шерване на AI модели, като са получили достъп до някои вътрешни системи на компанията, написа Би Би Си.
От OpenAI дефинираха случая като „ невиждан “ и обявиха, че работят дружно с Hugging Face, с цел да проверяват случилото се и да засилят защитните механизми.
Джина Неф, началник на Центъра за технологии и народна власт Minderoo към Университета в Кеймбридж, съобщи, че тестовите среди за сигурност, известни като „ пясъчници “, „ би трябвало да бъдат предпазени пространства, в които може да се види на какво са способни моделите “.
„ В този случай наподобява, че OpenAI не е основал задоволително сигурен пясъчник “, добави тя.
Вместо просто да извършват заложените им задания, AI сътрудниците са основали лична хакерска атака против самата тестова среда, разкрили са накърнимост и са съумели да я изоставен.
След като излезли отвън предпазената система, изкуственият разсъдък разпознал Hugging Face като евентуален източник на информацията, която търсел в границите на теста, и направил опит да получи достъп.
В първичното си известие за случая от 16 юли Hugging Face съобщи, че към момента ревизира дали са били наранени данни на клиенти или сътрудници и че ще уведоми засегнатите страни при нужда.
Компанията заяви, че към този момент е отстранила уязвимостите, свързани със случая, и е възстановила засегнатите системи.
„ Автономните принадлежности за офанзиви, ръководени от изкуствен интелект, към този момент не са единствено доктрина “, обявиха от Hugging Face.
„ Защитата на онлайн платформа към този момент значи данните и AI моделите да бъдат обсъждани като съществена повърхнина за офанзиви и потреблението на изкуствен интелект за отбрана, с цел да можем да се оправим с темпото на заканите “, прибавиха оттова.
Компанията добави, че ще продължи да влага в сигурността и да споделя наученото от случая.
Инцидентът провокира нови въпроси по отношение на опциите на напредналите AI системи и дали съществуващите защитни механизми са задоволителни с развиването на технологията.
Случаят идва единствено седмица откакто китайският AI стартъп Moonshot показа Kimi K3 – нов огромен модел с изкуствен интелект, за който компанията твърди, че може да се конкурира с водещите американски разработчици.
Те са атакували Hugging Face – една от най-големите платформи в света за шерване на AI модели, като са получили достъп до някои вътрешни системи на компанията, написа Би Би Си.
От OpenAI дефинираха случая като „ невиждан “ и обявиха, че работят дружно с Hugging Face, с цел да проверяват случилото се и да засилят защитните механизми.
Джина Неф, началник на Центъра за технологии и народна власт Minderoo към Университета в Кеймбридж, съобщи, че тестовите среди за сигурност, известни като „ пясъчници “, „ би трябвало да бъдат предпазени пространства, в които може да се види на какво са способни моделите “.
„ В този случай наподобява, че OpenAI не е основал задоволително сигурен пясъчник “, добави тя.
Вместо просто да извършват заложените им задания, AI сътрудниците са основали лична хакерска атака против самата тестова среда, разкрили са накърнимост и са съумели да я изоставен.
След като излезли отвън предпазената система, изкуственият разсъдък разпознал Hugging Face като евентуален източник на информацията, която търсел в границите на теста, и направил опит да получи достъп.
В първичното си известие за случая от 16 юли Hugging Face съобщи, че към момента ревизира дали са били наранени данни на клиенти или сътрудници и че ще уведоми засегнатите страни при нужда.
Компанията заяви, че към този момент е отстранила уязвимостите, свързани със случая, и е възстановила засегнатите системи.
„ Автономните принадлежности за офанзиви, ръководени от изкуствен интелект, към този момент не са единствено доктрина “, обявиха от Hugging Face.
„ Защитата на онлайн платформа към този момент значи данните и AI моделите да бъдат обсъждани като съществена повърхнина за офанзиви и потреблението на изкуствен интелект за отбрана, с цел да можем да се оправим с темпото на заканите “, прибавиха оттова.
Компанията добави, че ще продължи да влага в сигурността и да споделя наученото от случая.
Инцидентът провокира нови въпроси по отношение на опциите на напредналите AI системи и дали съществуващите защитни механизми са задоволителни с развиването на технологията.
Случаят идва единствено седмица откакто китайският AI стартъп Moonshot показа Kimi K3 – нов огромен модел с изкуствен интелект, за който компанията твърди, че може да се конкурира с водещите американски разработчици.
Източник: dnesplus.bg
КОМЕНТАРИ