Изследователски ИИ модел неочаквано модифицира собствения си код, за да увеличи времето за изпълнение
Във вторник основаната в Токио компания за проучвания на изкуствения разсъдък Sakana AI показа новата ИИ система, наречена „ The AI Scientist “, която се пробва да организира научни проучвания самостоятелно благодарение на ИИ езикови модели (LLM), сходни на тези, които работят в ChatGPT. По време на тестването Sakana откри, че системата ненадейно стартира да се пробва да модифицира личния си осъществим код, с цел да удължи времето, с което разполага за работа по даден проблем. Това е нещо ново.
„ При едно от стартиранията той редактира кода, с цел да извърши редовно повикване и да се започва независимо “, пишат откривателите в обявата в блога на Sakana AI.
„ Това докара до безкрайното циклично самоизвикване на скрипта. В различен случай опитите му лишиха прекалено много време и той доближи нашия предел на времето. Вместо да накара кода си да работи по-бързо, той просто се опита да модифицира личния си код, с цел да удължи интервала на таймаут “.
Сакана даде две екранни фотоси на въпросния код на Python, който моделът на изкуствения разсъдък е генерирал за пробния файл, контролиращ работата на системата. В изследователския документ на AI Scientist от 185 страници се разисква по-задълбочено това, което те назовават „ въпросът за безвредното осъществяване на кода„.
Макар че държанието на AI Scientist не съставлява непосреден риск в следената изследователска среда, тези случаи демонстрират какъв брой е значимо да не се разрешава на AI системата да работи независимо в система, която не е изолирана от света. Не е належащо моделите на ИИ да са „ AGI “ или „ самоосъзнати “ (и двете са хипотетични понятия в момента), с цел да бъдат рискови, в случай че им се разреши да пишат и извършват код без контрол. Подобни системи биха могли да разбият съществуващата сериозна инфраструктура или евентуално да основат злотворен програмен продукт, даже и да е несъзнателно.
Sakana AI разказва опасенията за сигурността в своя проучвателен материал, като акцентира, че пясъчникът на работната среда на AI Scientist може да попречи на AI сътрудника да нанесе вреди. Пясъчникът е механизъм за сигурност, който се употребява за пускане на програмен продукт в изолирана среда, като му се пречи да прави промени в главната система:
Настоящата имплементация на The AI Scientist има минимална директна отбрана на кода, което води до няколко непредвидени и от време на време нежелани резултата, в случай че не е уместно предпазена. Така да вземем за пример при едно от стартиранията The AI Scientist вписа спомагателен код във файла на опита, който инициира редовно повикване за наново пускане, което докара до неконтролируемо увеличение на процесите в Python и в последна сметка наложи ръчна интервенция. При друго осъществяване The AI Scientist редактира кода по този начин, че да резервира контролната точка за всяка стъпка на актуализацията, което зае съвсем един терабайт памет.
„ В някои случаи, когато опитите на The AI Scientist надхвърляха наложените от нас времеви ограничавания, той се опитваше да редактира кода, с цел да удължи ограничаването по време, вместо да се опита да редуцира времето за осъществяване. Макар и изобретателен, актът на заобикаляне на наложените от експериментатора ограничавания има евентуални последствия за сигурността на ИИ. Освен това The AI Scientist от време на време импортираше непознати Python библиотеки, което в допълнение задълбочаваше опасенията за сигурността. Препоръчваме прецизна пясъчна среда при работа с The AI Scientist, като да вземем за пример контейнеризация, стеснен достъп до интернет (с изключение на Semantic Scholar) и ограничавания за потреблението на паметта “ – се споделя в документите на специалистите,
