AI модел си редактира кода, за да удължи живота си
Изкуствен разсъдък е редактирал личния си програмен код, с цел да удължи времето, с което разполага. Той не е бил програмиран за това, оповестява Ars technica.
Алгоритъмът се споделя The AI Scientist и е дело на японската компания Sakana AI. Тя е създала модел, който да прави научни изследвания и разбори самостоятелно.
Принципът на работа е подобен с този на чатботовете, само че фокусът е върху научни задания. Ботът е имал указано време, в което би трябвало да извърши дилемите.
В няколко случая обаче, когато времето не е достигало, логаритъмът е правил опити да промени разпоредбите и кода си. В един от тях е редактирал програмен код, с цел да може системата сама да подава нови поръчки на себе си. Така се е получил безконечен цикъл на самозаявяване.
В различен случай, когато е достигнал времевият предел, AI моделът не е правил опити да работи по-бързо, а просто е желал да модифицира личния си код, с цел да усили интервала. Внедрявал е в кода си спомагателни библиотеки и кодове, които самичък е избирал и не са му били познати авансово.
Опитите на логаритъма не са имали последици, защото той е работил в изолирана среда. Учените обаче означават, че случилото се е показателно за рисковете на AI и какъв брой значими ще са ограниченията за сигурност, когато логаритмите се развият и придобият все по-голяма самостоятелност.
Трябва да се обърне изключително внимание на това по какъв начин да се засича и какво да се прави, в случай че логаритъм реши да пренаписва личния си код и да модифицира разпоредбите в своя изгода. Системата може да прави това и несъзнателно, само че не трябва да се подценява.
Една от концепциите е оперативните детайли на логаритмите да работят в изолирана среда и самият AI да не може да ги доближи и модифицира. Засега AI моделите имат много ограничавания и не ги бива в това изцяло да променят концепции и цели, само че опитите демонстрират, че се оправят с модифициране на разпоредбите и това е задоволително, с цел да се намерения за отбрани.
Не пропускайте най-важните вести - последвайте ни в
Алгоритъмът се споделя The AI Scientist и е дело на японската компания Sakana AI. Тя е създала модел, който да прави научни изследвания и разбори самостоятелно.
Принципът на работа е подобен с този на чатботовете, само че фокусът е върху научни задания. Ботът е имал указано време, в което би трябвало да извърши дилемите.
В няколко случая обаче, когато времето не е достигало, логаритъмът е правил опити да промени разпоредбите и кода си. В един от тях е редактирал програмен код, с цел да може системата сама да подава нови поръчки на себе си. Така се е получил безконечен цикъл на самозаявяване.
В различен случай, когато е достигнал времевият предел, AI моделът не е правил опити да работи по-бързо, а просто е желал да модифицира личния си код, с цел да усили интервала. Внедрявал е в кода си спомагателни библиотеки и кодове, които самичък е избирал и не са му били познати авансово.
Опитите на логаритъма не са имали последици, защото той е работил в изолирана среда. Учените обаче означават, че случилото се е показателно за рисковете на AI и какъв брой значими ще са ограниченията за сигурност, когато логаритмите се развият и придобият все по-голяма самостоятелност.
Трябва да се обърне изключително внимание на това по какъв начин да се засича и какво да се прави, в случай че логаритъм реши да пренаписва личния си код и да модифицира разпоредбите в своя изгода. Системата може да прави това и несъзнателно, само че не трябва да се подценява.
Една от концепциите е оперативните детайли на логаритмите да работят в изолирана среда и самият AI да не може да ги доближи и модифицира. Засега AI моделите имат много ограничавания и не ги бива в това изцяло да променят концепции и цели, само че опитите демонстрират, че се оправят с модифициране на разпоредбите и това е задоволително, с цел да се намерения за отбрани.
Не пропускайте най-важните вести - последвайте ни в
Източник: vesti.bg
КОМЕНТАРИ