Изкуственият интелект все повече мисли като хората – това е опасно
Група водещи откриватели от DeepMind, OpenAI, Meta, Anthropic и няколко университетски и нестопански организации разгласиха взаимен отчет с обезпокоително обръщение: способността да се следи по какъв начин AI взема решения може скоро да изчезне.
Докладът е подписан от носителя на премията Тюринг - Джефри Хинтън и съоснователя на OpenAI - Иля Суцкевер, наред с други известни фигури от софтуерната промишленост, излиза наяве от обявата в ArXiv.
Фокусът на посланието е върху така наречен " вериги на мисълта " или " вериги на разсъждението " (CoT), които се употребяват в актуалните езикови и мултимодални модели. Това са междинни стъпки, през които AI „ беседва " вътрешно, преди да даде отговор. CoT са изключително значими при решаването на комплицирани проблеми, които изискват логичност, обмисляне или работа с цифри.
Докато изкуственият разсъдък остава „ транспарантен " и разрешава на индивида да следва неговия ход на мисълта, хората ще могат да откриват неточности, пристрастия или евентуално рисково държание.
Авторите на публикацията обаче предизвестяват, че с повишаване на опциите на AI и усложняването на архитектурите, способността за наблюдаване на такива вериги може да отслабне. Моделите може да стартират да „ крият " вътрешните си стъпки, оптимизирайки държанието си за сходство с външни индикатори.
Подобно държание към този момент е следено в някои случаи, когато изкуственият разсъдък е „ мамил " системата за заплащане или е манипулирал, с цел да реализира дадена цел. Ето за какво учените приканват за незабавно обезпечаване на наблюдението на веригите на разсъждения като една от основните ограничения за сигурност.
Групата предлага на разработчиците на AI да проучат какви свойства на моделите вършат разсъжденията им забележими за хората, по какъв начин да поддържат тази бистрота при образование на по-мощни системи и по какъв начин наблюдението на CoT може да бъде интегрирано в процесите на тестване и узаконяване.
Забележително е, че публикацията на групата откриватели се трансформира в необичаен образец за съдействие сред конкуриращи се колоси в промишлеността на изкуствения разсъдък.
Докладът е подписан от носителя на премията Тюринг - Джефри Хинтън и съоснователя на OpenAI - Иля Суцкевер, наред с други известни фигури от софтуерната промишленост, излиза наяве от обявата в ArXiv.
Фокусът на посланието е върху така наречен " вериги на мисълта " или " вериги на разсъждението " (CoT), които се употребяват в актуалните езикови и мултимодални модели. Това са междинни стъпки, през които AI „ беседва " вътрешно, преди да даде отговор. CoT са изключително значими при решаването на комплицирани проблеми, които изискват логичност, обмисляне или работа с цифри.
Докато изкуственият разсъдък остава „ транспарантен " и разрешава на индивида да следва неговия ход на мисълта, хората ще могат да откриват неточности, пристрастия или евентуално рисково държание.
Авторите на публикацията обаче предизвестяват, че с повишаване на опциите на AI и усложняването на архитектурите, способността за наблюдаване на такива вериги може да отслабне. Моделите може да стартират да „ крият " вътрешните си стъпки, оптимизирайки държанието си за сходство с външни индикатори.
Подобно държание към този момент е следено в някои случаи, когато изкуственият разсъдък е „ мамил " системата за заплащане или е манипулирал, с цел да реализира дадена цел. Ето за какво учените приканват за незабавно обезпечаване на наблюдението на веригите на разсъждения като една от основните ограничения за сигурност.
Групата предлага на разработчиците на AI да проучат какви свойства на моделите вършат разсъжденията им забележими за хората, по какъв начин да поддържат тази бистрота при образование на по-мощни системи и по какъв начин наблюдението на CoT може да бъде интегрирано в процесите на тестване и узаконяване.
Забележително е, че публикацията на групата откриватели се трансформира в необичаен образец за съдействие сред конкуриращи се колоси в промишлеността на изкуствения разсъдък.
Източник: cross.bg
КОМЕНТАРИ