Дали мисловната верига на LLM не е само мираж?
Когато интелигентният отговор на ИИ е просто копие от учебника.
Изследователи от Университета на Аризона са провели серия от опити, които слагат под въпрос действителната дарба на актуалните симулирани модели на мисловна верига („ chain-of-thought “, CoT) да вършат логичен заключения отвън познатите шаблони. През последните месеци промишлеността на изкуствения разсъдък интензивно създава такива подходи, предполагайки, че логиката „ малко по малко “ разрешава на изкуствения разсъдък да се оправя по-добре със комплицираните задания. Натрупващите се доказателства обаче сочат, че при най-малкото отклоняване от познатите формати отговорите стават нестабилни и постоянно губят своята семантична и логическа координация.
За да ревизират до каква степен тези модели са способни да вършат систематизирани заключения, учените сътвориха следена среда, наричана DataAlchemy. В нея дребните модели са подготвени върху образци за две примитивни трансформации на текст – ROT-шифър и циклични премествания, а по-късно и върху комбинации от тези функционалности в разнообразни последователности. След образованието те бяха тествани върху задания, които се разграничават по тип, формат и дължина на входните данни от учащия набор. Така да вземем за пример модел, който е виждал единствено образци с две разбърквания, трябваше да обработи задача с две ROT трансформации, знаейки единствено по какъв начин наподобява всяка от тях поотделно.
Резултатите демонстрираха, че когато се пробват да приложат научените модели към непознати комбинации, моделите постоянно дават или верни разсъждения с неверни отговори, или верни резултати с нелогични пояснения на пътя. В същото време даже дребна смяна в дължината на текста или броя на стъпките във веригата води до внезапен спад в точността. Друг сериозен фактор е форматът на входните данни: прибавянето на знаци или букви към задачата, които не са взели участие в образованието, доста утежнява коректността на резултатите.
Учените означават, че е допустимо отчасти усъвършенстване с авансово образование под надзор (SFT), само че това не е доказателство за същинската дарба за обобщаване. Според тях актуалните модели на CoT са най-вече структурирани съпоставения на познатите модели, а не пълноценно нереално мислене. Тяхната податливост към „ гладки глупости “ основава заблуда за надеждност, което е изключително рисково във високорискови области като медицината, финансите и правото. Авторите приканват системите да бъдат тествани върху задания, които са напълно отвън обсега на данните за образование, и да бъдат създадени архитектури, които са способни на по-задълбочени логичен заключения, а освен на симулирано размишление.
