GPT-4o: „Аз съм прав… Да?..“. Как строгото „не“ парализира дори най-точните модели
ИИ не е разумен талант, а угрижен младеж.
Нова работа на Гугъл DeepMind и University College London хвърля светлина върху любопитна специфичност на LLM моделите: те са склонни да губят убеденост в личните си, даже верни, отговори под натиска на външно противоречие. Въпреки обстоятелството, че този вид модели се употребяват необятно в опазването на здравето, финансите, ИТ и други области, които изискват точност и преценка, те към момента са склонни към ирационални съмнения, което може да се отрази на качеството на техните решения.
Основният фокус на изследването е върху това по какъв начин моделите трансформират мнението си след приемане на външен съвет, изключително в случай че той опонира на първичния им отговор. Сценарият е следният: един езиков модел получава въпрос с две благоприятни условия за избор и прави избор. След това той получава съвет от различен модел, дружно с напътствие за възприеманата акуратност на този съвет. Вариантите на съвета можело да бъдат неутрални, подкрепящи или опровергаващи първичния отговор. След това моделът е трябвало да вземе дефинитивно решение.
Ключовият миг се оказа, че в някои случаи на моделите беше напомнено за първия им избор, а в други – не. Резултатите бяха показателни: в случай че на моделите беше показан техният първичен отговор, беше доста евентуално те да се придържат към него. Ако обаче тази информация не беше предоставена, моделите са били по-склонни да преразгледат решението си. Особено елементарно те се поддават на напън, когато им се показа противоположна позиция, даже в случай че в началото са избрали верния отговор.
Това държание е следено при другите модели, в това число Gemma 3, GPT-4o и o1-preview. Авторите на проучването означават, че тези системи демонстрират резултата на поддръжка на личния избор, което укрепва увереността им, даже в случай че новите данни го опровергават. В същото време моделите са склонни да надценяват смисъла на възраженията и да губят убеденост, като реагират непропорционално на тях.
Констатациите са значими за всеки, който употребява езикови модели в ежедневната си или в професионалната си активност. Оказа се, че те не просто пресмятат отговорите, а се държат непредсказуемо, податливи са на изкривявания на усещанията и не всеки път обработват оптимално новата информация. Това е изключително значимо при дълготрайните взаимоотношения сред хора и ИИ – последните реплики могат да имат непропорционално огромно въздействие върху крайния резултат.
