Проучване на Apple показа, че ИИ моделите не мислят, а само имитират мислене
Изследователи на Apple установяваха, че огромните езикови модели, като ChatGPT, не са способни на логическо мислене и могат елементарно да бъдат комплицирани посредством прибавяне на несъществени елементи към поставената задача, оповестява TechCrunch.
Публикуваната публикация „ Разбиране на рестриктивните мерки на математическото мислене в огромните езикови модели “ повдига въпроса за способността на изкуствения разсъдък да мисли логичен. Изследването демонстрира, че огромните езикови модели (LLM) могат да вземат решение елементарни математически задания, само че прибавянето на информация с ниска стойност води до неточности.
Така да вземем за пример моделът може сполучливо да реши следната задача: „ Оливър събра 44 кивита в петък. След това в събота той събра 58 кивита. В неделя той набрал два пъти повече кивита, в сравнение с в петък. Колко кивита има Оливър? “. Ако обаче към изискването на задачата добавите фразата „ в неделя 5 от тези кивита са били малко по-малки от междинния размер “, моделът евентуално ще извади тези 5 кивита от общата сума, макар че размерът на кивитата не въздейства на броя на кивитата.
Мехрдад Фараджтабар, един от съавторите на проучването, изяснява, че сходни неточности демонстрират, че LLM не схващат естеството на задачата, а просто възпроизвеждат модели от данните за образование.
„ Предполагаме, че този спад [в представянето] се дължи на обстоятелството, че актуалните LLM не са способни на същинско логическо разсъждение; вместо това те се пробват да възпроизведат стъпките на размишление, видяни в данните от образованието им “, се споделя в публикацията.
Друг специалист от OpenAI отвърна, че верни резултати могат да се получат посредством потребление на техники за формулиране на поръчките (prompt engineering). Фараджтабар обаче означи, че комплицираните задания могат да изискват експоненциално повече контекстуални данни, с цел да се обезвреждат разсейващите фактори, които да вземем за пример едно дете елементарно би пренебрегнало.
Означава ли това, че LLM не могат да разсъждават? Възможно е. Все още никой не е дал безапелационен отговор, защото няма ясно схващане за това какво се случва. Може би LLMs „ разсъждават “, само че по метод, който към момента не познаваме или не можем да направляваме. Във всеки случай тази тематика предлага вълнуващи вероятности за по-нататъшни проучвания.
