Изследване на MIT разкри фундаменталните ограничения на генеративния AI(снимка: CC0

Изследване на MIT разкри фундаменталните ограничавания на генеративния AI
(снимка: CC0 Public Domain)

Генеративните AI модели пленяват въображението на доста бизнес водачи, обещавайки автоматизация и замествайки милиони работни места. Но учени от Масачузетския софтуерен институт (MIT) предизвестяват, че AI, макар че дава правдоподобни отговори, в действителност не схваща комплицираните системи и е стеснен до прогнози.  При задания от действителния свят, било то разсъждения, навигация, химия или игри, AI е мощно стеснен.

Съвременните огромни езикови модели (LLM), като GPT-4, основават усещане за премислен отговор на комплицирани потребителски запитвания, до момента в който в действителност те единствено тъкмо плануват най-вероятните думи, които да бъдат сложени до предходните в избран подтекст. За да ревизират дали AI моделите в действителност могат да „ схванат ” действителния свят, учени от МIT са създали индикатори, предопределени да тестват обективно тяхната просветеност.

Една от задачите на опита е била да оцени способността на AI да генерира указания малко по малко за навигация по улиците на Ню Йорк. Въпреки че генеративните AI демонстрират известна степен на „ имплицитно ” проучване на законите на света към тях, това не е еквивалент на същинско схващане. За да подобрят точността на оценката, учените са основали формализирани способи, които им разрешават да проучват какъв брой вярно AI възприема и интерпретира действителни обстановки.

Проучването на MIT се концентрира върху трансформърите – тип генеративен AI модел, употребен в известни услуги като GPT-4. Трансформърите се образоват на големи масиви от текстови данни, което им разрешава да реализират висока акуратност при избора на последователности от думи и да основават правдоподобни текстове.

За да проучат в допълнение опциите на такива системи, учените са употребявали клас проблеми, известни като “детерминирани крайни автомати ” – Deterministic Finite Automaton (DFA), които обгръщат области като логичност, географска навигация, химия и даже тактика в игрите. В опита учените избраха две разнообразни задания – шофиране на кола по улиците на Ню Йорк и игра на Отело, с цел да тестват способността на AI да схваща вярно главните правила.

Както отбелязва лекар Кейон Вафа от Харвардския университет, главната цел на опита е била да се тества способността на AI моделите да реконструират вътрешната логичност на комплицирани системи: „ Нуждаехме се от тестови стендове, където знаехме тъкмо по какъв начин наподобява моделът на света. Сега можем да мислим прецизно какво значи да възстановим този модел на света ”.

Резултатите от тестванията демонстрират, че трансформърите са в положение да обезпечат верни направления и да предложат верните ходове в играта „ Отело ”, когато изискванията на дилемите са тъкмо избрани. Въпреки това, при прибавяне на усложняващи фактори като обиколките на Ню Йорк, AI моделите стартират да генерират контраинтуитивни варианти за маршрут, предполагайки случайни надлези, които в действителност не съществуват.

Изследването на MIT демонстрира фундаменталните ограничавания на генеративните AI модели, изключително в тези задания, които изискват умствена еластичност и дарба за адаптиране към изискванията на действителния свят. Въпреки че съществуващите AI модели може да са впечатляващи в способността си да генерират правдоподобни отговори, те остават единствено принадлежности за прогнозиране, а не изцяло интелигентни системи.