GPT-3.5 и GPT-4 на OpenAI не успяват да се справят

GPT-3.5 и GPT-4 на OpenAI не съумяват да се оправят с все по-големите равнища на тази базова компютърна задача. А това демонстрира за позволен фундаментален пропуск в техния план.

Известните кукли „ матрьошка “, при които във всяка кукла е вложена друга кукла, и още една, и още една, са типичен образец за правилото на рекурсията, при който нещото съдържа самото себе си. Хората незабавно разпознават такива образци за рекурсия, само че генеративният изкуствен интелект не има никакво разбиране за нея.

Едно от най-изтънчените понятия, които хората схващат изцяло интуитивно, е понятието за рекурсия. В този случай обещано нещо е самобитно повтаряне на самото себе си, разпростряло се до безконечност. Всеки „ филм във кино лентата “ може да бъде образец за рекурсия. Известните съветски кукли Матрьошка, при които всяка дървена кукла се отваря, с цел да разкрие същата по-малка кукла, са обаятелен образец за рекурсия.

Снимката на самия себе си, на която държите фотография на самия себе си. И по този начин до безспир, е класическа рекурсивна образна фикция, която провокира удивление измежду всички.

Но съгласно учени от Университета на Илинойс в Урбана-Шампейн стратегиите в региона на изкуствения разсъдък, в това число генеративните стратегии за изкуствен интелект като ChatGPT, не могат да се оправят с рекурсията. Поне не и стабилно. Невъзможността за справяне с рекурсията затруднява осъществяването на дилемите от изкуствения разсъдък. По-конкретно, ИИ се проваля при дилемите за програмиране, при които някаква част от кода повтаря по-малка, атомарна версия на същия код.

„ Така да вземем за пример моделите, подготвени за решение на задания по програмиране, могат неправилно да схванат стратегиите с вложени блокове или да генерират небалансирани скоби “, съгласно водещия създател Шиджуо Дилън Джан от Университета на Илинойс и сътрудниците му.

Те са описали това събитие в публикацията „ Transformer-Based Models Are Not Yet Perfect At Learning to Emulate Structural Recursion “. Тя е оповестена в arXiv.

За да проучат по какъв начин по този начин генеративният ИИ се затруднява от рекурсията, създателите създават банален тест за огромни езикови модели (LLM). Може ли един LLM да сътвори изложение на модела на рекурсия в кода, като да вземем за пример рекурсивното събиране на цифри?

Жанг и екипът избират класическа задача за програмиране, наричана обхождане на дърво. Определен вид данни в изчислителната техника се назовава дървовиден вид, в случай че има разклоняващи се сектори, които водят до по-нататъшни разклонения. Тоест, това е тип дърво, което съдържа още дървета. Да се „ обходи “ това дърво значи да се ревизира всяка част от дървото в тъкмо избран ред.

В езиковия модел – в този случай GPT-3.5 „ Turbo “ и GPT-4 (най-мощните модели на OpenAI) – те вкарват подкана, която съдържа формулировката на казуса. Това е образец за обхождане на дърво и директива за осъществяване на самото обхождане на дървото. Резултатът от GPT би трябвало да бъде решението на обхождането на дърво. Както и пояснение на правилото, употребявано за осъществяване на това обхождане.

Те откриват, че ИИ стратегиите стартират да се провалят при решаването на обхождането. Това се случва, когато дървото става по-голямо, или казано на компютърен език – има по-голяма дълбочина.

„ Производителността на огромните езикови модели демонстрира забележителен спад с увеличение на дълбочината на дървото, което корелира с повишаването на сложността и броя на нужните стъпки за редукция “, пишат те.

Качественият разбор, съгласно тях, разкрива, че езиковите модели не могат да извършат вярната „ редукция “. Тоест да заменят някой детайл в дървото с рекурсивния детайл, който то съдържа, с цел да продължат сполучливо обхождането.

„ Този вид неточност акцентира провокациите, с които се сблъскват LLM при поддържането на алгоритмичната поредност върху разширени секвенции, изключително когато задачата изисква спазването на прецизен ред на интервенциите “, пишат те.

Не единствено че LLM не съумяват да решат вярно някои обходи, само че ИИ стратегиите не съумяват да обяснят, при даден образец в подсказката, какво е правилото, което може да се употребява за сполучливия обход.

„ LLM се борят да намерят правилните правила от образците в подтекста “, пишат Джан и екипът. „ И се провалят по много забавни способи, когато правят поетапно съкращаване в подтекста “.

Какво значи това? Че ИИ стратегиите не могат да се оправят с рекурсията?

От една страна, неналичието на дарба да се работи с рекурсия приказва за липса на логичност, пишат Жанг и неговия екип.

„ Извършването на всяка стъпка на съкращаване при обхождане на дървото изисква по-сложни логичен разсъждения “. Но това просто не е заложено в стратегиите.

Въпреки това, даже хора, които нямат доста положителни знания по официална логичност, могат незабавно да оценят типа рекурсия, която се появява в вида „ филм във кино лентата “, „ огледало против огледало “ и други образци.

Авторите на този теоретичен труд оферират на едно доста по-опростено равнище да се премисли дизайнът на GPT от техните основатели.

„ Предполагаме, че главната причина за неуспехите е, че моделът не е усъвършенстван да показва задоволително добре рекурсивните модели “, пишат те. „ Нашите опити за учене в подтекст разкриха неналичието на кâквато и да е дарба на LLM да „ мисли рекурсивно “. Тъй като той е податлив да извлича нерекурсивни правила от данните.

„ Също по този начин на моделите им липсва акуратност при осъществяване на поетапно съкращаване, при което те могат да се изгубят някъде по средата. Или да не съумеят да приложат изискването за спиране на рекурсията “.

В изследването не са включени всички способи, по които неспособността да се оправя с рекурсията може да попречи на работата на генêративния AI с разнообразни задания. От писане на есета до компютърно програмиране. Вярно е, че, както означават Джан и екипът, стратегиите могат да компенсират това до известна степен с дребни трикове, които те бързо усвояват.

И въпреки всичко рекурсията е толкоз фундаментално събитие, че в даден миг неналичието ѝ сигурно ще има последици в областта на изкуствения разсъдък.