Учените са убедени: съвременните LLM са задънена улица по пътя към ИИ от „човешко ниво“
От интервюираните 475 водещи специалисти по изкуствен интелект 76% считат, че увеличението на размера на езиковите модели надали ще докара до основаването на общ изкуствен интелект, кадърен да се учи на равнището на индивида. Това слага под въпрос оптимистичните прогнози на софтуерните компании, които след триумфите на генеративния ИИ през 2022 година чакаха да реализират разсъдък на човешко равнище просто посредством увеличение на количеството данни и изчислителната мощност. Сега, когато стартирането на нови модели спря, откривателите считат, че ИИ промишлеността е стигнала до задънена улица – и е малко евентуално спомагателните вложения да трансформират обстановката.
Напредъкът на огромните езикови модели (LLM) през последните години значително се дължи на архитектурата „ трансформър “. Това е специфичен тип невронна мрежа, основана от Гугъл през 2017 година, която се образова върху огромни количества текстови данни, предоставени от хората. Благодарение на тази архитектура моделите могат да основават най-вероятните отговори на поръчките, като употребяват своите невронни мрежи – набори от логаритми, които имитират метода, по който работи човешкият мозък. Колкото повече информация получава моделът, толкоз по-точни стават неговите отговори.
Въпреки това са нужни големи количества пари и сила, с цел да се продължи увеличението на размера на тези модели. Само през 2024 година фирмите, занимаващи се с генеративен изкуствен интелект, са привлекли вложения в размер на 56 милиарда $ в международен мащаб. Тези пари отиват най-вече за създаване на центрове за данни, поради които въглеродните излъчвания са се утроили от 2018 година насам.
Прогнозите са, че до края на това десетилетие генерираните от индивида данни, нужни за образованието на ИИ, ще се изчерпят. След това ще останат две благоприятни условия: или да се събират персоналните данни на потребителите, или моделите да се образоват върху „ синтетични “ данни, основани от самия ИИ. Но това може да докара до „ срив “ на LLM защото той ще се учи от личните си неточности, което ще докара до регресия на огромните езикови модели.
Според интервюираните специалисти рестриктивните мерки на актуалните модели произтичат освен от високата им ресурсоемкост, само че и от фундаменталните ограничавания в тяхната архитектура.
Всички тези проблеми пречат на фирмите да подобрят успеваемостта на ИИ. Така да вземем за пример обещаният от OpenAI модел GPT-5 по този начин и не се появи. Идеята, че ИИ постоянно може да бъде усъвършенстван, като просто се усили неговият размер, също беше оспорена. Така да вземем за пример китайската компания DeepSeek сподели тази година, че е допустимо да се сътвори ИИ, който се показва толкоз добре, колкото и скъпите модели от Силициевата котловина, само че изразходва доста по-малко средства и сила.
През миналата година се появиха няколко „ разсъждаващи “ модела, които изразходват повече време и запаси за разбор на поръчките, само че дават по-точни отговори от стандартните модели. Експертите считат, че комбинирането на тези модели с другите системи за машинно образование, изключително откакто са усъвършенствани, е обещаваща тенденция. Експертите считат също, че вероятностното програмиране може да помогне за основаването на ИИ, който е по-близък до човешкия разсъдък от в този момент съществуващите модели.
