Най-популярният чатбот се провали на тест за ученици
Въпреки че изкуственият разсъдък към този момент може да победи хората на шах, да рисува картини и да написа кодове, простите детски логичен пъзели остават непреодолима стена за него. Новият тест ARC-AG2 още веднъж потвърди, че аналитичното мислене е ахилесовата пета на невронните мрежи.
Какво е ARC-AG2?
Това не е елементарен IQ-тест. ARC-AG2 (Abstraction and Reasoning Corpus) е набор от образни задания, където би трябвало да намерите логичен модел сред цветните блокове и да изберете вярното продължение. Задачите наподобяват елементарни, само че изискват абстракция, резюме и креативно мислене. Тоест тъкмо това, което човек се учи да прави от ранна възраст, само че невронните мрежи не.
Дори и най-мощните модели не съумяха да покажат порядъчен резултат:
Deepseek R1 — 1,3% правилни отговори Гугъл Gemini и Claude 3.7 Sonnet — към 1% GPT-4.5 от OpenAI — единствено 0,8%За съпоставяне: човек, даже без особено образование, взема решение тези проблеми неведнъж по-добре. Това слага под въпрос способността на актуалните модели в действителност да „ схващат “, а не просто да обработват информация.
Този неуспех демонстрира, че AI не може да се учи в придвижване. Ако в подготвителната му база няма данни, той е безпомощен. Тестът е основан по подобен метод, че е невероятно да се „ наизустят “ отговорите. И тук целият „ разсъдък “ на моделите рухва.
Предишният тест ARC-AG1 също дълго време остана „ неразгадаем “ за невронните мрежи. Ако ARC-AG2 повтори ориста си, това може да забави развиването на AGI — неестествен общ разсъдък, кадърен да мисли като човек. Засега AI е мощен инструмент, само че не и мислещо създание.
И до момента в който невронните мрежи не съумяват да решат проблемите на учениците, разработчиците са оставени да намерят отговор на главния въпрос: по какъв начин да научат една машина в действителност да мисли?
