Тестът за изкуствен общ интелект е близо до решаване
Добре прочут тест за неестествен общ разсъдък (AGI) наподобява, че е покрай решение. Въпреки това, основателите на теста настояват, че това акцентира минусите в дизайна му, вместо да демонстрира същински пробив в проучванията.
През 2019 година Франсоа Шоле, водещ специалист в региона на изкуствения разсъдък, показа ARC-AGI (Abstract and Reasoning Corpus for Artificial General Intelligence). Тестът е основан да прави оценка дали една AI система може дейно да усвоява нови умения отвън данните, на които е подготвена. Шоле твърди, че ARC-AGI остава единственият тест, който мери напредъка към общ разсъдък, макар че съществуват и други оферти.
До тази година най-хубавите AI модели успяваха да решат едвам към една трета от дилемите в ARC-AGI. Шоле упрекна в това фокуса на промишлеността върху огромни езикови модели (LLMs), които съгласно него не са способни на същинско " размишление ".
" LLMs имат компликации с обобщаването, тъй като напълно разчитат на запаметяване, " съобщи Шоле в серия от изявления в X през февруари. " Те се провалят, когато се сблъскат с нещо, което не е било в обучителните им данни. "
Проблемът с LLM и " назубрянето "
Шоле акцентира, че LLM са статистически машини. Обучени върху голям брой образци, те се научават да разпознават модели и да вършат прогнози — да вземем за пример, по какъв начин в имейл изразът " To whom " постоянно се свързва с " it may concern. "
Въпреки че могат да запомнят " модели на размишление ", те не могат да основават " нови разсъждения " в непознати обстановки. " Ако би трябвало да се обучите на доста образци за даден модел, с цел да създадете използваемо показване, това е просто запаметяване или назубряне, " отбелязва Шоле.
Конкурс за опция на LLM
През юни Шоле и съоснователят на Zapier Майк Нуп оповестиха конкурс с награден фонд от $1 милион за разработка на AI, който да победи ARC-AGI.
От 17,789 подадени оферти най-хубавото решение реализира 55.5% успеваемост — към 20% повече от най-хубавия резултат за 2023 година, само че надалеч от прага от 85%, който се счита за " човешко равнище " и е необходим за победа.
Според Нуп това не значи, че сме с 20% по-близо до AGI.
В блог обява той съобщи, че доста от подадените решения са съумели да " пробият " дилемите посредством brute force, което допуска, че " огромна част " от дилемите в ARC-AGI " нямат задоволително потребни сигнали за общ разсъдък. "
Проблеми и рецензия към ARC-AGI
ARC-AGI включва задания вид пъзел, при които AI би трябвало да генерира вярна " решетъчна " конструкция от разноцветни квадрати. Задачите са проектирани по този начин, че да принудят AI да се приспособява към нови проблеми, които не е виждал до момента. Въпреки това, не е ясно дали пробата в действителност реализира тази цел.
" [ARC-AGI] не е променян от 2019 година и не е съвършен, " признава Нуп.
Шоле и Нуп са обект на рецензии, че надценяват смисъла на ARC-AGI като пример за постигане до AGI.
В същото време самата формулировка на AGI е към момента противоречива. Един чиновник на OpenAI неотдавна съобщи, че AGI " към този момент " е реализиран, в случай че го дефинираме като AI " по-добър от множеството хора в множеството задания. "
Поглед към бъдещето
Шоле и Нуп възнамеряват да пуснат второ потомство на ARC-AGI през 2025 година, дружно с нов конкурс. " Ще продължим да насочваме напъните на изследователската общественост към най-важните нерешени проблеми в AI и ще ускорим пътя към AGI, " написа Шоле в обява в X.
Поправките обаче няма да са лесни. Ако минусите на първия тест са показателни, дефинирането на понятието разсъдък за AI ще бъде толкоз мъчно и поляризиращо, колкото и при човешкия разсъдък.
През 2019 година Франсоа Шоле, водещ специалист в региона на изкуствения разсъдък, показа ARC-AGI (Abstract and Reasoning Corpus for Artificial General Intelligence). Тестът е основан да прави оценка дали една AI система може дейно да усвоява нови умения отвън данните, на които е подготвена. Шоле твърди, че ARC-AGI остава единственият тест, който мери напредъка към общ разсъдък, макар че съществуват и други оферти.
До тази година най-хубавите AI модели успяваха да решат едвам към една трета от дилемите в ARC-AGI. Шоле упрекна в това фокуса на промишлеността върху огромни езикови модели (LLMs), които съгласно него не са способни на същинско " размишление ".
" LLMs имат компликации с обобщаването, тъй като напълно разчитат на запаметяване, " съобщи Шоле в серия от изявления в X през февруари. " Те се провалят, когато се сблъскат с нещо, което не е било в обучителните им данни. "
Проблемът с LLM и " назубрянето "
Шоле акцентира, че LLM са статистически машини. Обучени върху голям брой образци, те се научават да разпознават модели и да вършат прогнози — да вземем за пример, по какъв начин в имейл изразът " To whom " постоянно се свързва с " it may concern. "
Въпреки че могат да запомнят " модели на размишление ", те не могат да основават " нови разсъждения " в непознати обстановки. " Ако би трябвало да се обучите на доста образци за даден модел, с цел да създадете използваемо показване, това е просто запаметяване или назубряне, " отбелязва Шоле.
Конкурс за опция на LLM
През юни Шоле и съоснователят на Zapier Майк Нуп оповестиха конкурс с награден фонд от $1 милион за разработка на AI, който да победи ARC-AGI.
От 17,789 подадени оферти най-хубавото решение реализира 55.5% успеваемост — към 20% повече от най-хубавия резултат за 2023 година, само че надалеч от прага от 85%, който се счита за " човешко равнище " и е необходим за победа.
Според Нуп това не значи, че сме с 20% по-близо до AGI.
В блог обява той съобщи, че доста от подадените решения са съумели да " пробият " дилемите посредством brute force, което допуска, че " огромна част " от дилемите в ARC-AGI " нямат задоволително потребни сигнали за общ разсъдък. "
Проблеми и рецензия към ARC-AGI
ARC-AGI включва задания вид пъзел, при които AI би трябвало да генерира вярна " решетъчна " конструкция от разноцветни квадрати. Задачите са проектирани по този начин, че да принудят AI да се приспособява към нови проблеми, които не е виждал до момента. Въпреки това, не е ясно дали пробата в действителност реализира тази цел.
" [ARC-AGI] не е променян от 2019 година и не е съвършен, " признава Нуп.
Шоле и Нуп са обект на рецензии, че надценяват смисъла на ARC-AGI като пример за постигане до AGI.
В същото време самата формулировка на AGI е към момента противоречива. Един чиновник на OpenAI неотдавна съобщи, че AGI " към този момент " е реализиран, в случай че го дефинираме като AI " по-добър от множеството хора в множеството задания. "
Поглед към бъдещето
Шоле и Нуп възнамеряват да пуснат второ потомство на ARC-AGI през 2025 година, дружно с нов конкурс. " Ще продължим да насочваме напъните на изследователската общественост към най-важните нерешени проблеми в AI и ще ускорим пътя към AGI, " написа Шоле в обява в X.
Поправките обаче няма да са лесни. Ако минусите на първия тест са показателни, дефинирането на понятието разсъдък за AI ще бъде толкоз мъчно и поляризиращо, колкото и при човешкия разсъдък.
Източник: dnesplus.bg
КОМЕНТАРИ