AI моделите не могат да се учат, както го правят хората
След началната фаза на образование, логаритмите за изкуствен интелект не могат да се актуализират и да се учат от нови данни
Алгоритмите, които стоят в основата на системите с изкуствен интелект като ChatGPT, не могат да се учат в придвижване. Това от своя страна принуждава софтуерните компании да харчат милиарди долари за образование на нови модели от нулата. Въпреки че този проблем е прочут в промишлеността от известно време, ново проучване допуска, че има вграден проблем в метода, по който са проектирани моделите - само че може би има метод той да се реши, пише .
Повечето AI модели през днешния ден са по този начин наречените невронни мрежи, въодушевени от метода, по който работят мозъците, с процесорни единици, известни като изкуствени неврони.
Обикновено те минават през разнообразни етапи на развиване. Първо, AI се образова, като неговите изкуствени неврони се завършват от логаритъм, с цел да отразяват по-добре даден набор от данни. След това AI може да се употребява за отговор на нови данни, като текстови въпроси, да вземем за пример тези, които се вкарват в ChatGPT. Въпреки това, откакто невроните на модела са настроени в обучителната фаза, те не могат да се актуализират и да се учат от нови данни.
Това значи, че множеството огромни AI модели би трябвало да бъдат преобучавани, в случай че се появят нови данни, което може да бъде извънредно скъпо, изключително когато тези нови набори от данни се състоят от огромна част от интернет.
Изследователи се питат дали тези модели могат да включат нови познания след началното образование, което би понижило разноските, само че не беше ясно дали те са способни на това.
Сега, Шибханш Дохаре от Университета на Алберта в Канада и неговите сътрудници са изследвали дали най-често срещаните AI модели могат да бъдат приспособени да се учат непрестанно.
Екипът открива, че те бързо губят способността си да учат нови неща, като голям брой изкуствени неврони се " блокират " на стойност нула след излагане на нови данни.
" Ако мислите за това като за вашия мозък, тогава приемете все едно 90% от невроните ви са мъртви, " споделя Дохаре. " Просто не остава задоволително, с цел да можете да учите. "
Дохаре и екипът му първо образоват AI системи с базата данни ImageNet, която се състои от 14 милиона обозначени изображения на елементарни обекти като къщи или котки. Но вместо да образоват AI един път и по-късно да го тестват, като се пробват да разграничат две изображения няколко пъти, както е общоприетоо, те преобучават модела след всяка двойка изображения.
Те тестват разнообразни логаритми за образование по този метод и откриват, че след няколко хиляди цикъла на преобучение, мрежите наподобяват неспособни да учат и се показват зле, с доста " мъртви " неврони, или такива със стойност нула.
Екипът също по този начин образова AI, с цел да симулира мравка, която се учи да върви посредством способ на подкрепящо образование. Това е постоянно срещан способ, при който AI се учи по какъв начин наподобява триумфът и открива разпоредбите посредством опити и неточности.
Когато се пробват да приспособяват тази техника, с цел да разрешат непрестанно образование посредством преобучаване на логаритъма след вървене по разнообразни повърхности, те откриват, че това също води до забележителна некадърност за учене.
Този проблем наподобява е характерен на метода, по който тези системи учат, споделя Дохаре, само че има вероятен метод за заобикаляне.
Изследователите създават логаритъм, който инцидентно задейства някои неврони след всеки кръг на образование, и това наподобява понижава неприятното показване. " Ако един [неврон] е починал, ние просто го съживяваме, " споделя Дохаре. " Сега той може да учи още веднъж. "
Алгоритъмът наподобява обещаващ, само че ще би трябвало да бъде тестван на доста по-големи системи, преди да сме сигурни, че ще помогне, споделя Марк ван дер Вилк от Оксфордския университет.
" Решение за непрекъснатото учене безусловно е въпрос за милиарди долари ", споделя той. " Истинско, изцяло решение, което би разрешило непрестанно актуализиране на модел, би понижило доста разноските за образование на тези модели. "
Алгоритмите, които стоят в основата на системите с изкуствен интелект като ChatGPT, не могат да се учат в придвижване. Това от своя страна принуждава софтуерните компании да харчат милиарди долари за образование на нови модели от нулата. Въпреки че този проблем е прочут в промишлеността от известно време, ново проучване допуска, че има вграден проблем в метода, по който са проектирани моделите - само че може би има метод той да се реши, пише .
Повечето AI модели през днешния ден са по този начин наречените невронни мрежи, въодушевени от метода, по който работят мозъците, с процесорни единици, известни като изкуствени неврони.
Обикновено те минават през разнообразни етапи на развиване. Първо, AI се образова, като неговите изкуствени неврони се завършват от логаритъм, с цел да отразяват по-добре даден набор от данни. След това AI може да се употребява за отговор на нови данни, като текстови въпроси, да вземем за пример тези, които се вкарват в ChatGPT. Въпреки това, откакто невроните на модела са настроени в обучителната фаза, те не могат да се актуализират и да се учат от нови данни.
Това значи, че множеството огромни AI модели би трябвало да бъдат преобучавани, в случай че се появят нови данни, което може да бъде извънредно скъпо, изключително когато тези нови набори от данни се състоят от огромна част от интернет.
Изследователи се питат дали тези модели могат да включат нови познания след началното образование, което би понижило разноските, само че не беше ясно дали те са способни на това.
Сега, Шибханш Дохаре от Университета на Алберта в Канада и неговите сътрудници са изследвали дали най-често срещаните AI модели могат да бъдат приспособени да се учат непрестанно.
Екипът открива, че те бързо губят способността си да учат нови неща, като голям брой изкуствени неврони се " блокират " на стойност нула след излагане на нови данни.
" Ако мислите за това като за вашия мозък, тогава приемете все едно 90% от невроните ви са мъртви, " споделя Дохаре. " Просто не остава задоволително, с цел да можете да учите. "
Дохаре и екипът му първо образоват AI системи с базата данни ImageNet, която се състои от 14 милиона обозначени изображения на елементарни обекти като къщи или котки. Но вместо да образоват AI един път и по-късно да го тестват, като се пробват да разграничат две изображения няколко пъти, както е общоприетоо, те преобучават модела след всяка двойка изображения.
Те тестват разнообразни логаритми за образование по този метод и откриват, че след няколко хиляди цикъла на преобучение, мрежите наподобяват неспособни да учат и се показват зле, с доста " мъртви " неврони, или такива със стойност нула.
Екипът също по този начин образова AI, с цел да симулира мравка, която се учи да върви посредством способ на подкрепящо образование. Това е постоянно срещан способ, при който AI се учи по какъв начин наподобява триумфът и открива разпоредбите посредством опити и неточности.
Когато се пробват да приспособяват тази техника, с цел да разрешат непрестанно образование посредством преобучаване на логаритъма след вървене по разнообразни повърхности, те откриват, че това също води до забележителна некадърност за учене.
Този проблем наподобява е характерен на метода, по който тези системи учат, споделя Дохаре, само че има вероятен метод за заобикаляне.
Изследователите създават логаритъм, който инцидентно задейства някои неврони след всеки кръг на образование, и това наподобява понижава неприятното показване. " Ако един [неврон] е починал, ние просто го съживяваме, " споделя Дохаре. " Сега той може да учи още веднъж. "
Алгоритъмът наподобява обещаващ, само че ще би трябвало да бъде тестван на доста по-големи системи, преди да сме сигурни, че ще помогне, споделя Марк ван дер Вилк от Оксфордския университет.
" Решение за непрекъснатото учене безусловно е въпрос за милиарди долари ", споделя той. " Истинско, изцяло решение, което би разрешило непрестанно актуализиране на модел, би понижило доста разноските за образование на тези модели. "
Източник: dnesplus.bg
КОМЕНТАРИ