Една съвсем нова технология на Google помага на изкуствения интелект да се учи, без да губи информация
Изследователи от Гугъл показаха нов метод към машинното образование – „ вложено образование “, което разрешава на моделите да усвояват новите задания, без да губят добитите по-рано умения. Този способ е предопределен за превъзмогване на по този начин нареченото „ пагубно забравяне “, когато прибавянето на нови данни води до загуба на по-рано научената информация.
Големите езикови модели, макар бързия прогрес, не престават да се сблъскват с провокациите на непрекъснатото образование. За разлика от човешкия мозък, който е кадърен на невропластичност и резервира старите познания, до момента в който усвоява нови, съществуващите AI модели са лимитирани от контекстуалния входен прозорец за въвеждане на информацията или от статистическата информация от предходно образование.
Опитите просто да се актуализират параметрите на модела с нови данни постоянно водят до „ пагубно забравяне “, при което се губят уменията, добити при предходни задания. Преди това откривателите са се опитвали да се оправят с това посредством промени в архитектурата и усъвършенствани логаритми за образование. Архитектурата на модела и логаритмите за оптимизация (правилата за учене) се разглеждаха като обособени детайли. Това възпрепятстваше основаването на в действителност единна и ефикасна система за образование.
Вложеното образование показва даден AI модел като набор от взаимосвързани оптимизационни проблеми. В този случай архитектурата на модела и неговият логаритъм за образование се показват като разнообразни равнища на еднакъв развой. Всяко от тях има собствен личен контекстуален поток и се актуализира със лична периодичност.
Това е сходно на асоциативната памет: моделът се научава да свързва новите данни с към този момент известни данни, като в същото време резервира старите познания. Ключови съставни елементи, като да вземем за пример механизмът за внимание в трансформърите, оказват помощ да се намерят връзките сред частите информация. В резултат на това моделът се приспособява към новите задания, без да не помни какво към този момент е научил.
За да тестват концепцията, откривателите основават архитектурата Hope. За разлика от своите прародители, които имат единствено две равнища на актуализация на параметрите, Hope употребява неограничени равнища на контекстуално образование. Нейната памет е построена на правилото на системите с непрекъсната памет: не два закрепени блока, „ краткосрочни “ и „ дълготрайни “, а набор от пластове, всеки от които се актуализира със лична скорост. Архитектурата независимо усъвършенства знанията си и се мащабира за по-големи контекстни прозорци.
Експериментите демонстрират, че Hope се оправя с дългите последователности от информация по-точно и устойчиво от съществуващите модели. Тя е в положение да взема решение задания Needle-In-Haystack с друга трудност, при които би трябвало да се откри дребен подробност в огромен размер текст, и превъзхожда най-съвременните архитектури, в това число Titans, Samba и общоприетите трансформъри.
Изследователите считат, че новата техника ще помогне да се приближат опциите на изкуствения разсъдък до гъвкавостта на човешкия мозък и ще послужи за основа на идващото потомство самоусъвършенстващи се модели.
