Учени от Масачузетския технологичен институт (MIT) са решили елегантно един

Учени от Масачузетския софтуерен институт (MIT) са решили елегантно един от главните проблеми на изкуствения разсъдък: рестриктивните мерки на контекстния прозорец. LLM нормално работи със стотици или хиляди токени, което му пречи да обработва пълноценно многотомни архиви. Новият рекурсивен модел преодолява този минус, като употребява контекстно-базирана навигационна система вместо памет.

Новият метод е осъществен в архитектурата “рекурсивен езиков модел “ (Recursive Language Model (RLM). Традиционните огромни езикови модели резервират цялата съответстваща информация в границите на по този начин наречения контекстен прозорец с много корав и стеснен брой токени и бързо губят точността на своите заключения, когато размерът на входните данни надвиши този предел. RLM моделът предлага друг метод: той не се пробва да запомни истинските изходни данни в тяхната целокупност, а по-скоро ги преглежда като външно пространство, по което може да се направлява и от което могат да се извличат съответните съответстващи фрагменти, когато е належащо. Навигацията замества паметта.

Ключовата разлика сред RLM и LLM е, че механизмът за добиване на информацията става динамичен и рекурсивен (с вложение, както в тази ситуация на дървовидната конструкция от папки на файловата система). Моделът проучва поръчката, генерира деяние за търсене, получава нужните сегменти от данни и повтаря процеса, до момента в който се реализира заложената дълбочина на схващане. В резултат на това архитектурата е способна да работи с масиви от данни десетки или стотици пъти по-големи от обичайния потенциал на контекстния прозорец, без прекалено увеличение на изчислителните запаси.

Предложената технология отваря нови благоприятни условия за области, изискващи обработка на огромни документи или комплицирани структурирани данни. Например, в правната процедура, изкуственият разсъдък ще може да проучва цели досиета по делата, а освен обособени фрагменти; в програмирането, той ще може да обработва огромни размери от код; а в аналитиката, ще може да комбинира и съпоставя голям брой научни изявления без предварителна обработка. Способността на модела да работи с огромни набори от данни понижава риска от в действителност изкривявания и неточности, свързани със „ загубата “ на подтекст, заради неналичието на задоволително памет на модела в съответния миг.

Специалистите от MIT са дали както пълноценна библиотека, имплементираща правилата на RLM, по този начин и най-малък референтен код, което ще опрости въвеждането на технологията за всички заинтригувани страни и ще форсира нейното приемане. Някои компании към този момент са почнали да приспособяват архитектурата за своите артикули, което в допълнение удостоверява приложимостта на RLM отвън лабораторните условия. По този метод, рекурсивните езикови модели (Recursive Language Models) биха могли да се трансфорат в забележителна стъпка в еволюцията на невронните мрежови архитектури, защото те оферират не увеличение на потенциала на паметта на моделите, а фундаментално нов метод за работа с огромните масиви от данни.