rStar-Math на Microsoft майсторски разкрива логиката и на най-сложните математически пъзели
Нов SLM (small language model) ползва метода Монте Карло към комплицирани проблеми.
Изследователи от Microsoft Asia показаха дребен езиков модел (SLM, small language model) за решение на математически задания. В публикация, оповестена в платформата arXiv, екипът разказва технологията и математическите подходи, залегнали в основата на модела, както и представянето му при общоприети проби.
През миналите няколко години огромните софтуерни компании интензивно усъвършенстваха своите огромни езикови модели (LLM, large language models), които към този момент откриха необятно приложение. Тяхната работа обаче изисква забележителна изчислителна мощ и огромна консумация на сила, което ги прави скъпи за потребление.
На фона на тези ограничавания нараства ползата към SLM – по-компактни модели, които могат да работят локално на компютърните устройства. Тези модели нормално са фокусирани върху решаването на проблеми в някоя тясна област, като да вземем за пример математиката. Новият план на Microsoft се концентрира освен върху решаването на математически проблеми, само че и върху образованието на модела да разсъждава поетапно.
ИИ моделът с име rStar-Math се разграничава от предходните разработки, в това число Phi-4, по потреблението на по-различен метод. Той употребява метода Монте Карло, с цел да проучва проблемите малко по малко. Това дава опция задачата да бъде разграничена на части, като по този метод последователно и поредно се стига до решение. Освен това rStar-Math извежда своя развой на размишление като код на Python и пояснения на натурален език, което прави модела по-прозрачен.
Microsoft също по този начин е проектирала rStar-Math предвид на интеграцията му в огромните езикови модели. Това отразява тактиката, съгласно която бъдещите LLM могат да бъдат композиция от голям брой профилирани SLM. Екипът означи, че rStar-Math към този момент е посочил отлични резултати в редица проби, а изходният код и данните се възнамерява да бъдат оповестени в GitHub.
