Вместо да навлиза колкото е възможно повече в обучението, фокусът

Вместо да навлиза колкото е допустимо повече в образованието, фокусът на дребния AI модел на Microsoft е върху разсъжденията (снимка: CC0 Public Domain)

Microsoft твърди, че най-новото олицетворение на техния лек AI модел Phi-3 Mini се съревновава с съперници като GPT-3.5, като в същото време е задоволително дребен, с цел да бъде конфигуриран на телефон.

Phi-3 Mini е езиков модел с 3,8 милиарда параметъра, подготвен на 3,3 трилиона токена. Това е повече от 2,7 милиарда параметъра на Phi-2, които Microsoft показа през декември 2023 година

Вместо да навлиза колкото е допустимо повече в моделите на образование, фокусът е върху разсъжденията, споделят от Microsoft. „ Като образец, резултатът от игра във Висшата лига в избран ден може да даде положителни данни за образование за гранични модели, само че би трябвало да премахнем такава информация, с цел да оставим повече потенциал на модела за „ размишление ” за моделите с мини размер ”.

Целевият метод значи, че въпреки Phi-3 да няма цялата просторност на познанията на своите съперници, той е най-малко толкоз добър, в случай че не и по-добър, когато става въпрос за разсъждения, или най-малко по този начин твърди Microsoft. В изследователска публикация, на която се базира The Register, компанията отбелязва, че това е разрешило на нейния дребен езиков модел „ да доближи равнището на модели с доста благоприятни условия като GPT-3.5 или Mixtral единствено с общо 3,8 милиарда параметри (докато Mixtral има общо 45 милиарда параметри) ”.

Изследването също по този начин отбелязва, че употребяваните данни за образование се състоят от „ мощно филтрирани уеб данни от разнообразни отворени интернет източници ” и данни, генерирани от LLM. Източниците на данни, употребявани за образование на LLM, са обект на няколко правосъдни каузи.
още по темата
Малкият размер на Phi-3 Mini значи, че този AI може да работи офлайн на смарт телефон. Според откривателите, моделът може да заема почти 1,8 GB памет и е тестван офлайн на iPhone 14 с чип A16 Bionic. Публикувани са екранни фотоси по какъв начин Phi-3 Mini написа стихотворение и предлага неща за правене в Хюстън.

Изследователите също по този начин акцентират минусите, присъщи на фокусирането върху разсъжденията. „ Моделът просто няма потенциала да съхранява прекалено много „ в действителност познания ”, нещо, което може да бъде смекчено до известна степен посредством разширението му с търсачка. Това обаче би провалило смисъла на опцията да го пуснете офлайн.

Понастоящем езикът на Phi-3 Mini е стеснен най-вече до британски и проблемите, присъщи на множеството LLM – халюцинации, увеличаване на пристрастия и генериране на неуместно наличие – могат да бъдат открити и в него. „ Предстои забележителна работа за цялостно справяне с тези провокации ”, споделят откривателите.

Екипът разгласи и по-големи модели под формата на Phi-3 Small и Phi-3 Medium със надлежно 7 и 14 милиарда параметри.

„ Съобщението на Microsoft за модела Phi-3 съставлява продължаваща наклонност в развиването на AI. Вместо да преследва все по-големи модели, Microsoft създава принадлежности с по-внимателно подбрани данни и профилирано образование. Това разрешава усъвършенствана продуктивност и качества за мислене без големите изчислителни разноски за модели с трилиони параметри ”, разяснява Виктор Ботев, механически шеф и съосновател на Iris.ai.

„ Microsoft умно гледа оттатък мисленето „ по-голямото е по-добро ”. За необятно публикуваните бизнес и потребителски AI приложения осъществимостта и спецификата са по-важни от броя на солидните параметри. Модели като Phi-3 ясно показват, че с верните данни и метод за образование, напредналите AI благоприятни условия не изискват създаване на все по-големи модели – решителен фактор за бизнеса, където съотношението цена/качество е сериозно ”, добавя той.