Microsoft смазва конкуренцията с Phi-3.5: Новите модели на изкуствен интелект поставят нови стандарти
Microsoft не се лимитира до триумфите, реализирани в партньорството с OpenAI, и продължава да създава свои лични технологии за изкуствен интелект. Серията Phi 3.5 е разширена с още три модела: Phi-3.5-mini-instruct с 3,82 милиарда параметри за съществени разсъждения, Phi-3.5-MoE-instruct с 41,9 милиарда параметри за по-сложни задания и Phi-3.5-vision-instruct с 4,15 милиарда параметри за разбор на изображения и видео. Тези модели са разполагаем на разработчиците на платформата Hugging Face под MIT лиценза, което разрешава свободното им потребление и модифициране. Новите артикули се показват добре в тестванията и превъзхождат съперниците, в това число Gemini 1.5 Flash на Гугъл, Meta Llama 3.1 и даже GPT-4o на OpenAI.
Phi-3.5 Mini Instruct е стилен езиков модел с 3,8 милиарда параметри, усъвършенстван за точно осъществяване на указания и обработка на контексти с дължина до 128 000 лексеми. Подходящ е за задания, които изискват задълбочено логическо мислене при лимитирани изчислителни запаси. Подобни сюжети включват генериране на кодове, решение на математически задания и логичен разсъждения. Въпреки компактния си размер Phi-3.5 Mini Instruct е ефикасен за многоезични задания и задания, които изискват поддържане на подтекста в разговорите. Моделът демонстрира съвсем най-хубави резултати в другите проби и даже превъзхожда другите модели със същия размер (Llama-3.1-8B-instruct и Mistral-7B-instruct) в разбирането на код, когато става въпрос за огромни елементи от текст.
Phi-3.5 MoE (Mixture of Experts – комбинация от експерти) съчетава няколко разнообразни вида модели, всеки от които е профилиран в разнообразни задания. Този модел употребява архитектура с 42 милиарда параметъра и поддържа дължина на подтекста на токена от 128 k, осигурявайки мащабируемост на ИИ за взискателни приложения. Според документите на Hugging Face обаче актуалната реализация употребява единствено 6,6 милиарда дейни параметри.
Предназначен за разнообразни задания за размишление, Phi-3.5 MoE показва мощна продуктивност в разбирането на кода, математиката и езика, като постоянно превъзхожда по- огромните модели в някои проби, като да вземем за пример RepoQA. Моделът даже надминава GPT-4o mini в предизвикателния тест MMLU, в който би трябвало да се покажат познания в разнообразни области – от точните науки до филантропичните. Уникалната архитектура на модела MoE му разрешава да резервира успеваемостта си при осъществяване на комплицирани ИИ задания на няколко езика.
Тройката се добавя от модела Phi-3.5 Vision Instruct, който съчетава обработката на текст и изображения. Този мултимодален модел е подобаващ за задания като общо схващане на изображения, оптично различаване на знаци, схващане на графики и таблици и обобщаване на видео. Подобно на другите модели от серията Phi-3.5, Vision Instruct поддържа контекстуален прозорец от 128 000 лексеми, което му разрешава да обработва комплицирани образни задания с голям брой фрагменти. Microsoft отбелязва, че моделът е подготвен върху композиция от синтетични и филтрирани отворени данни, като акцентът е подложен върху висококачествени данни, които изискват комплицирани разсъждения.
Моделът Phi-3.5 Mini Instruct е подготвен върху 3,4 трилиона токена благодарение на 512 графични процесора H100-80G за 10 дни, до момента в който моделът Vision Instruct е подготвен върху 500 милиарда токена благодарение на 256 графични процесора A100-80G за шест дни. За образованието на модела Phi-3.5 MoE са били нужни 4,9 трилиона токена, 512 графични процесора H100-80G и 23 дни.
И трите модела от серията Phi-3.5 се популяризират под MIT лиценза, демонстрирайки уговорката на Microsoft към правилата на отворения код. Лицензът дава на разработчиците необятни права за потребление, модифициране, разпространяване и комерсиализиране на софтуера. Microsoft и другите притежатели на авторски права не носят отговорност за каквито и да било отрицателни последствия, свързани с потреблението на софтуера. Чрез даването на отворени лицензионни модели Microsoft дава опция на разработчиците да интегрират усъвършенствани ИИ благоприятни условия в своите приложения, насърчавайки нововъведенията както в комерсиалната, по този начин и в изследователската среда.
