Най-новият малък езиков модел на Microsoft превъзхожда ChatGPT
Изненадващо Microsoft показа най-новия си езиков модел Phi-1, който съдържа 1,3 милиарда параметъра. Противно на общоприетото разбиране, че по-големите модели работят по-добре, Microsoft се концентрира върху качеството на данните за образование. Phi-1, подготвен на деликатно селекциониран набор от данни на равнище учебник, превъзхожда GPT-3.5 със 100 милиарда параметъра.
Езиковият модел Microsoft Phi-1, построен на архитектурата Transformer, притегли вниманието с впечатляващата си продуктивност. Екипът за разработка на Phi-1 се концентрира върху качеството на данните за образование, отдалечавайки се от преобладаващата наклонност за увеличение размера на стека от модели. Използвайки първокачествен набор от данни, състоящ се от наличие по “учебник “, получено от Интернет, екипът на Microsoft обработи информацията благодарение на GPT-3.5 и 8 графични процесора Nvidia A100, което разреши процесът по образованието да бъде приключен единствено за четири дни.
Според представители на Microsoft, акцентът към възстановяване на качеството на данните за образованието, вместо увеличението на броя на параметрите, е посочило обещаващи резултати. В сравнителните проби, Phi-1 е постигнал 50,6% акуратност, побеждавайки GPT-3,5 с 47% по удивителните 175 милиарда параметъра.
Microsoft възнамерява да открие Phi-1 с отворен код на HuggingFace, което в допълнение ще усили достъпността и капацитета за съдействие на този езиков модел. Това не е първият път, когато Microsoft създава по-малък езиков модел; преди този момент беше показан Orca — модел с 13 милиарда параметъра, подготвен върху синтетични данни, употребявайки GPT-4. Дори Orca се оказа по-добра от ChatGPT. Изследователската публикация за Phi-1 бе оповестена в arXiv и разказва в детайли неговата архитектура и методология за образование. За тези, които желаят да научат повече за техническите аспекти, публикацията дава изчерпателно ревю на създаването Phi-1.
Езиковият модел Phi-1 на Microsoft поддържа концепцията, че увеличението на размера на стека е належащо за възстановяване на продуктивността. Като се концентрира върху висококачествените данни за образование, Phi-1 показва забележителна акуратност, превъзхождайки даже по-големите модели. Phi-1 с отворен код още един път показва уговорката на Microsoft към рационализиране обработката на естествения език.
