DeepSeek Coder V2 е първият модел за кодиране с отворен код, който превъзхожда GPT-4 Turbo
Китайският изкуствен интелект оспорва хегемонията на OpenAI и Anthropic.
Китайският стартъп DeepSeek показа DeepSeek Coder V2 – първия модел за програмиране с отворен код, който превъзхожда своите аналози със затворен код GPT-4 Turbo, Claude 3 Opus, Gemini 1.5 Pro и изпреварва Llama 3-70B.
Базиран на предходния модел DeepSeek-V2, новият модел показва изключителна продуктивност при кодирането и математическите задания, като поддържа над 300 езика за програмиране и в същото време поддържа високи качества за общо мислене и схващане на езика.
Основана предходната година с задачата „ да разгадае тайната на AGI посредством любознание “, DeepSeek се трансформира в забележителен състезател на китайския пазар за изкуствен интелект, присъединявайки се към компании като SenseTime, Megvii Technology и Baidu. Всъщност в границите на една година от стартирането си стартъпът към този момент е отворил достъп до редица модели, в това число фамилията DeepSeek Coder. Първата версия на DeepSeek Coder, с до 33 милиарда параметъра, поддържаше 86 езика за програмиране и контекстен прозорец за 16 000 токена. Новата версия V2 уголемява поддръжката до 338 езика и усилва контекстния прозорец до 128 хиляди, което му разрешава да се оправя с по-сложни задания за програмиране.
DeepSeek Coder V2 реализира резултати от 76,2, 90,2 и 73,7 точки на тестванията MBPP+, HumanEval и Aider, предопределени за оценка на генерирането на код и решаването на задания, като победи надлежно множеството други модели, в това число GPT-4 Turbo, Claude 3 Opus, Gemini 1,5 Pro и Llama-3 70B. Подобни резултати бяха получени и при тестванията MATH и GSM8K, оценяващи математическите качества на модела.
Единственият модел, който превъзхожда DeepSeek Coder V2 при няколко теста, е GPT-4o, който получи по-високи резултати при HumanEval, LiveCode Bench, MATH и GSM8K. Според разработчиците тези резултати са реализирани с помощта на архитектурата Mixture of Experts и спомагателното образование на базовия модел DeepSeek V2 върху 6 трилиона токена, които включват програмен код от GitHub и данни от CommonCrawl. Този метод разрешава на модела с 16 и 236 милиарда параметъра да задейства единствено 2,4 и 21 милиарда „ експертни “ параметъра за осъществяване на дилемите, като усъвършенства изчислителните запаси и потребностите на приложението.
В допълнение към отличните резултати в заданията, включващи шифроване и математика, DeepSeek Coder V2 показва обичайно показване и в задания за общо мислене и схващане на езика. Например в сравнителния тест MMLU, предопределен за оценяване на разбирането на езика при другите задания, той получи 79,2 точки. Това е доста по-добър резултат от другите кодово насочени модели и съвсем съпоставим с резултата на Llama-3 70B. От своя страна GPT-4o и Claude 3 Opus не престават да водят в категорията MMLU с резултати надлежно 88,7 и 88,6, а GPT-4 Turbo ги следва директно след тях.
В момента DeepSeek Coder V2 се предлага под MIT лиценза, който разрешава както научноизследователска, по този начин и комерсиална приложимост без ограничавания. Потребителите могат да изтеглят версии на модела с 16 и 236 милиарда параметри в базовия вид, както и с спомагателни указания посредством Hugging Face. Освен това компанията дава достъп до моделите и посредством своята платформа по модела „ възнаграждение при прилагане “. За тези, които желаят първо да тестват опциите на моделите, компанията предлага опция за взаимоотношение с DeepSeek Coder V2 посредством чатбот.
