INSAIT: DeepSeek се провалят на технически тестове за съответстви...
Това устанява проучване на Института за изкуствен интелект и компютърни технологии (INSAIT) към Софийския университет извършено взаимно с водещата софтуерна компания LatticeFlow. Дестилацията на огромни модели кaто DeepSeek в по-малки е общоприет развой който ги прави доста по-практични и по-ефикасни за бизнеса и организациите.
Припомняме, че двете организации, дружно с швейцарския университет ETH Zurich сътвориха COMPL-AI - първата рамка в Европейски Съюз, която трансформира регулаторните нормативни условия в съответни механически инспекции. Чрез нея се тестват някои от най-популярните модели за изкуствен интелект, с цел да се оцени сходството им според европейските правила (OpenAI, Meta, Гугъл, Anthropic, Mistral AI и Alibaba).
Дестилираните модели на DeepSeek реализират положителни резултати в ограничението на токсичното наличие, само че изостават в основни регулаторни аспекти като киберсигурност и ръководство на предразсъдъците. Това повдига въпроси по отношение на тяхната подготвеност за внедряване в корпоративна среда.
Оценката, извършена взаимно с LatticeFlow AI, обгръща два от най-популярните дестилирани модела на DeepSeek: DeepSeek R1 8B (базиран на Meta’s Llama 3.1 8B) и DeepSeek R1 14B (базиран на Alibaba’s Qwen 2.5 14B) - двата с близо 400 000 изтегляния. Тя демонстрира и по какъв начин DeepSeek моделите се съпоставят с тези на OpenAI, Meta, Гугъл, Anthropic, Mistral AI, Alibaba и други
Крайните резултати демонстрират, че тези DeepSeek модели заемат последните места в класацията спрямо другите тествани модели във връзка с киберсигурност. Те демонстрират нараснали опасности от „ похищение на цели “ (goal hijacking) и “изтичане на промптове ” (prompt leakage) спрямо базовите си версии. Това може да е проблем освен тъй като усилва вероятността AI моделът да бъде измамен да извършва непредвидени дейности (отвличане на цели), само че и тъй като усилва риска от откриване на поверителна информация (изтичане на промптове).
В резултат, тези недостатъци понижават надеждността на моделите и вършат потреблението им в сигурни бизнес среди доста по-рисковано.
DeepSeek моделите са и под междинното равнище в класацията във връзка с пристрастност и демонстрират доста по-големи предубеждения от своите базови модели. Оценката за пристрастност (bias) при AI моделите мери до каква степен техните отговори са справедливи, неутрални и обективни по отношение на разнообразни обществени, културни, етнически, полови и политически групи. В случая с DeepSeek моделите, резултатите демонстрират, че те са под междинното равнище в класацията или с други думи - моделите демонстрират по-силни предубеждения спрямо други AI модели, тествани от COMPL-AI. Нещо повече, те демонстрират доста по-големи предубеждения от своите базови модели – т.е. в процеса на модифициране DeepSeek моделите са се влошили в този аспект спрямо истинските модели Llama 3.1 (Meta) и Qwen 2.5 (Alibaba). Това може да е проблем освен тъй като ще генерират небалансирани отговори по чувствителни тематики, само че и да предизвикват дезинформация по разнообразни тематики.
Въпреки останалите пропуски, моделите на DeepSeek демонстрират положителни резултати в ръководството на токсичността, надминавайки даже своите базови версии. Оценката за токсичност в подтекста на AI модели се отнася до способността на един езиков модел да разпознава, минимизира или предотврати генерирането на нездравословно, обидно или недопустимо наличие.
Това включва наличие, което може да бъде расистко, сексистко, дискриминационно, заплашително или по различен метод нездравословно за потребителите. В случая с оценката на DeepSeek моделите посредством COMPL-AI, беше открито, че те се оправят добре с ограничението на токсично наличие, даже по-добре от своите базови модели (Meta’s Llama 3.1 и Alibaba’s Qwen 2.5).
Това значи, че те по-рядко генерират несъответствуващ или афектиран текст, което е значим аспект за сходството им с регулациите на EU AI Act.
Пълните резултати от оценката на INSAIT и DeepSeek са налични на
Припомняме, че двете организации, дружно с швейцарския университет ETH Zurich сътвориха COMPL-AI - първата рамка в Европейски Съюз, която трансформира регулаторните нормативни условия в съответни механически инспекции. Чрез нея се тестват някои от най-популярните модели за изкуствен интелект, с цел да се оцени сходството им според европейските правила (OpenAI, Meta, Гугъл, Anthropic, Mistral AI и Alibaba).
Дестилираните модели на DeepSeek реализират положителни резултати в ограничението на токсичното наличие, само че изостават в основни регулаторни аспекти като киберсигурност и ръководство на предразсъдъците. Това повдига въпроси по отношение на тяхната подготвеност за внедряване в корпоративна среда.
Оценката, извършена взаимно с LatticeFlow AI, обгръща два от най-популярните дестилирани модела на DeepSeek: DeepSeek R1 8B (базиран на Meta’s Llama 3.1 8B) и DeepSeek R1 14B (базиран на Alibaba’s Qwen 2.5 14B) - двата с близо 400 000 изтегляния. Тя демонстрира и по какъв начин DeepSeek моделите се съпоставят с тези на OpenAI, Meta, Гугъл, Anthropic, Mistral AI, Alibaba и други
Крайните резултати демонстрират, че тези DeepSeek модели заемат последните места в класацията спрямо другите тествани модели във връзка с киберсигурност. Те демонстрират нараснали опасности от „ похищение на цели “ (goal hijacking) и “изтичане на промптове ” (prompt leakage) спрямо базовите си версии. Това може да е проблем освен тъй като усилва вероятността AI моделът да бъде измамен да извършва непредвидени дейности (отвличане на цели), само че и тъй като усилва риска от откриване на поверителна информация (изтичане на промптове).
В резултат, тези недостатъци понижават надеждността на моделите и вършат потреблението им в сигурни бизнес среди доста по-рисковано.
DeepSeek моделите са и под междинното равнище в класацията във връзка с пристрастност и демонстрират доста по-големи предубеждения от своите базови модели. Оценката за пристрастност (bias) при AI моделите мери до каква степен техните отговори са справедливи, неутрални и обективни по отношение на разнообразни обществени, културни, етнически, полови и политически групи. В случая с DeepSeek моделите, резултатите демонстрират, че те са под междинното равнище в класацията или с други думи - моделите демонстрират по-силни предубеждения спрямо други AI модели, тествани от COMPL-AI. Нещо повече, те демонстрират доста по-големи предубеждения от своите базови модели – т.е. в процеса на модифициране DeepSeek моделите са се влошили в този аспект спрямо истинските модели Llama 3.1 (Meta) и Qwen 2.5 (Alibaba). Това може да е проблем освен тъй като ще генерират небалансирани отговори по чувствителни тематики, само че и да предизвикват дезинформация по разнообразни тематики.
Въпреки останалите пропуски, моделите на DeepSeek демонстрират положителни резултати в ръководството на токсичността, надминавайки даже своите базови версии. Оценката за токсичност в подтекста на AI модели се отнася до способността на един езиков модел да разпознава, минимизира или предотврати генерирането на нездравословно, обидно или недопустимо наличие.
Това включва наличие, което може да бъде расистко, сексистко, дискриминационно, заплашително или по различен метод нездравословно за потребителите. В случая с оценката на DeepSeek моделите посредством COMPL-AI, беше открито, че те се оправят добре с ограничението на токсично наличие, даже по-добре от своите базови модели (Meta’s Llama 3.1 и Alibaba’s Qwen 2.5).
Това значи, че те по-рядко генерират несъответствуващ или афектиран текст, което е значим аспект за сходството им с регулациите на EU AI Act.
Пълните резултати от оценката на INSAIT и DeepSeek са налични на
Източник: frognews.bg
КОМЕНТАРИ