INSAIT откри несъответствие на DeepSeek с европейските правила
AI моделът се проваля на техническите проби за сигурност и надеждност
Дестилираните модели на DeepSeek изостават в основни регулаторни аспекти като киберсигурност и ръководство на предразсъдъците, откри INSAIT (снимка: CC0 Public Domain)
Сериозни пропуски в сходството на дестилираните модели на DeepSeek според Европейския акт за изкуствения разсъдък (EU AI Act) откри проучване на Института за изкуствен интелект и компютърни технологии (INSAIT) към Софийския университет, извършено взаимно с софтуерната компания LatticeFlow.
INSAIT, LatticeFlow и швейцарския университет ETH Zurich сътвориха COMPL-AI – първата рамка в Европейски Съюз, която трансформира регулаторните нормативни условия в съответни механически инспекции. Чрез нея се тестват някои от най-популярните модели за изкуствен интелект, с цел да се оцени сходството им според европейските правила (OpenAI, Meta, Гугъл, Anthropic, Mistral AI и Alibaba).
Дестилацията на огромни модели кaто DeepSeek в по-малки е общоприет развой, който ги прави доста по-практични и по-ефикасни за бизнеса и организациите, разясниха от INSAIT. Дестилираните модели на DeepSeek реализират положителни резултати в ограничението на токсичното наличие, само че изостават в основни регулаторни аспекти като киберсигурност и ръководство на предразсъдъците, сочи проучването. Това повдига въпроси по отношение на тяхната подготвеност за внедряване в корпоративна среда.
Оценката, извършена взаимно с LatticeFlow AI, обгръща два от най-популярните дестилирани модела на DeepSeek: DeepSeek R1 8B (базиран на Meta’s Llama 3.1 8B) и DeepSeek R1 14B (базиран на Alibaba’s Qwen 2.5 14B) – двата с близо 400 000 изтегляния. Тя демонстрира и по какъв начин DeepSeek моделите се съпоставят с тези на OpenAI, Meta, Гугъл, Anthropic, Mistral AI, Alibaba и други
Крайните резултати демонстрират, че тези DeepSeek модели заемат последните места в класацията, спрямо другите тествани модели във връзка с киберсигурност. Те демонстрират нараснали опасности от „ похищение на цели ” (goal hijacking) и „ приключване на промптове ” (prompt leakage), спрямо базовите си версии.
Това може да е проблем освен тъй като усилва вероятността AI моделът да бъде измамен да извършва непредвидени дейности (отвличане на цели), само че и тъй като усилва риска от откриване на поверителна информация (изтичане на промптове). В резултат, тези недостатъци понижават надеждността на моделите и вършат потреблението им в сигурни бизнес среди доста по-рисковано, настояват откривателите.
DeepSeek моделите са и под междинното равнище в класацията във връзка с пристрастност и демонстрират доста по-големи предубеждения от своите базови модели. Оценката за пристрастност (bias) при AI моделите мери до каква степен техните отговори са справедливи, неутрални и обективни по отношение на разнообразни обществени, културни, етнически, полови и политически групи.
В случая с DeepSeek моделите, резултатите демонстрират, че те са под междинното равнище в класацията или с други думи – моделите демонстрират по-силни предубеждения спрямо други AI модели, тествани от COMPL-AI. Нещо повече, те демонстрират доста по-големи предубеждения от своите базови модели – т.е. в процеса на модифициране DeepSeek моделите са се влошили в този аспект спрямо истинските модели Llama 3.1 (Meta) и Qwen 2.5 (Alibaba). Това може да е проблем освен тъй като DeepSeek ще генерира небалансирани отговори по чувствителни тематики, само че и ще предизвиква дезинформация по разнообразни тематики.
Въпреки останалите пропуски, моделите на DeepSeek демонстрират положителни резултати в ръководството на токсичността, надминавайки даже своите базови версии. Оценката за токсичност в подтекста на AI модели се отнася до способността на един езиков модел да разпознава, минимизира или предотврати генерирането на нездравословно, обидно или недопустимо наличие. Това включва наличие, което може да бъде расистко, сексистко, дискриминационно, заплашително или по различен метод нездравословно за потребителите.
В случая с оценката на DeepSeek моделите посредством COMPL-AI, е открито, че те се оправят добре с ограничението на токсично наличие, даже по-добре от своите базови модели (Meta’s Llama 3.1 и Alibaba’s Qwen 2.5). Това значи, че те по-рядко генерират несъответствуващ или афектиран текст, което е значим аспект за сходството им с регулациите на EU AI Act, заключава проучването.
Дестилираните модели на DeepSeek изостават в основни регулаторни аспекти като киберсигурност и ръководство на предразсъдъците, откри INSAIT (снимка: CC0 Public Domain)
Сериозни пропуски в сходството на дестилираните модели на DeepSeek според Европейския акт за изкуствения разсъдък (EU AI Act) откри проучване на Института за изкуствен интелект и компютърни технологии (INSAIT) към Софийския университет, извършено взаимно с софтуерната компания LatticeFlow.
INSAIT, LatticeFlow и швейцарския университет ETH Zurich сътвориха COMPL-AI – първата рамка в Европейски Съюз, която трансформира регулаторните нормативни условия в съответни механически инспекции. Чрез нея се тестват някои от най-популярните модели за изкуствен интелект, с цел да се оцени сходството им според европейските правила (OpenAI, Meta, Гугъл, Anthropic, Mistral AI и Alibaba).
Дестилацията на огромни модели кaто DeepSeek в по-малки е общоприет развой, който ги прави доста по-практични и по-ефикасни за бизнеса и организациите, разясниха от INSAIT. Дестилираните модели на DeepSeek реализират положителни резултати в ограничението на токсичното наличие, само че изостават в основни регулаторни аспекти като киберсигурност и ръководство на предразсъдъците, сочи проучването. Това повдига въпроси по отношение на тяхната подготвеност за внедряване в корпоративна среда.
Оценката, извършена взаимно с LatticeFlow AI, обгръща два от най-популярните дестилирани модела на DeepSeek: DeepSeek R1 8B (базиран на Meta’s Llama 3.1 8B) и DeepSeek R1 14B (базиран на Alibaba’s Qwen 2.5 14B) – двата с близо 400 000 изтегляния. Тя демонстрира и по какъв начин DeepSeek моделите се съпоставят с тези на OpenAI, Meta, Гугъл, Anthropic, Mistral AI, Alibaba и други
Крайните резултати демонстрират, че тези DeepSeek модели заемат последните места в класацията, спрямо другите тествани модели във връзка с киберсигурност. Те демонстрират нараснали опасности от „ похищение на цели ” (goal hijacking) и „ приключване на промптове ” (prompt leakage), спрямо базовите си версии.
Това може да е проблем освен тъй като усилва вероятността AI моделът да бъде измамен да извършва непредвидени дейности (отвличане на цели), само че и тъй като усилва риска от откриване на поверителна информация (изтичане на промптове). В резултат, тези недостатъци понижават надеждността на моделите и вършат потреблението им в сигурни бизнес среди доста по-рисковано, настояват откривателите.
DeepSeek моделите са и под междинното равнище в класацията във връзка с пристрастност и демонстрират доста по-големи предубеждения от своите базови модели. Оценката за пристрастност (bias) при AI моделите мери до каква степен техните отговори са справедливи, неутрални и обективни по отношение на разнообразни обществени, културни, етнически, полови и политически групи.
В случая с DeepSeek моделите, резултатите демонстрират, че те са под междинното равнище в класацията или с други думи – моделите демонстрират по-силни предубеждения спрямо други AI модели, тествани от COMPL-AI. Нещо повече, те демонстрират доста по-големи предубеждения от своите базови модели – т.е. в процеса на модифициране DeepSeek моделите са се влошили в този аспект спрямо истинските модели Llama 3.1 (Meta) и Qwen 2.5 (Alibaba). Това може да е проблем освен тъй като DeepSeek ще генерира небалансирани отговори по чувствителни тематики, само че и ще предизвиква дезинформация по разнообразни тематики.
Въпреки останалите пропуски, моделите на DeepSeek демонстрират положителни резултати в ръководството на токсичността, надминавайки даже своите базови версии. Оценката за токсичност в подтекста на AI модели се отнася до способността на един езиков модел да разпознава, минимизира или предотврати генерирането на нездравословно, обидно или недопустимо наличие. Това включва наличие, което може да бъде расистко, сексистко, дискриминационно, заплашително или по различен метод нездравословно за потребителите.
В случая с оценката на DeepSeek моделите посредством COMPL-AI, е открито, че те се оправят добре с ограничението на токсично наличие, даже по-добре от своите базови модели (Meta’s Llama 3.1 и Alibaba’s Qwen 2.5). Това значи, че те по-рядко генерират несъответствуващ или афектиран текст, което е значим аспект за сходството им с регулациите на EU AI Act, заключава проучването.
Източник: technews.bg
КОМЕНТАРИ