В клопката на закона: Популярните AI модели не отговарят на ключови регулации
Някои от най-популярните модели на изкуствен интелект (AI) не дават отговор на европейските разпореждания в основни области, като резистентност на киберсигурността и дискриминация. Това сочат данните от отчета на профилирания швейцарски стартъп LetticeFlow, измежду създателите на който са българите Петър Цанков и Мартин Вечев, представени от Reuters.
Европейски Съюз от дълго време обсъждаше нови правила за изкуствения разсъдък – още преди OpenAI да пусне ChatGPT за обществено прилагане в края на 2022 година Невижданата известност и последвалият обществен спор по отношение на хипотетичните екзистенциални опасности от потреблението на такива модели подтикнаха законодателите да изготвят съответни правила за AI с „ общо предопределение “ (GPAI).
Сега нов инструмент, създаден от LatticeFlow и сътрудници и подсилен от Европейския съюз, тества генеративни AI модели, създадени от софтуерни компании като Meta и OpenAI. Тестове се вършат в десетки категории на широкообхватния Закон за AI на блока, който влиза в действие поетапно през идващите две години.
В класацията, оповестена от LatticeFlow в сряда, всеки модел получава оценка сред 0 и 1, а моделите, създадени от Alibaba, Anthropic, OpenAI, Meta и Mistral, получават междинни оценки от 0,75 или повече.
Въпреки това „ Проверката на огромните езикови модели (LLM) “ на компанията разкри минусите на някои от тях в основни области, като обърна внимание на това къде фирмите може да се наложи да насочат запаси, с цел да подсигуряват сходство.
На фирмите, които не съблюдават Закона за изкуствения разсъдък, ще бъдат наложени санкции в размер на 35 млн. евро (38 млн. долара) или 7% от световния годишен оборот.
Европейски Съюз към момента се пробва да откри по какъв начин ще се ползват разпоредбите на Закона за AI по отношение на инструментите за генеративен изкуствен интелект като ChatGPT. Към момента блокът се съветва с специалисти, които би трябвало да изготвят кодекс на практиките, регулиращи технологията, до пролетта на 2025 година
Но пробата на LatticeFlow, създаден в съдействие с откриватели от швейцарския университет ETH Цюрих и българския проучвателен институт INSAIT, предлага ранен знак за съответни области, в които софтуерните компании рискуват да не спазят закона.
Например дискриминирането при данните е непрекъснат проблем при създаването на генеративни модели на изкуствен интелект – постоянно те дават отговори, отразяващи някои от най-разпространените човешки пристрастия във връзка с пола, расата и други области.
При тестването за дискриминационно отнасяне на данните, LLM Checker на LatticeFlow даде на „ GPT-3.5 Turbo “ на OpenAI относително ниска оценка от 0.46. За същата категория моделът на Alibaba Cloud – „ Qwen1.5 72B Chat “, получи единствено 0.37 точки.
При тестването за „ похищение на подкана “, тип хакерска атака, при която хакерите маскират злонамерена подкана като законна, с цел да извлекат сензитивна информация, LLM Checker присъди на модела „ Llama 2 13B Chat “ на Meta оценка от 0.42. В същата категория моделът „ 8x7B Instruct “ на френския стартъп Mistral получи оценка 0.38.
„ Claude 3 Opus “, модел, създаден от подкрепения от Гугъл стартъп Anthropic, получи най-високата междинна оценка – 0.89.
Тестът е създаден в сходство с текста на Закона за изкуствения разсъдък и ще бъде уголемен, с цел да обхване спомагателни ограничения за използване, когато бъдат въведени. LatticeFlow съобщи, че LLM Checker ще бъде свободно наличен за разработчиците, които могат да тестват онлайн сходството на своите модели.
Петър Цанков, основен изпълнителен шеф и съосновател на компанията, съобщи пред Reuters, че резултатите от теста като цяло са позитивни и оферират на фирмите пътна карта за прецизиране на моделите им в сходство със Закона за изкуствения разсъдък.
Европейски Съюз към момента създава всички критерии за сходство, само че ние към този момент можем да забележим някои пропуски в моделите “, сподели той. „ С по-голям фокус върху оптимизацията за сходство имаме вяра, че доставчиците на модели могат да бъдат добре готови да изпълнят регулаторните условия. “
Meta отхвърли да разяснява. Alibaba, Anthropic, Mistral и OpenAI не дадоха отговор незабавно на запитванията за коментар.
Въпреки че Европейската комисия не може да ревизира външни принадлежности, органът е бил осведомен по време на създаването на LLM Checker и го дефинира като „ първа стъпка “ в използването на новите закони.
Говорител на Европейската комисия съобщи:
Комисията приветства това изследване и платформата за оценка на моделите на AI като първа стъпка в превръщането на Закона на Европейски Съюз за AI в механически условия. “
Европейски Съюз от дълго време обсъждаше нови правила за изкуствения разсъдък – още преди OpenAI да пусне ChatGPT за обществено прилагане в края на 2022 година Невижданата известност и последвалият обществен спор по отношение на хипотетичните екзистенциални опасности от потреблението на такива модели подтикнаха законодателите да изготвят съответни правила за AI с „ общо предопределение “ (GPAI).
Сега нов инструмент, създаден от LatticeFlow и сътрудници и подсилен от Европейския съюз, тества генеративни AI модели, създадени от софтуерни компании като Meta и OpenAI. Тестове се вършат в десетки категории на широкообхватния Закон за AI на блока, който влиза в действие поетапно през идващите две години.
В класацията, оповестена от LatticeFlow в сряда, всеки модел получава оценка сред 0 и 1, а моделите, създадени от Alibaba, Anthropic, OpenAI, Meta и Mistral, получават междинни оценки от 0,75 или повече.
Въпреки това „ Проверката на огромните езикови модели (LLM) “ на компанията разкри минусите на някои от тях в основни области, като обърна внимание на това къде фирмите може да се наложи да насочат запаси, с цел да подсигуряват сходство.
На фирмите, които не съблюдават Закона за изкуствения разсъдък, ще бъдат наложени санкции в размер на 35 млн. евро (38 млн. долара) или 7% от световния годишен оборот.
Европейски Съюз към момента се пробва да откри по какъв начин ще се ползват разпоредбите на Закона за AI по отношение на инструментите за генеративен изкуствен интелект като ChatGPT. Към момента блокът се съветва с специалисти, които би трябвало да изготвят кодекс на практиките, регулиращи технологията, до пролетта на 2025 година
Но пробата на LatticeFlow, създаден в съдействие с откриватели от швейцарския университет ETH Цюрих и българския проучвателен институт INSAIT, предлага ранен знак за съответни области, в които софтуерните компании рискуват да не спазят закона.
Например дискриминирането при данните е непрекъснат проблем при създаването на генеративни модели на изкуствен интелект – постоянно те дават отговори, отразяващи някои от най-разпространените човешки пристрастия във връзка с пола, расата и други области.
При тестването за дискриминационно отнасяне на данните, LLM Checker на LatticeFlow даде на „ GPT-3.5 Turbo “ на OpenAI относително ниска оценка от 0.46. За същата категория моделът на Alibaba Cloud – „ Qwen1.5 72B Chat “, получи единствено 0.37 точки.
При тестването за „ похищение на подкана “, тип хакерска атака, при която хакерите маскират злонамерена подкана като законна, с цел да извлекат сензитивна информация, LLM Checker присъди на модела „ Llama 2 13B Chat “ на Meta оценка от 0.42. В същата категория моделът „ 8x7B Instruct “ на френския стартъп Mistral получи оценка 0.38.
„ Claude 3 Opus “, модел, създаден от подкрепения от Гугъл стартъп Anthropic, получи най-високата междинна оценка – 0.89.
Тестът е създаден в сходство с текста на Закона за изкуствения разсъдък и ще бъде уголемен, с цел да обхване спомагателни ограничения за използване, когато бъдат въведени. LatticeFlow съобщи, че LLM Checker ще бъде свободно наличен за разработчиците, които могат да тестват онлайн сходството на своите модели.
Петър Цанков, основен изпълнителен шеф и съосновател на компанията, съобщи пред Reuters, че резултатите от теста като цяло са позитивни и оферират на фирмите пътна карта за прецизиране на моделите им в сходство със Закона за изкуствения разсъдък.
Европейски Съюз към момента създава всички критерии за сходство, само че ние към този момент можем да забележим някои пропуски в моделите “, сподели той. „ С по-голям фокус върху оптимизацията за сходство имаме вяра, че доставчиците на модели могат да бъдат добре готови да изпълнят регулаторните условия. “
Meta отхвърли да разяснява. Alibaba, Anthropic, Mistral и OpenAI не дадоха отговор незабавно на запитванията за коментар.
Въпреки че Европейската комисия не може да ревизира външни принадлежности, органът е бил осведомен по време на създаването на LLM Checker и го дефинира като „ първа стъпка “ в използването на новите закони.
Говорител на Европейската комисия съобщи:
Комисията приветства това изследване и платформата за оценка на моделите на AI като първа стъпка в превръщането на Закона на Европейски Съюз за AI в механически условия. “
Източник: economic.bg
КОМЕНТАРИ