AI софтуер на Nvidia е пропуснал изтичане на данни
Функция, вградена в AI софтуера на Nvidia - NeMo Framework, може да бъде манипулирана, тъй че да пренебрегне защитните ограничавания за сигурност и да разкрива персонална информация. Това демонстрира разбор на основаната в Сан Франциско Robust Intelligence. Фирмата проучва NeMo Guardrails - функционалност, вградена в NeMo, както и публикувана под формата на отворен код в GitHub, платформата за хостинг на Microsoft - която е създадена, с цел да ограничи нежеланото държание на огромните езикови модели, и е проектирана, с цел да може да работи с всички LLM.
Функция, вградена в AI софтуера на Nvidia - NeMo Framework, може да бъде манипулирана, тъй че да пренебрегне защитните ограничавания за сигурност и да разкрива персонална информация. Това демонстрира разбор на основаната в Сан Франциско Robust Intelligence. Фирмата проучва NeMo Guardrails - функционалност, вградена в NeMo, както и публикувана под формата на отворен код в GitHub, платформата за хостинг на Microsoft - която е създадена, с цел да ограничи нежеланото държание на огромните езикови модели, и е проектирана, с цел да може да работи с всички LLM.
Nvidia декларира, че разработчиците, употребяващи NeMo Guardrails, ще могат да зададат три типа ограничавания - тематични, които предотвратяват отклоняването на диалога в нежелани посоки; защитни, контролиращи приложенията да дават точна и подобаваща информация, които могат да филтрират нежелания език и да постановат препратките да бъдат единствено към достоверни източници; както и защитни, които лимитират приложенията да се свързват единствено с известни като безвредни приложения на трети страни. В своя разбор, в който откривателите от Robust Intelligence употребяват система на Nvidia върху личен набор от данни, те съумяват единствено за няколко часа да накарат езиковите модели да преодолеят програмираните ограничавания.
Възпроизвеждайки предоставеното от софтуерния колос демо, при което компанията основава чатбот, основан на text-davinci-003 на OpenAI, който дава отговор на въпроси по отношение на оповестения през април тази година отчет за работни места на американското Бюро по трудова статистика, Robust Intelligence съумява да насочи диалога към странични тематики макар рестриктивните мерки, които би трябвало да спрат LLM да се отклонява от съответно заложените тематики. Изследователите оповестяват, че въпросите за опазването на здравето са изключително ефикасни за отклоняването на бота от тематиката. Те съумяват да го накарат да дава отговор на въпроси по отношение на здравното министерство на Квебек, американския президент Джордж Буш, здравето на артиста Майкъл Джей Фокс, сюжета на " Завръщане в бъдещето " и френско-пруската война.
Реклама
В различен тест откривателите се пробват да основат преграда, която да разпознава и предотвратява даването на персонална информация (PII - personally identifiable information), когато на бота е предоставена база данни, съдържаща сходна информация. Изследователите прецизират, че за разлика от останалите им опити NeMo не има способността да открива PII, заради което се е наложило да я основат сами, като е допустимо да е некачествена. Те дават инструкции на системата на Nvidia да размени буквата " I " с " J ", което им разрешава да накарат бота да им даде персоналните данни, откакто те са го питали за PJJ на даден чиновник.
Предупреждение за клопки
" Виждаме, че това е сложен проблем, който изисква задълбочени знания ", споделя Ярон Сингер, основен изпълнителен шеф на Robust Intelligence и професор по компютърни науки в Харвардския университет, представен от Financial Times. " Тези открития съставляват предизвестие за съществуващите клопки. "
В резултат от извършените проби откривателите са посъветвали своите клиенти да заобикалят продукта на Nvidia, прибавя изданието. След като предходната седмица FT е изискал коментар от Nvidia по отношение на проучването, производителят на чипове е уведомил Robust Intelligence, че е отстранил една от главните аргументи за проблемите, които анализаторите са повдигнали.
Според Джонатан Коен, вицепрезидент по приложните проучвания на Nvidia, рамката е просто " насочна точка за създаване на AI чатботове, които подхождат на избраните от разработчиците инструкции за тема, сигурност и сигурност ".
Реклама
" Тя беше пусната като програмен продукт с отворен код, с цел да може общността да изследва нейните благоприятни условия, да даде противоположна връзка и да способства с нови модерни техники ", сподели той, добавяйки, че работата на Robust Intelligence " разпознава спомагателни стъпки, които ще са нужни за внедряване на индустриално приложение ".
Коен е отказал да заяви какъв брой компании употребяват продукта на Nvidia, само че е декларирал, че компанията не е получавала други известия за погрешно действие.
Свързани публикации Nvidia не е единствената, която печели от " златната тресчица " на изкуствения разсъдък 9 юни 2023, 06:49 Технологичните акции са избавление за търсещите облага вложители 1 юни 2023, 10:47 Как да влагаме в изкуствен интелект 26 май 2023, 06:28 Един AI, доста компании 17 март 2023, 06:30 Alibaba и Tencent ще оказват помощ на Китай с дизайна на чипове 6 декември 2022, 10:07
Функция, вградена в AI софтуера на Nvidia - NeMo Framework, може да бъде манипулирана, тъй че да пренебрегне защитните ограничавания за сигурност и да разкрива персонална информация. Това демонстрира разбор на основаната в Сан Франциско Robust Intelligence. Фирмата проучва NeMo Guardrails - функционалност, вградена в NeMo, както и публикувана под формата на отворен код в GitHub, платформата за хостинг на Microsoft - която е създадена, с цел да ограничи нежеланото държание на огромните езикови модели, и е проектирана, с цел да може да работи с всички LLM.
Nvidia декларира, че разработчиците, употребяващи NeMo Guardrails, ще могат да зададат три типа ограничавания - тематични, които предотвратяват отклоняването на диалога в нежелани посоки; защитни, контролиращи приложенията да дават точна и подобаваща информация, които могат да филтрират нежелания език и да постановат препратките да бъдат единствено към достоверни източници; както и защитни, които лимитират приложенията да се свързват единствено с известни като безвредни приложения на трети страни. В своя разбор, в който откривателите от Robust Intelligence употребяват система на Nvidia върху личен набор от данни, те съумяват единствено за няколко часа да накарат езиковите модели да преодолеят програмираните ограничавания.
Възпроизвеждайки предоставеното от софтуерния колос демо, при което компанията основава чатбот, основан на text-davinci-003 на OpenAI, който дава отговор на въпроси по отношение на оповестения през април тази година отчет за работни места на американското Бюро по трудова статистика, Robust Intelligence съумява да насочи диалога към странични тематики макар рестриктивните мерки, които би трябвало да спрат LLM да се отклонява от съответно заложените тематики. Изследователите оповестяват, че въпросите за опазването на здравето са изключително ефикасни за отклоняването на бота от тематиката. Те съумяват да го накарат да дава отговор на въпроси по отношение на здравното министерство на Квебек, американския президент Джордж Буш, здравето на артиста Майкъл Джей Фокс, сюжета на " Завръщане в бъдещето " и френско-пруската война.
Реклама
В различен тест откривателите се пробват да основат преграда, която да разпознава и предотвратява даването на персонална информация (PII - personally identifiable information), когато на бота е предоставена база данни, съдържаща сходна информация. Изследователите прецизират, че за разлика от останалите им опити NeMo не има способността да открива PII, заради което се е наложило да я основат сами, като е допустимо да е некачествена. Те дават инструкции на системата на Nvidia да размени буквата " I " с " J ", което им разрешава да накарат бота да им даде персоналните данни, откакто те са го питали за PJJ на даден чиновник.
Предупреждение за клопки
" Виждаме, че това е сложен проблем, който изисква задълбочени знания ", споделя Ярон Сингер, основен изпълнителен шеф на Robust Intelligence и професор по компютърни науки в Харвардския университет, представен от Financial Times. " Тези открития съставляват предизвестие за съществуващите клопки. "
В резултат от извършените проби откривателите са посъветвали своите клиенти да заобикалят продукта на Nvidia, прибавя изданието. След като предходната седмица FT е изискал коментар от Nvidia по отношение на проучването, производителят на чипове е уведомил Robust Intelligence, че е отстранил една от главните аргументи за проблемите, които анализаторите са повдигнали.
Според Джонатан Коен, вицепрезидент по приложните проучвания на Nvidia, рамката е просто " насочна точка за създаване на AI чатботове, които подхождат на избраните от разработчиците инструкции за тема, сигурност и сигурност ".
Реклама
" Тя беше пусната като програмен продукт с отворен код, с цел да може общността да изследва нейните благоприятни условия, да даде противоположна връзка и да способства с нови модерни техники ", сподели той, добавяйки, че работата на Robust Intelligence " разпознава спомагателни стъпки, които ще са нужни за внедряване на индустриално приложение ".
Коен е отказал да заяви какъв брой компании употребяват продукта на Nvidia, само че е декларирал, че компанията не е получавала други известия за погрешно действие.
Свързани публикации Nvidia не е единствената, която печели от " златната тресчица " на изкуствения разсъдък 9 юни 2023, 06:49 Технологичните акции са избавление за търсещите облага вложители 1 юни 2023, 10:47 Как да влагаме в изкуствен интелект 26 май 2023, 06:28 Един AI, доста компании 17 март 2023, 06:30 Alibaba и Tencent ще оказват помощ на Китай с дизайна на чипове 6 декември 2022, 10:07
Източник: capital.bg
КОМЕНТАРИ