OpenAI обяви във вторник, че планира да насочва чувствителни разговори

OpenAI разгласи във вторник, че възнамерява да насочва чувствителни диалози към „ разсъждаващи “ модели като GPT-5 и в границите на месец ще вкара наставнически надзор. Новите защитни механизми идват след серия от произшествия, при които ChatGPT не съумява да разпознае признаци на тежко психическо положение у консуматори.

Случаят със самоубийството на младежа Адам Рейн провокира съществени реакции. Момчето е обсъждало с чатбота на OpenAI проекти за самонараняване и даже е получило информация за съответни способи. Родителите му към този момент са завели дело против OpenAI за непозволено причиняване на гибел, написа Tech Crunch.

Миналата седмица компанията признава в своя блог обява известни недостатъци в системите си за сигурност, в това число невъзможността да поддържа защитни механизми по време на продължителни диалози.

Според специалисти казусът е в самия дизайн на моделите – склонността им да удостоверяват изявленията на потребителя и логаритмите за предсказание на идната дума, които водят до следване на диалога, вместо до спиране на евентуално рисковите тематики.

Тази наклонност доближава до прекаленост в тази ситуация на Щайн-Ерик Сьолберг, за който The Wall Street Journal оповестява през уикенда. Мъжът, който страда от психологични болести, употребявал ChatGPT, с цел да ускорява параноидните си убеждения за огромна интрига. Делириумът ескалира дотам, че през предишния месец той убива майка си, а по-късно и себе си.

OpenAI има вяра, че решението на казуса може да се крие в автоматизираното пренасочване на рискови диалози към „ разсъждаващи “ модели. „ Наскоро въведохме система в действително време, която може да избира сред ефикасни чат модели и разсъждаващи модели съгласно подтекста на диалога, “ написа компанията. „ Скоро ще стартираме да насочваме някои чувствителни диалози – да вземем за пример когато системата засече признаци на изострен дистрес – към разумен модел като GPT-5, тъй че да дава по-полезни и безвредни отговори, без значение кой от моделите е определен в началото. “

Компанията също по този начин акцентира, че GPT-5 и o3 са проектирани да отделят повече време на умствен развой и да проучват по-задълбочено подтекста, което ги прави „ по-устойчиви на враждебни подкани “.

В рамките на месец ще бъде въведен и наставнически надзор. Той ще разреши на родителите да свързват своя акаунт с този на младежа си посредством имейл покана, както и да настройват „ правила за държание съгласно възрастта “, които по дифолт ще бъдат дейни. Ще може да се изключват функционалности като памет и история на диалозите – варианти, които съгласно специалисти могат да доведат до заблуди, взаимозависимост или нездравословни модели на мислене.

Най-съществената актуализация ще бъде опцията родителите да получават вести, в случай че системата откри, че младежът изпитва „ изострен дистрес “.

Мерките са част от „ 120-дневна самодейност “, посредством която OpenAI показва проекти за възстановяване на сигурността през годината. Компанията показва, че си партнира с специалисти по хранителни разстройства, зависимости и юношеско здраве посредством своите мрежи Global Physician Network и Expert Council on Well-Being and AI. Те ще подкрепят дефинирането и измерването на индикатори за благоденствие, както и правенето на бъдещи отбрани.

Но критиците към момента имат остри позиции по въпроса. Джей Еделсън, който е водещ юрист в делото на фамилията на Рейн, съобщи: „ OpenAI не се нуждае от експертен панел, с цел да откри, че ChatGPT 4o е рисков. Те знаеха това в деня, когато пуснаха продукта, и го знаят и през днешния ден. Нито пък Сам Алтман би трябвало да се крие зад PR екипа на компанията си. Сам би трябвало или недвусмислено да съобщи, че има вяра, че ChatGPT е безвреден, или неотложно да го изтегли от пазара. “