Общуването с чатбот лесно може да стане токсично, което налага

Общуването с чатбот елементарно може да стане токсично, което постанова цензуриране
(снимка: CC0 Public Domain)

Изследователи от Сколтех и МТС образоваха невронна мрежа да намира „ несъответствуващи ” известия в чатботове. Това ще разреши умният програмен продукт за бъде цензуриран, в случай че нарушава разпоредбите за етично държание.

Авторите на настояват, че чатботовете могат да бъдат обучавани за расистки туитове, известия за самоубийства и други неприемливи тематики. Изследователите са основали лист с 18 чувствителни тематики, в това число вяра, политика, полови малцинства, самоубийства, порнография и престъпност.
още по тематиката
Не всички тематики са еднообразно взривоопасни във връзка с токсичността. Спокойното разискване на костенурките или риболова по-рядко подхранва несъответствуващи токсични разговори, в сравнение с разискването на политика или полови малцинства, споделят учените.

„ Представете си да вземем за пример чатбот, който общително разисква с потребителя „ най-хубавите способи за самоубийство ”. Тук явно има нежелано наличие, само че даже няма и намек за токсичност ”, споделя един от експертите на Сколтех. Такива обстановки могат да навредят на репутацията на основателя на чат бота.

За да предотвратят сходни прояви на чатботевете, учените са обучили невронна мрежа да разпознава несъответствуващи известия. Тя може да познае тъкмо неприемливото наличие от чатбота в 89% от случаите.