Използването на езикови модели за диагностика и терапия в момента

Използването на езикови модели за диагностика и терапия сега е недопустимо
(снимка: CC0 Public Domain)

Изследователи от Нюйоркския университет откриха сериозна накърнимост в работата на огромните езикови модели (LLM), употребявани в региона на медицината. Проучване, оповестено в научното издание Nature Medicine, откри, че е задоволителна смяна единствено на 0,001% от данните за образование, с цел да се вкара дезинформация в изкуствения разсъдък.

В опита учените съзнателно въвели генерирана от AI здравна дезинформация в известен набор от данни за образование на LLM, наименуван The Pile, който съдържа висококачествени медицински материали, в това число тези от PubMed. За 24 часа екипът основава 150 000 медицински публикации, съдържащи погрешна информация.

Резултатите не са съгласно упованията – замяната на единствено един милион от 100-те милиарда токени за образование с дезинформация за ваксина води до 4,8% нарастване на злонамереното наличие. Това изисква единствено 2000 злонамерени публикации с общо към 1500 страници, а цената на една такава офанзива е единствено 5 щатски $.

Това, което е изключително рисково, съгласно откривателите, е, че инфектираните системи не престават да се показват добре при общоприетоо тестване – те работят също толкоз дейно, колкото и незаразените модели. Освен това, с цел да вкарат дезинформация, нападателите не се нуждаят от пряк достъп до теглата на модела; те просто би трябвало да разгласяват злонамерена информация онлайн.

Проблемът към този момент е явен на процедура. Миналата година Ню Йорк Таймс заяви за случаи, в които MyChart – платформа, която употребява AI за автоматизирано генериране на отговори на въпроси на пациенти от името на лекарите – постоянно „ халюцинира ”, създавайки подправени записи за положението на пациентите.

Изследователите приканват разработчиците на AI и доставчиците на здравни услуги да одобряват съществено уязвимостта. Според тях, потреблението на езикови модели за диагностика и терапия е недопустимо, до момента в който не бъдат създадени надеждни защитни механизми и не бъдат извършени спомагателни проучвания в региона на сигурността.