Софтуерните инструменти за разпознаване на съдържание, генерирано от AI, са

Софтуерните принадлежности за различаване на наличие, генерирано от AI, са положителни в идентифицирането на… текст, написан от човек (снимка: CC0 Public Domain)

Не доста откакто се появи ChatGPT с неговото удивително умеене да написа текст на всякаква тема и във всевъзможен формат, на пазара започнаха да излизат и софтуерни принадлежности с неестествен разсъдък, предопределени да откриват „ текст, генериран от AI ”. Сега генеративният логаритъм би трябвало да внимава, с цел да ги надхитри, нали? Изглежда сме се озовали в циничен кръг на надхитряне сред разнообразни AI-средства.

Нароилите се системи с изкуствен интелект, които настояват, че могат да разпознават текст, генериран от изкуствен интелект, се показват едва. И не е нужно доста, с цел да ги преодолеем. Това стана ясно от неотдавна извършен теоретичен опит.

Неговото начало е обвързвано с опасенията, които се появиха директно след стартирането на ChatGPT: че учениците ще употребяват чатбота, с цел да изготвят есета за учебно заведение, вместо да пишат сами. В отговор на сходни опасения дузини новостартиращи компании започнаха да създават артикули, които дават обещание да разпознаят дали даден текст е написан от човек или от машина. Днес наподобява, че е относително елементарно да бъдат излъгани тези принадлежности и да се избегне откриването.

Дебора Вебер-Вулф, професор по медии и компютри в Университета за приложни науки HTW Берлин, е работила с група откриватели от разнообразни други университети, с цел да оцени способността на 14 инструмента за различаване на текстове, написани от AI. Повечето от тях работят, като търсят отличителни белези на текст, генериран от логаритъм, да вземем за пример повторения. След това пресмятат вероятността текстът да е генериран от AI.

Но екипът учени е открил, че всички тествани решения се показват едва. Те имат компликации да уловят текст, генериран от ChatGPT, който е бил леко „ пренареден “ от хора или прекаран през програмен продукт за перифразиране.

Това допуска, че всичко, което учениците би трябвало да създадат, е леко да приспособяват есетата, генерирани от AI, с цел да ги показват за лични произведения – и никой не може да ревизира или да удостовери истинността на сходни изказване.

„ Тези принадлежности за различаване не работят “, споделя Вебер-Вулф. „ Те не вършат това, което споделят, че вършат. Те не са детектори на AI “.

Игра на писане

Изследователите са оценили инструментите, написвайки къси есета на бакалавърско равнище по разнообразни тематики, в това число инженеринг, компютърни науки, стопанска система, история, филология и литература. Учените написали есетата напълно сами, с цел да са сигурни, че няма метод който и да е изпитателен текст да е към този момент онлайн – тъй като в случай че се употребява текст от мрежата, това би означавало, че може към този момент да е бил употребен за образованието на ChatGPT.

След това всеки откривател написал в допълнение и текст на различен език. Създадените есета били на босненски, чешки, немски, латвийски, словашки, испански или шведски. Тези текстове били прекарани или през инструмент за превод – на AI DeepL или през Гугъл Translate. Така били преведени на британски.

След това екипът употребявал ChatGPT, с цел да генерира по два спомагателни текста. Учените леко трансформирали думите в опит да скрият, че са генерирани от AI. Един документ бил редактиран ръчно от откривателите. Те трансформирали словореда в него. Друг пример пък бил пренаписан благодарение на инструмент за перифразиране, наименуван Quillbot.

В последна сметка откривателите се оказали въоръжени с 54 текстови документа, върху които да тестват инструментите за разкриване.

Малки намеси

Учените открили, че инструментите са положителни в идентифицирането на текст, написан от човек (средно с 96% точност). Те обаче се оправят зле, когато става въпрос за различаване на текст, генериран от AI, изключително когато е бил редактиран. Въпреки че инструментите разпознават текста на ChatGPT със 74% акуратност, прецизността им спада до 42%, когато генерираният от ChatGPT текст е леко изменен.

Какво значи това?

Изводите акцентират какъв брой несъответстващи са актуалните способи на университетите за оценка на работата на студентите, споделя Витомир Кованович – старши учител, който построява модели за машинно образование и AI в Университета на Южна Австралия, и който не е взел участие в плана.

Дафне Иполито, старши откривател в Гугъл, профилирана в генерирането на натурален език, която също не е работила по плана, повдига различен значим въпрос, обект на угриженост. „ Ако системите за автоматизирано разкриване би трябвало да се употребяват в просветителни заведения, от решаващо значение е те да се схванат равнищата на подправени позитивни резултати, защото неправилното обвиняване на студент в машинация може да има тежки последствия за академичната му кариера “, споделя тя.

„ Процентът на подправените негативни резултати също е значим. Ако прекалено много текстове, генерирани от AI, преминат тестването като написани от хора, то системата за разкриване не е потребна “, добавя Иполито.

Резултатите от работата на инструментите за различаване на AI текст не трябва да се абсолютизират, споделят пък от екипа на Compilatio – един от инструментите, тествани от откривателите. Оттам прецизират, че системата „ просто демонстрира подозрителни пасажи, които класифицира като евентуално плагиатство или наличие, евентуално генерирано от AI “.
още по темата
„ Зависи от учебните заведения и учителите… да валидират знанията, фактически добити от създателя на документа, да вземем за пример посредством въвеждане на спомагателни средства за инспекция – устни въпроси, спомагателни въпроси в следена класна стая и така нататък “, споделя представител на Compilatio.

OpenAI има в уеб страницата си специфичен раздел за „ съображения за преподаватели “. Той предизвестява, че инструментите, предопределени за разкриване на генерирано от AI наличие, са „ надалеч от безупречни “.

Подобни провали обаче не са попречили на фирмите да бързат да пуснат артикули, които дават обещание да свършат работата, споделя Том Голдщайн, помощник в Университета на Мериленд, който не е взел участие в проучването. „ Много от тези стратегии не са изключително точни, само че не всички са цялостна злополука “, прибавя той, акцентирайки, че Turnitin е съумял да реализира приемлива акуратност на разкриване със относително невисок % подправени позитивни резултати.

Въпреки че изследванията, които хвърлят светлина върху минусите на по този начин наречените „ системи за разкриване на AI-текст “, са доста значими, би било потребно да се разшири обсегът на проучването и към AI принадлежности оттатък ChatGPT, споделя пък Саша Лучиони, откривател в новостартиращата AI Hugging Face.

За Кованович цялата концепция да се опитваме да разпознаем текст, написан от AI, е неправилна – без значение дали посредством потребление на даден програмен продукт или по различен метод. „ Не се опитвайте да откривате AI. По-добре направете по този начин, че потреблението на AI да не е проблем “, споделя той.