AI: Изследователи разработиха суперефективен инструмент за откриване на написаните от ChatGPT статии
Изследователи създадоха инструмент, основан на машинно образование, за разкриване на научните публикации, генерирани от ChatGPT. В съпоставяне с други известни детектори, този инструмент е изключително ефикасен за разбор на текст в региона на химията. Въпреки това, след създаването на този първичен модел, откривателите са осъзнали, че би било много елементарно да се основат принадлежности за разкриване и в други области.
Преди появяването на изкуствения разсъдък, обвиняванията против научните публикации постоянно бяха съсредоточени върху плагиатството. Сега, когато технологията получи малко рецензии, дебатът наподобява се насочва към генерираното от AI-съдържание.
В частност, университетските среди, откривателите и студентите, които съставляват генерираните от AI артикули, нарушават правилата на автентичност и самостоятелен метод към работата. Ето за какво група учени от университета в Канзас (САЩ), ръководена от Bruyère Desert, създаде програмен продукт, който може надеждно да разпознава основаното от ChatGPT наличие. Този инструмент се основава на машинно образование и е изключително ефикасен при анализирането на научни публикации и по-конкретно в региона на химията. За задачата, детекторът учи 20 разнообразни особености на стила на писане, в това число и вариациите в дължината на изречението, честотата на потребление на избрани думи и препинателните знаци. Резултатите от проучването са разказани в детайли в списанието.
Надеждност до 100%
За образование на детектора са употребявани 100 въведени публикации от 10 разнообразни списания на Американското химическо общество (ACS). Тези примерни текстове са били употребявани като образци за наличие, написано от хора. След това ChatGPT-3.5 е бил помолен да генерира 200 публикации, които имитират стила на писане на материалите в списанията ACS. 100 от тези текстове са основани посредством проникване като подсказки единствено на заглавията. Останалите 100 текста са основани посредством включени в тях анотации на публикациите.
В хода на тестванията, при потребление на детектора за идентифициране на наличието, генерирано от ChatGPT-3.5, употребявайки заглавията на публикациите, беше реализирана 100% надеждност. За записите, които ChatGPT генерира, употребявайки анотации като насочна точка, надеждността на детектора е 98%. Детекторът също работи добре и с текстовете, генерирани от ChatGPT-4.
Екипът също съпостави инструмента с два други детектора. Първият, наименуван ZeroGPT, се показа доста по-зле, като надеждността варира от 35 до 65% според от версията на ChatGPT. Вторият инструмент, създаден от OpenAI (компанията зад ChatGPT), сподели още по-ниска надеждност, варираща от 10% до 55%.
Детектор, профилиран в научните публикации
По време на тестванията, системата се е оказала изключително ефикасна при анализиране на публикациите в научните списания, изключително в региона на химията. Според един от откривателите, би било за предпочитане да се разработят детектори, които са профилирани в характерните области, а не принадлежности с „ общо предопределение “. Това ще усъвършенства точността, защото ще бъдат подготвени да разпознават общите за тези области стилове на писане.
Освен това, демонстрирайки към този момент потвърдената успеваемост на своя детектор, Дезър и неговият екип са на прав път. Според тях, откакто бъде създаден ефикасен способ за разкриване на наличието от съответна област, това ще бъде елементарно да се приложи и в други сфери.
