Нов тест открива генерирания от AI текст с 96% точност и 1% грешки – Мичиганският Университет
Американски откриватели от Мичиганския университет са създали нов тест за различаване на генерирания от изкуствен интелект текст и подобен, основан от хора.
Разпознаването на генерираното от изкуствен интелект наличие от основано от човек е много сложна задача. Няма доста принадлежности, които могат дейно да разграничават генерирания от ИИ текст от този, който е основан от човек и да избегнат подправени обвинявания.
Новият тест от американските откриватели може да бъде изключително потребен за учени и студенти, чиято работа все по-често се възприема като генерирана от изкуствен интелект. Разработчиците са нарекли инструмента си „ Liketropy “, тъй като теоретичната основа на метода включва статистическите хрумвания за възможност и ентропия.
Американските откриватели са основали статистически проби, които могат да открият дали текстът е написан от човек или е генериран от AI, без да са нужни спомагателни образци за образование на изкуствения разсъдък. Инструментът е ориентиран към огромните езикови модели и употребява статистически свойства на самия текст, като да вземем за пример степента на изненада или предвидимост на употребяваните думи.
Разработчиците настояват, че техният тест е показал висока успеваемост при огромните масиви от данни, в това число и тези, чиито модели са били скрити от обществеността. Ефективността на теста при разкриване на генериран от LLM текст доближава над 96%, а грешката е единствено 1%.
„ Умишлено не създадохме детектор, който просто сочи с пръст. Детекторите с изкуствен интелект могат да бъдат прекомерно самоуверени, а това е рисковано, изключително в образованието и политиката. Нашата цел беше да бъдем внимателни във връзка с подправените обвинявания, като в същото време маркираме генерираното от изкуствен интелект наличие със статистическа сигурност “ — изяснява съавторът на проучването Тара Радванд, докторант в Училището по бизнес „ Рос “ към Мичиганския университет.
Изследователите обаче са открили, че им е нужна напълно малко информация за съответен LLM, с цел да дефинират генерирания от него текст. Изследователите са се стремели да бъдат обективни, изключително към задграничните студенти, чийто майчин език не е британски. Последните проучвания демонстрират, че работата на студентите, които приказват британски като втори език, постоянно е незаслужено маркирана като генерирана от изкуствен интелект заради сходната конструкция на изреченията.
Изследователите възнамеряват да разширят пилотната версия на своя тест и да го приспособяват към разнообразни области. Те са открили, че области като право и просвета, както и области като банкет в лицей, имат разнообразни прагове за връзката сред нерешителност и успеваемост.
Друга значима област за разкриване на генерираното от изкуствен интелект наличие е ограничението на разпространяването на дезинформация в обществените медии. Някои принадлежности съзнателно насочват LLM към крайни и радикални убеждения и разпространяването на дезинформация в обществените медии, с цел да манипулират публичното мнение.
Тъй като сходни ИИ-системи могат да генерират огромни количества подправено наличие, откривателите споделят, че е извънредно значимо да се разработят принадлежности, които могат да го разпознават и алармират. Ранното разкриване оказва помощ на платформите да лимитират разпространяването на злоумишлен материал.
