Тюринг би се изненадал: ИИ заблуждава хората в 73% от диалозите
За първи път от 75 години насам изкуственият разсъдък мина сполучливо теста за човещина.
Изследователи от Калифорнийския университет в Сан Диего организираха огромен тест, вследствие на който два модерни езикови модела – GPT-4.5 и LLaMa-3.1-405B – сполучливо минаха класическия тест на Тюринг, като заблудиха хората и ги накараха да повярват, че поддържат връзка с човек.
При опита е употребен тристранен формат на теста: човешки събеседник поддържа връзка по едно и също време с двама участници – същински човек и изкуствен интелект – и по-късно би трябвало да дефинира кой кой е. Изследването е извършено върху две самостоятелни групи доброволци – академични студенти и участници в платформата Prolific.
Резултатите са поразителни – GPT-4.5, надъхан да имитира човек, в 73% от случаите (!) е одобряван за жив събеседник, като превъзхожда действителните човешки участници. Моделът LLaMa-3.1 със същата конфигурация съумява да убеди събеседниците си в своята човещина в 56% от случаите, съвсем толкоз добре, колкото и действителните хора.
Основните модели без специфична конфигурация за „ човещина “ демонстрираха доста по-лоши резултати. GPT-4o и ранната стратегия ELIZA бяха разпознати като изкуствени в множеството случаи, като процентът на успеваемост беше надлежно единствено 21% и 23%.
Изследването за първи път от 75-годишното битие на теста на Тюринг демонстрира, че изкуствените системи могат да преминат този типичен тест за просветеност. Алън Тюринг го предлага през 1950 година като метод да се дефинира дали машините могат да показват рационално държание, неразличимо от човешкото.
Интересно е, че единствено 12% от участниците са тествали своите събеседници за познания или логичност – това, което обичайно се смята за симптом на просветеност. Повечето от тях са разглеждали обществените, прочувствените и културните аспекти на общуването, като да вземем за пример естествеността на езика или съществуването на личностни качества.
Съвременните модели се оказаха способни освен да водят разговор като живи събеседници, само че и да го вършат по-убедително от самите хора. Изследователите означават, че с цел да съумеят, моделите е трябвало да бъдат настроени към съответен облик – млад, относително интровертен човек, който се интересува от интернет културата.
Резултатите имат значими на практика последствия. Те демонстрират, че днешните обществено налични езикови модели могат дискретно да заместят хората в относително краткотрайните диалози. Тези системи имат капацитета да автоматизират работата, която изисква къси човешки взаимоотношения, или да имитират обществени взаимоотношения – от инцидентни диалози с непознати до диалози с другари, сътрудници и даже сантиментални сътрудници.
Авторите на изследването предизвестяват за вероятни негативни последствия. „ Фалшивите хора “ – системи, които могат безапелационно да имитират хората – съставляват риск, защото могат да бъдат употребявани за операция, разпространяване на дезинформация и обществено инженерство. Хората могат да прекарват от ден на ден време с тези фалшификати на човешко взаимоотношение, което евентуално може да обезцени същинските човешки взаимоотношения.
Проучването откри също, че способността за различаване на ИИ е съвсем идентична при другите групи хора – даже тези, които всекидневно работят с езикови модели, не се оправят доста по-добре. Въпреки това някои тактики, като да вземем за пример опитите за „ хакване “ на модела, са се оказали по-ефективни.
Тестът на Тюринг не е статична оценка – резултатите от него неизбежно са свързани с изменящите се усещания на хората както за машините, по този начин и за самите тях. Тъй като машините стават все по-добри в имитирането на нашето държание, разликите сред нас може да станат по-значими.
„ Въпреки че в този момент за първи път машина мина теста на Тюринг, това не е последният път, когато хората ще имат опция да съумеят в него “, заключават учените.
Те допускат, че можем да се научим да ставаме все по-добри в забелязването на фините признаци, които ни вършат неповторимо човечни.
