ChatGPT е много убедителен лъжец
Малко откакто чатботът ChatGPT беше пуснат обществено, програмистите започнаха да обръщат внимание на една забележителна характерност на на творбата на OpenAI: че може бързо да изписва код в отговор на лесни подкани.
Но би трябвало ли софтуерните инженери в действителност да се доверяват на новаторската технология?
Във към момента нерецензирано изследване откриватели от университета Purdue откриват, че известният инструмент за изкуствен интелект е сбъркал малко повече от половината от 517 запитвания за софтуерно инженерство от известната платформа за въпроси и отговори Stack Overflow - отрезвяваща инспекция на действителността, която би трябвало да накара програмистите да се замислят два пъти, преди да употребяват отговорите на ChatGPT във значими планове.
Патологичен измамник
Изследването обаче отива по-далеч, като открива завладяващи нюанси и в способността на хората. Изследователите помолили група от 12 участници с разнообразни равнища на опит в програмирането да проучват отговорите на ChatGPT. Макар че те са склонни да правят оценка отговорите на Stack Overflow по-високо в категории, включващи точност, пълнота, краткост и полза, те не са се справили чудесно с идентифицирането на неверните отговори на ChatGPT, като не са съумели да виждат неверните отговори в 39,34% от случаите.
С други думи, ChatGPT е доста безапелационен измамник - действителност, с която сме прекомерно добре осведомени.
" Потребителите подценяват погрешната информация в отговорите на ChatGPT (в 39,34% от случаите) с помощта на изчерпателните, добре дефинирани и хуманоидни прозрения в отговорите на ChatGPT ", се споделя в изследването.
И по този начин, до каква степен би трябвало да сме обезпокоени? От една страна, има доста способи да се стигне до еднакъв " верен " отговор в софтуера. Много програмисти също по този начин споделят, че ревизират резултатите на чатбота, което допуска, че схващат рестриктивните мерки на инструмента. Но дали това ще продължи да бъде по този начин, следва да разберем.
Липса на разсъдък
Изследователите настояват, че към момента би трябвало да се свърши доста работа, с цел да се отстранят тези дефекти.
" Въпреки че съществуващите старания се концентрират върху премахването на така наречен " измислици " от огромните езикови модели, те са използвани единствено за коригиране на фактологични неточности ", пишат те. " Тъй като коренът на концептуалната неточност не е халюцинацията, а по-скоро липса на схващане и размишление, съществуващите корекции не са използвани за понижаване на концептуалните неточности. "
" В отговор на това би трябвало да се съсредоточим върху научаването на ChatGPT да разсъждава ", заключават откривателите - комплицирана задача за актуалното потомство ИИ. /БГНЕС
