Учени откриха, че ChatGPT все повече затъпява
Учени оповестиха за още един проблем, който може да преследва чатботове, основани на платформи с изкуствен интелект (ИИ) – това събитие се назовава „ drift “ и отразява деградацията на интелигентността на системата.
ChatGPT, който дебютира предходната година направи гражданска война в региона на изкуствения разсъдък, само че изследване, оповестено от учени от Станфордския и Калифорнийския университет показва нов проблем на изкуствения разсъдък: Уменията на ChatGPT са се влошили при осъществяването на някои обикновени математически интервенции. Опитът да се усъвършенства една част от комплициран модел на ИИ води до утежняване на положението на други области на модела, а това, означават откривателите, доста усложнява непрекъснатото рационализиране на системите с ИИ.
Учените стигнали до това умозаключение, когато тествали двата езикови модела GPT – 3.5, който е наличен за всички гратис и 4.0, който може да се употребява единствено с заплатен абонамент. На чатбота била дадена обикновена задача: да дефинира дали обещано число е просто. Простото число е естествено число, което се дели единствено на едно и на самото себе си. Ако цифрата е задоволително огромно, то човек не може да реши дали е просто на разум, само че компютърът може да се оправи с тази задача по метода на грубата мощ: да ревизира делимостта му на 2, 3, 5 и така нататък Тестът се основава на извадка от 1000 цифри. През март GPT-4, наличен с премиум абонамент даваше правилни отговори в 84% от случаите, което е подозрителен резултат за компютър, само че до юни процентът на правилните отговори спадна до 51%.
Като цяло GPT-4 сподели по-лоши резултати в 6 от 8-те му дадени задания. GPT-3.5 сподели прогрес в 6 задания, само че в множеството от тях остана по-слаб от своя модернизиран аналог. Увеличаването на броя на неверните отговори беше маркирано от доста консуматори и съгласно заключенията на учените от Станфорд и Бъркли това не са субективни чувства – утежняването е подкрепено с данни.
Все отново, не става дума за цялостно утежняване на моделите с изкуствен интелект: в редица проби GPT-3.5, който по принцип е по-малко прецизен, сподели прогрес, до момента в който GPT-4 утежни резултатите си. В допълнение към математическите задания откривателите са предложили на чатботовете да отговорят на 1500 въпроса. И в случай че през март чатботът, основан на GPT-4 е дал отговор на 98% от въпросите, то през юни той е дал отговор единствено на 23% от тях, като постоянно отговорите му са били прекомерно къси: изкуственият разсъдък е декларирал, че въпросът е индивидуален и той няма лично мнение.
