Инструментите с ИИ за програмиране: Действително ли помагат на разработчиците?
Разработването на програмен продукт постоянно е определяно като област, която е подготвена за усъвършенстване посредством внедряване на генеративен изкуствен интелект. Скорошно изследване оспори схващанията за това какъв брой потребни са инструментите за шифроване с ИИ за разработчиците.
Екипът по просвета за данни на Uplevel изследва въздействието на генеративните асистенти за програмиране с изкуствен интелект.
Това, което те употребяват като измерители, са успеваемостта и ефикасността на разработчиците.
Проучването откри, че тяхната успеваемост значително остава непроменена, без значение дали употребяват принадлежности за ИИ или не.
Констатациите на Uplevel опонират на изказванията на GitHub и други заинтригувани страни от промишлеността, които декларират, че генеративният ИИ покачва качеството на кода и успеваемостта на разработчиците.
Лабораторията Uplevel Data Labs проучва резултатите на 800 разработчици измежду своите клиенти.
Изследва разликата в продуктивността на екипите със и без достъп до GitHub Copilot – един от най-популярните асистенти за шифроване с ИИ.
Uplevel откри, че като цяло Copilot не е обезпечил забележителна смяна в индикаторите за успеваемост.
Генерално, Copilot не е оказал помощ или затруднил доста разработчиците и не е повлиял на скоростта на произвеждане на код.
Има известна смяна в някои индикатори, само че действителните регистрирани промени се смятат за „ несъществени “.
Това е в несъгласие с констатациите на GitHub, които сочат, че през двете години, откогато GitHub Copilot е пуснат обществено, разработчиците кодират с 55% по-бързо.
GitHub неотдавна разгласява резултатите от изследване, извършено измежду 202 разработчици.
То откри, че тези с достъп до Copilot имат по-голяма функционалност, четливост и общо качество на кода.
Например, GitHub откри, че четливостта на кода, написан благодарение на Copilot, се е подобрила с 3,62%. Регистрират сходни нараствания при надеждността на кода, опцията за поддръжка на кода и писането на допустимо най-кратък код за дадения сюжет.
GitHub съобщи, че тези числа са статистически значими, само че констатациите от проучването на Uplevel разкриват по-обезпокоителни резултати на инструментите за шифроване с изкуствен интелект върху качеството на кода.
Фирмата откри, че до момента в който пропускателната дарба се е запазила на почти същото равнище, качеството на кода в действителност се е намалило.
Те настояват, че процентът на грешките е доста по-висок.
Установено е, че процентът на грешките в кода, генериран от тези, които употребяват Copilot, се е нараснал с 41%. Заедно с обстоятелството, че продуктивността е останала непроменена, това допуска, че достъпът до Copilot може да навреди на качеството на кода. Поне съгласно Uplevel и техните данни.
Изследването на Uplevel освен демонстрира, че инструментите за програмиране с изкуствен интелект може да не оказват помощ за възстановяване на успеваемостта или ефикасността на разработчиците. Достъпът до Copilot не е изключително ефикасен и за понижаване на риска от прегаряне на разработчиците.
Установено е, че потребността програмистите да бъдат налични отвън работно време и да работят изключително не се е повлияла позитивно от потреблението на такива принадлежности.
Данните въпреки всичко демонстрират, че апетитът за ИИ принадлежности за програмиране измежду разработчиците и бизнес водачите е повишен доста през последната година. Все още няма безапелационна изясненост дали тези решения основават осезаема стойност в промишлеността за създаване на програмен продукт сега. Тепърва ще се водят доста диспути и ще се вършат доста изследвания по тематиката.
