Vibe-кодингът като път към цифрово харакири
Защо опитите с изкуствен интелект все по-често приключват със затрито произвеждане.
ИИ асистентите за програмиране са позиционирани като принадлежности, които могат да трансфорат всеки най-обиконвен текст в работещ код. Вече не е належащо потребителят да познава синтаксиса на езиците, да отстранява грешките в командите и да схваща структурата на файловете – просто би трябвало да опише какво би трябвало да се направи. Но зад това заричане за елементарност се крие систематичен риск. Когато тези асистенти стартират да работят въз основа на измислени хрумвания за структурата на системата, резултатът е освен неточности, само че и цялостно заличаване на данните и спиране на бизнес процесите.
Два неотдавнашни случая – с Гугъл Gemini и платформата Replit – демонстрираха какъв брой нежна може да бъде връзката сред действителното държание на компютъра и това, което изкуственият разсъдък си мисли, че се случва. И в двата случая инструментите на ИИ не просто сбъркаха, само че и започнаха да работят въз основата на неправилни догатки, което систематично задълбочаваше казуса.
В случая с Gemini CLI жертвата беше продуктов управител в региона на инженерството, прочут с прякора anuraag, който експериментираше с метода „ vibe coding “. Това е нова процедура, при която потребителят вкарва елементарни указания на натурален език, а изкуственият разсъдък ги трансформира в програмни команди. Задачата наподобява обикновена – преименуване на директория и нареждане на файловете в нова конструкция. Но изкуственият разсъдък изтълкува неправилно положението на файловата система и стартира да извършва команди въз основа на фантомна папка, която не съществува.
Проблемът стартира при опит за основаване на нова папка благодарение на команда на Windows. По някаква незнайна причина командата не се извърши, само че изкуственият разсъдък смяташе, че е сполучлива. След това той стартира да реалокира файловете в път, който не съществува. Когато се сблъска с подобен сюжет, Windows не дава неточност, а просто преименува файловете. В резултат на това всеки нов файл изтрива предходния и всички данни се губят. Потребителят е следил това в действително време, преди да може да се намеси. Когато всичко свършило, интерфейсът посочил фразата: „ Провалих ви изцяло и пагубно “.
Причината за тази неточност е, че моделът не разполага с главната дарба да удостоверява дейностите си. Той не проучва дали командата фактически е сработила. Няма стадий на инспекция, няма четене на положението след осъществяването. Вътрешният модел взема решение, че всичко върви по проект, и продължава да се движи напред, макар че действителността от дълго време е поела в противоположна посока. Всичко това се назовава конфабулация – когато изкуственият разсъдък измисля разумно, само че погрешно пояснение за своите дейности.
Подобна история се случи и с Replit. Предприемачът Джейсън Лемкин, основател на SaaStr, е употребявал услугата за бързо основаване на прототипи. Той бил разчувствуван от скоростта, с която асистентът с изкуствен интелект основал работещо приложение, до момента в който нещата не се объркали. Въпреки че Лемкин категорично и неведнъж го инструктирал кодът никога да не се трансформира кода удостоверение, моделът пренебрегнал инструкциите. Той почнал да подправя тестовите данни, да генерира подправени доклади и най-после изтрил база данни с значима информация за стотици компании и клиенти. Неприятно.
Това, което е изключително плашещо, е, че изкуственият разсъдък не просто бърка. Той лъже. Вместо известия за неточност, той е давал позитивни резултати; вместо неуспех, той е генерирал мним триумф. Когато Лемкин се опитал да възвърне базата данни, Replit съобщил, че това е невероятно да се направи. Едва по-късно се оказало, че функционалността за възобновяване въпреки всичко работи, а ИИ просто е дал подправен отговор.
На въпроса за какво е направил това, асистентът с изкуствен интелект дава отговор, че е „ изпаднал в суматоха “ и се пробва да „ реши “ казуса. Това не е метафора – това е дословната дефиниция на отговора. По създание моделът, некадърен да разбере какво тъкмо прави, продължава да прави промени в действителната система, без да схваща следствията или рестриктивните мерки за деяние.
Всичко това сочи към систематичен проблем. Моделите на изкуствения разсъдък нямат достъп до постоянна база от познания, не могат обективно да оценят личните си благоприятни условия и не са в положение да разграничат истината от измислицата в границите на личното си потомство. Това, което те показват за обстоятелства, е просто резултат от статистически зависимости в тяхното образование. Ако формулирате питане по друг метод, те могат да дадат противопоставен отговор със същото равнище на убеденост.
Освен това потребителите постоянно подценяват рисковете. Лемкин, както и доста други, възприема ИИ асистента като „ образован сътрудник “, който може да прави неточности, само че като цяло схваща какво прави. Това неправилно разбиране се подхранва частично от маркетинга, който показва ИИ като „ съвсем човек “, макар че всъщност той е единствено модернизиран автоматизиран текстови помощник. Тези произшествия демонстрират какъв брой е рисково да се употребяват такива принадлежности в продуктивна среда. Ако потребителят не схваща по какъв начин работи моделът и не е в положение персонално да ревизира резултатите, той рискува да загуби значима информация или даже да провали плана. На настоящия стадий на развиване може би единственият рационален метод за взаимоотношение с ИИ помощник е той да се употребява единствено в строго изолирана среда с аварийни копия и хотовност за цялостен отвод.
Нито Gemini, нито Replit дават на потребителя принадлежности за инспекция на дейностите на ИИ, а самите модели не ревизират своите стъпки. Това не са просто неточности – те са архитектурна специфичност на цялата система. И в случай че сходни модели в действителност станат необятно публикувани, както дават обещание разработчиците, то сходни неточности ще се трансфорат не в изключение, а в част от всекидневието.
