Итеративният метод на разработване се счита за един от най-добрите,

Итеративният способ на създаване се смята за един от най-хубавите, когато става дума за чатбот като ChatGPT (снимка: CC0 Public Domain)

Когато пусна ChatGPT без доста звук в края на ноември 2022 година, компанията за изкуствен интелект OpenAI имаше малко упования. Никой не беше квалифициран чатботът да се трансформира в мега-хит. Сега основателите на ChatGPT се сюрпризирани от метода, по който тяхното създание стана международна „ звезда “.

Появата на ChatGPT се преглежда от OpenAI като „ прелиминарен проучвателен обзор “, споделя Санхини Агарвал, който дава отговор за политиките в компанията. Това е „ по-полирана “ версия на двегодишна технология и, което е по-важно, опит за изглаждане на някои на неговите дефекти посредством събиране на противоположна връзка от обществеността.

„ Не искахме да го представяме като огромен, фундаментален прогрес “, споделя Лиам Федус, академик в OpenAI, който работи върху ChatGPT. Изглежда, че екипът е комплициран от триумфа на своята „ предварителна версия “, само че въпреки всичко е сграбчил опцията да усъвършенства технологията, наблюдавайки по какъв начин милиони хора я употребяват, с цел да поправя най-осезаемите проблеми.

От ноември OpenAI актуализира ChatGPT няколко пъти. Компанията даже подписа контракт за доста милиарди долари с Microsoft и разгласи партньорство с Bain, световна консултантска компания за ръководство, която възнамерява да употребява генеративните AI модели на OpenAI в маркетингови акции за своите клиенти, в това число Coca-Cola. Извън OpenAI шумът към ChatGPT провокира „ златна тресчица “ по отношение на огромните езикови модели.

Неочакван триумф

„ Поразително е. Бяхме сюрпризирани и се опитвахме да наваксаме “, споделя Ян Лейке, водач на екипа за възстановяване на OpenAI. „ Проверявах Twitter постоянно в дните след стартирането и имаше един вманиачен интервал, в който емисията се запълваше с екранни фотоси на ChatGPT. Очаквах да бъде подсъзнателен за хората и да набере почитатели, само че не чаках да доближи това равнище на всеобща известност “, прям е Джон Шулман, съосновател на OpenAI.

„ Мисля, че несъмнено беше изненада за всички нас какъв брой доста хора започнаха да го употребяват. Работим върху тези модели толкоз доста, че забравяме какъв брой изненадващи могат да бъдат от време на време за външния свят “, признава Сандини Агарвал.

Част от недоумението на екипа идва от обстоятелството, че по-голямата част от технологията в ChatGPT не е нова. ChatGPT е тънко настроена версия на GPT-3.5, семейство от огромни езикови модели, които OpenAI пусна месеци преди чатбота. GPT-3.5 самичък по себе си е обновена версия на GPT-3, която се появи през 2020 година

Компанията прави тези модели налични на уеб страницата си като приложни програмни интерфейси (API), които оказват помощ на други разработчици на програмен продукт да включват моделите в своя техния личен код. OpenAI пусна и по-ранна, тънко настроена версия на GPT-3.5, наречена InstructGPT, през януари 2022 година Но нито една от тези предходни версии на технологията не стана подобен шлагер.

Фина конфигурация

„ Моделът ChatGPT е тънко надъхан на база същия езиков модел като InstructGPT и използвахме сходна методология за фината му конфигурация “, споделя Федус. „ Бяхме добавили разговорни данни и малко настроихме процеса на образование. Така че не искахме да преувеличаваме и да го представяме като огромен, фундаментален прогрес. Както се оказа, данните за диалозите имаха огромно позитивно влияние върху ChatGPT “.
още по темата
Според Шулман, чистите механически благоприятни условия на бота в действителност не се разграничават значително сред моделите, създадени от компанията – разликата е по-скоро в това, че ChatGPT е по-достъпен и приложим.

„ В прочут смисъл можем да преглеждаме ChatGPT като версия на AI система, която имаме от дълго време. Той не е фундаментално по-способен модел от по-ранните версии. Същите съществени модели бяха налични съвсем година преди да излезе ChatGPT “, споделя Федус.

Това, което е друго, е че в този момент ботът е по-съобразен с упованията на хората. „ Той приказва с вас в разговор, елементарно е наличен в интерфейс за чат, пробва се да бъде потребен. Мисля, че това е, което хората осъзнават “, добавя Федус.

Човешка противоположна връзка

ChatGPT е подготвен по метод, доста сходен на InstructGPT, употребявайки техника, наречена „ подсилващо образование посредством човешка противоположна връзка “ (RLHF). Това е тайната съставна част на ChatGPT.

„ Имахме огромна група хора, които прочетоха подканите и отговорите на ChatGPT и по-късно споделиха дали даден отговор е за предпочитане пред различен “, споделя Ян Лейке. „ След това всички тези данни бяха обединени в едно подготвително осъществяване. Почти всичко е същото като това, което направихме с InstructGPT “.

В устрема да създадат бота по-адекватен разработчиците се стараят той да е потребен, да има меродавност. Важен детайл е способността за водене на разговор.

„ Понякога поръчката на потребителя не е ясна, тогава той би трябвало да задава следващи въпроси “, споделя Лейке. „ Трябва също по този начин да се обясни, че това е AI система. Не бива да приема еднаквост, която няма, не би трябвало да твърди, че има качества, които не има, и когато консуматор изиска от него да извършва задания, които не би трябвало да прави, следва да напише отвод “.

Висока летва

Тъй като ChatGPT е основан благодарение на същите техники, които OpenAI е употребявал преди, екипът счита, че не е направил нищо друго, когато се е подготвял да пусне този модел към обществеността. Изследователите считат, че летвата, която са сложили за предходни модели, е задоволително висока.

„ GPT-3.5 към този момент съществуваше и знаехме, че към този момент е задоволително безвреден “, споделя Агарвал. „ Не можете да чакате, до момента в който системата ви стане съвършена, с цел да я пуснете. Тествахме бета-версии от няколко месеца и бета-тестерите имаха позитивни усещания от продукта “, споделя Джон Шулман.

„ Най-голямото ни терзание беше към фактологията, тъй като моделът обича да измисля неща. Но InstructGPT и други огромни езикови модели към този момент са налице и взехме решение, че щом ChatGPT е по-добър от тях във връзка с фактологията и други проблеми на сигурността, би трябвало да е подготвен “, добавя Шулман.

Схватка със злонамереността

OpenAI следи по какъв начин хората употребяват ChatGPT от стартирането му. Разработчиците наблюдават по какъв начин един огромен езиков модел се оправя, когато бъде подложен в ръцете на десетки милиони консуматори, които биха могли да изискат да тестват неговите ограничавания и да намерят минусите му.

Екипът се стопира на най-проблемните образци за това, което ChatGPT може да създаде – от песни за Божията обич към свещениците-изнасилвачи до злотворен код, който краде номера на кредитни карти – и да ги употребява, с цел да овладее бъдещите версии на модела.

„ Определено мисля, че откогато ChatGPT стана шлагер, той оказа помощ за изкристализирането на доста проблеми, за които знаехме, че съществуват – неща, които желаеме да разгадаем допустимо най-скоро. Знаем, че моделът към момента е доста привързан. И да, ChatGPT е доста добър в отказването на неприятни поръчки, само че също по този начин е много елементарно да напишете подкани, които го карат да не отхвърля това, което ние желаеме да откаже “, споделя Агарвал.

„ Беше вълнуващо да гледаме разнообразните и изобретателни приложения от потребителите. Но ние постоянно сме фокусирани върху областите, които би трябвало да подобрим “, прям е Федус. Множеството итерации разрешават да се употребява наличната противоположна връзка за усъвършенстването на системата. „ С развиването на нашата технология неизбежно пораждат нови проблеми “.

Екипът е отделил много време на това да прегледа някои от най-ужасните образци, които хората са разкрили – най-злонамерените приложения на системата с неестествен разум. Наричат ги „ бягство от пандиза “ – обстановки, в които въпреки всичко някой съумява да накара софтуера да прави нещо, което не трябва. „ Потребителите би трябвало да тестват тези комплицирани способи, с цел да накарат модела да каже нещо неприятно. Активно работим по проблемите сега “, споделя Агарвал. Всички тези усъвършенствания ще залегнат в идната итерация на езиковия модел.

Междувременно през януари Microsoft разкри Bing Chat – чатбот за търсене, който мнозина считат за версия на публично необявения GPT-4 на OpenAI. Използването на чатботове от софтуерни колоси с многомилиардна известност основава нови провокации за екипа, претрупан с построяването на известния езиков модел.