ChatGPT е навсякъде, но откъде идва? Историята на една технология
ChatGPT към този момент е на всички места – от всекидневието на експерти в разнообразни промишлености до това на хора, които до неотдавна не обръщаха никакво внимание на тематиката за развиването на изкуствения разсъдък.
Пуснат в края на ноември като уеб приложение от основаната в Сан Франциско компания OpenAI, чатботът навлезе в всеобщата приложимост съвсем за една нощ. Според някои оценки това е най-бързо разрастващата се интернет услуга в историята. Тя доближи 100 милиона консуматори през януари - единствено два месеца след стартирането си. А с помощта на договорката на OpenAI с Microsoft на стойност 10 милиарда $, технологията към този момент е интегрирана и в софтуера Office и търсачката Bing.
Историческият триумф на ChatGPT разсъни цялата промишленост, в това числоо и Гугъл. Технологичният колос форсира внедряването на личния си чатбот LaMDA.
Но пробивът на OpenAI не пристигна от нищото, показва Technology Review и прави обзор на развиването на технологията за огромни езикови модели през годините.
80-те и 90-те години на предишния век: Рекурентни невронни мрежи
ChatGPT е версия на GPT-3 - огромен езиков модел, също създаден от OpenAI. Този вид модели са тип невронни мрежи (софтуер, въодушевен от метода, по който невроните в мозъците на животните подават сигнали един на друг), които са подготвени върху доста и разнообразни текстове. Тъй като текстът е формиран от последователности от букви и думи с друга дължина, езиковите модели изискват тип невронна мрежа, която може да осмисли този тип данни.
Рекурентните невронни мрежи, изобретени през 80-те години на предишния век, могат да обработват поредици от думи, само че се образоват постепенно и се случва да „ не помнят “ към този момент научени словосъчетания.
През 1997 година двама учени - Сеп Хохрайтер и Юрген Шмидхубер, вземат решение този проблем, като изобретяват LSTM (Long Short-Term Memory) мрежите - рекурентни невронни мрежи със специфични съставни елементи, които разрешават опазване на предходни данни във входната поредност за по-дълго време. LSTM мрежите могат да обработват текстови низове с дължина няколкостотин думи, само че езиковите им умения са лимитирани.
2017: Трансформация
Пробивът, който стои в основата на актуалното потомство огромни езикови модели, идва, когато екип от откриватели на Гугъл изобретяват така наречен „ трансформатори “ - тип невронни мрежи, които могат да наблюдават къде се появява всяка дума или фраза в дадена поредност.
Значението на думите постоянно зависи от това на други думи, които идват преди или след тях. Като наблюдават тази контекстуална информация, трансформаторите могат да обработват по-дълги поредици от текст и да улавят смислите на думите по-точно. Например на британски думата " хотдог " значи напълно разнообразни неща в изреченията „ Hot dogs should be given plenty of water ” и “Hotdogs should be eaten with mustard. ”, показват от Technology Review.
2018-2019: GPT и GPT-2
Първите два огромни езикови модела на OpenAI се появяват през няколко месеца, като посредством тях компанията желае да създаде многофункционален изкуствен интелект с общо предопределение и счита, че огромните езикови модели са основна стъпка към тази цел. GPT (съкращение от Generative Pre-trained Transformer - генеративен авансово подготвен трансформатор) слага началото, като надминава най-хубавите по това време платформи.
GPT комбинира трансформатори с неконтролирано образование (начин за образование на модели за изкуствен интелект върху данни (в този случай доста и разнообразни текстове), които не са били авансово анотирани). Това разрешава на софтуера самичък да открива моделите в данните, без да е належащо да му се споделя какво преглежда.
До този миг доста от водещите модели разчитат на образование под наблюдаване и анотирани данни. Но ръчното маркиране на данните е мудна работа и по този метод се лимитира размера на наборите от данни, на които се базира образованието.
GPT-2 провокира по-голям звук с появяването си. От OpenAI даже настояват, че са толкоз загрижени, че хората ще употребяват системата за противообществени действия, че отхвърлят да разгласяват цялостния модел.
2020: GPT-3
И в действителност, показва Technology Review, GPT-2 беше впечатляващ, само че последвалият модел на OpenAI - GPT-3, изуми доста анализатори. Способността му да генерира текст, сходен на този, основан от човек, е огромен скок напред в развиването на технологията. GPT-3 може да дава отговор на въпроси, да обобщава документи, да генерира разкази в разнообразни стилове, да превежда сред британски, френски, испански и японски език и други
Мимикрията му е невероятна, а един от най-забележителните заключения е, че GPT-3 е реализира триумфите си по-скоро посредством възстановяване на съществуващите техники, в сравнение с посредством измисляне на нови. GPT-3 има 175 милиарда параметъра (стойностите в мрежата, които се поправят по време на обучението) спрямо 1,5 милиарда на GPT-2. Освен това новата мрежа е подготвена благодарение на доста повече данни.
Но образованието посредством текст, взет от интернет, води до нови проблеми. GPT-3 попива огромна част от дезинформацията и предразсъдъците, които открива в интернет, и ги възпроизвежда при поискване. Както OpenAI признава: " Моделите, подготвени в интернет, имат пристрастия от интернет мащаб. "
Декември 2020 г: Реч на омразата и други проблеми
Докато OpenAI се бори с пристрастията, демонстрирани от GPT-3, останалата част от софтуерния свят също се сблъсква с сходни провокации. Не е загадка, че огромните езикови модели могат да генерират текстове, цялостни с погрешна информация и тирада на омразата, само че откривателите откриват, че отстраняването на тези проблеми не е в листата със задания на множеството огромни софтуерни компании.
Когато Тимнит Гебру, шеф на екипа по нравственос на изкуствения разсъдък на Гугъл, изпраща отчет, в който се акцентират евентуалните вреди, свързани с огромните езикови модели (включително високите изчислителни разходи), той не е признат задушевно от висшите мениджъри в компанията. През декември 2020 година Гебру е освободена от поста си, дава образец Technology Review.
Януари 2022 година: InstructGPT
OpenAI се пробва да понижи количеството дезинформация и тирада на омразата. Резултатът - InstructGPT, е по-добър в следването на инструкциите на хората, които го употребяват - прочут като инструмент за " подравняване " на жаргона на изкуствения разсъдък, той генерира доста по-малко сходни изявления и като цяло прави по-малко неточности. Накратко, InstructGPT е по-малко „ тъпанар “ от предшественика си - в случай че не бъде помолен да бъде подобен, показват от профилираното издание.
Май-юли 2022 година: OPT, BLOOM
Често срещана рецензия към огромните езикови модели е, че разноските за образованието им затрудняват основаването на такива от организации с по-ограничени финансови благоприятни условия. Това поражда опасения, че технологията попада в ръцете на дребни корпоративни екипи, които работят при закрити порти, без подобаващ надзор и без присъединяване на по-широка изследователска общественост.
В отговор на това няколко взаимни плана създават огромни езикови модели и ги дават гратис на всички откриватели, които желаят да учат и усъвършенстват технологията. Meta да вземем за пример основава и дава OPT, реорганизация на GPT-3. Hugging Face пък управлява консорциум от към 1000 изследователи-доброволци, които основават и пускат BLOOM.
Декември 2022 година: ChatGPT
Дори OpenAI е сюрпризирана от метода, по който е признат ChatGPT. В първата проява новата платформа е показана като постепенна актуализация на InstructGPT.
Подобно на този модел, ChatGPT е подготвен благодарение на противоположна връзка от човешки тестери, които правят оценка представянето му като такова на „ равномерен, прецизен и неангажиращ събеседник “.
На процедура OpenAI образова GPT-3 да овладее умеенето да беседва като човек. И към този момент милиони му оказват помощ в неговата задача.
Пуснат в края на ноември като уеб приложение от основаната в Сан Франциско компания OpenAI, чатботът навлезе в всеобщата приложимост съвсем за една нощ. Според някои оценки това е най-бързо разрастващата се интернет услуга в историята. Тя доближи 100 милиона консуматори през януари - единствено два месеца след стартирането си. А с помощта на договорката на OpenAI с Microsoft на стойност 10 милиарда $, технологията към този момент е интегрирана и в софтуера Office и търсачката Bing.
Историческият триумф на ChatGPT разсъни цялата промишленост, в това числоо и Гугъл. Технологичният колос форсира внедряването на личния си чатбот LaMDA.
Но пробивът на OpenAI не пристигна от нищото, показва Technology Review и прави обзор на развиването на технологията за огромни езикови модели през годините.
80-те и 90-те години на предишния век: Рекурентни невронни мрежи
ChatGPT е версия на GPT-3 - огромен езиков модел, също създаден от OpenAI. Този вид модели са тип невронни мрежи (софтуер, въодушевен от метода, по който невроните в мозъците на животните подават сигнали един на друг), които са подготвени върху доста и разнообразни текстове. Тъй като текстът е формиран от последователности от букви и думи с друга дължина, езиковите модели изискват тип невронна мрежа, която може да осмисли този тип данни.
Рекурентните невронни мрежи, изобретени през 80-те години на предишния век, могат да обработват поредици от думи, само че се образоват постепенно и се случва да „ не помнят “ към този момент научени словосъчетания.
През 1997 година двама учени - Сеп Хохрайтер и Юрген Шмидхубер, вземат решение този проблем, като изобретяват LSTM (Long Short-Term Memory) мрежите - рекурентни невронни мрежи със специфични съставни елементи, които разрешават опазване на предходни данни във входната поредност за по-дълго време. LSTM мрежите могат да обработват текстови низове с дължина няколкостотин думи, само че езиковите им умения са лимитирани.
2017: Трансформация
Пробивът, който стои в основата на актуалното потомство огромни езикови модели, идва, когато екип от откриватели на Гугъл изобретяват така наречен „ трансформатори “ - тип невронни мрежи, които могат да наблюдават къде се появява всяка дума или фраза в дадена поредност.
Значението на думите постоянно зависи от това на други думи, които идват преди или след тях. Като наблюдават тази контекстуална информация, трансформаторите могат да обработват по-дълги поредици от текст и да улавят смислите на думите по-точно. Например на британски думата " хотдог " значи напълно разнообразни неща в изреченията „ Hot dogs should be given plenty of water ” и “Hotdogs should be eaten with mustard. ”, показват от Technology Review.
2018-2019: GPT и GPT-2
Първите два огромни езикови модела на OpenAI се появяват през няколко месеца, като посредством тях компанията желае да създаде многофункционален изкуствен интелект с общо предопределение и счита, че огромните езикови модели са основна стъпка към тази цел. GPT (съкращение от Generative Pre-trained Transformer - генеративен авансово подготвен трансформатор) слага началото, като надминава най-хубавите по това време платформи.
GPT комбинира трансформатори с неконтролирано образование (начин за образование на модели за изкуствен интелект върху данни (в този случай доста и разнообразни текстове), които не са били авансово анотирани). Това разрешава на софтуера самичък да открива моделите в данните, без да е належащо да му се споделя какво преглежда.
До този миг доста от водещите модели разчитат на образование под наблюдаване и анотирани данни. Но ръчното маркиране на данните е мудна работа и по този метод се лимитира размера на наборите от данни, на които се базира образованието.
GPT-2 провокира по-голям звук с появяването си. От OpenAI даже настояват, че са толкоз загрижени, че хората ще употребяват системата за противообществени действия, че отхвърлят да разгласяват цялостния модел.
2020: GPT-3
И в действителност, показва Technology Review, GPT-2 беше впечатляващ, само че последвалият модел на OpenAI - GPT-3, изуми доста анализатори. Способността му да генерира текст, сходен на този, основан от човек, е огромен скок напред в развиването на технологията. GPT-3 може да дава отговор на въпроси, да обобщава документи, да генерира разкази в разнообразни стилове, да превежда сред британски, френски, испански и японски език и други
Мимикрията му е невероятна, а един от най-забележителните заключения е, че GPT-3 е реализира триумфите си по-скоро посредством възстановяване на съществуващите техники, в сравнение с посредством измисляне на нови. GPT-3 има 175 милиарда параметъра (стойностите в мрежата, които се поправят по време на обучението) спрямо 1,5 милиарда на GPT-2. Освен това новата мрежа е подготвена благодарение на доста повече данни.
Но образованието посредством текст, взет от интернет, води до нови проблеми. GPT-3 попива огромна част от дезинформацията и предразсъдъците, които открива в интернет, и ги възпроизвежда при поискване. Както OpenAI признава: " Моделите, подготвени в интернет, имат пристрастия от интернет мащаб. "
Декември 2020 г: Реч на омразата и други проблеми
Докато OpenAI се бори с пристрастията, демонстрирани от GPT-3, останалата част от софтуерния свят също се сблъсква с сходни провокации. Не е загадка, че огромните езикови модели могат да генерират текстове, цялостни с погрешна информация и тирада на омразата, само че откривателите откриват, че отстраняването на тези проблеми не е в листата със задания на множеството огромни софтуерни компании.
Когато Тимнит Гебру, шеф на екипа по нравственос на изкуствения разсъдък на Гугъл, изпраща отчет, в който се акцентират евентуалните вреди, свързани с огромните езикови модели (включително високите изчислителни разходи), той не е признат задушевно от висшите мениджъри в компанията. През декември 2020 година Гебру е освободена от поста си, дава образец Technology Review.
Януари 2022 година: InstructGPT
OpenAI се пробва да понижи количеството дезинформация и тирада на омразата. Резултатът - InstructGPT, е по-добър в следването на инструкциите на хората, които го употребяват - прочут като инструмент за " подравняване " на жаргона на изкуствения разсъдък, той генерира доста по-малко сходни изявления и като цяло прави по-малко неточности. Накратко, InstructGPT е по-малко „ тъпанар “ от предшественика си - в случай че не бъде помолен да бъде подобен, показват от профилираното издание.
Май-юли 2022 година: OPT, BLOOM
Често срещана рецензия към огромните езикови модели е, че разноските за образованието им затрудняват основаването на такива от организации с по-ограничени финансови благоприятни условия. Това поражда опасения, че технологията попада в ръцете на дребни корпоративни екипи, които работят при закрити порти, без подобаващ надзор и без присъединяване на по-широка изследователска общественост.
В отговор на това няколко взаимни плана създават огромни езикови модели и ги дават гратис на всички откриватели, които желаят да учат и усъвършенстват технологията. Meta да вземем за пример основава и дава OPT, реорганизация на GPT-3. Hugging Face пък управлява консорциум от към 1000 изследователи-доброволци, които основават и пускат BLOOM.
Декември 2022 година: ChatGPT
Дори OpenAI е сюрпризирана от метода, по който е признат ChatGPT. В първата проява новата платформа е показана като постепенна актуализация на InstructGPT.
Подобно на този модел, ChatGPT е подготвен благодарение на противоположна връзка от човешки тестери, които правят оценка представянето му като такова на „ равномерен, прецизен и неангажиращ събеседник “.
На процедура OpenAI образова GPT-3 да овладее умеенето да беседва като човек. И към този момент милиони му оказват помощ в неговата задача.
Източник: profit.bg
КОМЕНТАРИ