Създателят в Стража“ Благослав Михайлов написа коментар в профила си

Създателят в „ Стража “ Благослав Михайлов написа коментар в профила си в обществената мрежа Фейсбук по отношение на навлизането на технологиите и терзанията, които това провокира у някои хора по какъв начин ще упражняват своите специалности в бъдеще. Публикуваме разбора му без редакторска интервенция:

„ Учудвам се, че ChatGPT толкоз нашумя в България. Напоследък от ден на ден хора ме питат има ли бъдеще за тяхната специалност. Има ли смисъл да не престават напред или би трябвало просто да се откажат от живота, тъй като скоро машините ще ни заменят?

Аз персонално съм малко по-скептичен. Но вместо да ми се доверявате на мен, дано ви обясня по какъв начин в действителност работи ChatGPT и вие можете да прецените сами до каква степен сте застрашени. Първо, ChatGPT е построен върху GPT-3, който излезна през 2020 и още тогава беше много впечатляващ, само че всеобщата общност не му обърна голямо внимание, тъй като още не можеше да си чати с него.

Начинът, по който работи GPT-3 е, че се учи да планува коя е идната дума, при дадени 2048 предишни думи. Този прозорец от думи се назовава „ подтекст “ (за съпоставяне GPT-4 има подтекст от 32 768 думи). GPT-3 е квалифициран върху разнообразни бази данни, съдържащи общо към 500 милиарда думи, които главно са скрейпвани от интернет. Използвайки всички тези данни е нагласил своите 175 милиарда параметъра, тъй че да генерира тирада, която се вписва в структурата, която ние одобряваме за „ човешка тирада “.

Разбира се, тук пропущам доста механически елементи. Например, както при всички сходни модели, думите се трансформират във векторна форма. Тази векторна форма, най-просто казано, показва думата като точка в една многоизмерна координатна система, като близки по смисъл думи са близки и по координати.

Тоест, нито един от тези логаритми не знае какво значат тези думи, само че знае по какъв начин се съотнасят по отношение на други думи, което е задоволително, с цел да генерират човекоподобна тирада (То аз мисля, че и при хората е по този начин. Думите сами по себе си нямат смисъл). А тренирайки и върху изображения от интернет, към този момент тези модели добиват и някаква визия по какъв начин наподобяват нещата, за които приказват. Тоест те научават, че избрани структури от думи подхождат на избрани структури от пиксели.

Друг значим детайл в логаритъма на GPT-3 е нещо наречено „ self-attention “, което в общи линии значи, че логаритъмът се научава да преценя коя дума от предходните би трябвало да има по-голяма тежест при установяване на актуалната. Тоест, някоя дума 1000 думи обратно може да има 60% тежест при установяване на актуалната дума, до момента в който останалите да имат по 0,1%.

Всичко това минава през доста пластове „ трансформатори “, където логаритъмът се научава на по-дълбоки абстракции и по този начин най-после, откакто е квалифициран с мощни суперкомпютри, се научава да симулира човешка тирада. И то на много високо равнище.

И в този момент, откакто знаете всичко това, какъв брой уплашени би трябвало да бъдете? Ами зависи какво работите. Ако пишете промоционални текстове за маратонки, евентуално би трябвало да треперите от смут. Ако пишете някакъв не изключително новаторски код, не знам дали би трябвало да ви е боязън. Просто вместо да се ровите в StackOverflow, ще питате Copilot да ви напише кода. И действително ще бъдете по-производителни.

Има доста неща, които GPT-3 (или 4) не може и скоро няма да може да прави. Тези модели познават структурата на човешката тирада (както и на изображенията в интернет). Те могат да пресъздават нейната форма, само че не и нейната същина.

Защото всяка човешка дума не е основана на предните 2048 (или 32 768) думи, или на 500 милиарда думи от интернет, или пък на 175 милиарда параметъра. Не, всяка човешка дума идва от 100 милиарда неврона с трилиони връзки посред им. Идва от милиони години еволюция и в тази ситуация на възрастен човек, от десетилетия живеене и непрекъснато култивиране на информация, идваща от всичките сетива.

Да измислиш по какъв начин да кажеш нещо изисква 1% от мисловния потенциал, останалите 99% отиват в това да решиш какво да кажеш (процентите са илюстративни). Тези логаритми сега знаят по какъв начин да кажат нещо, само че не знаят какво да кажат. Нямат никаква концепция какво би трябвало да бъде казано.

Колкото и да са вълнуващи тези технологии, дано не захвърляме индивида. За него към момента има място на този свят. “