Наука и технологии: Какво следва при изкуствения интелект
През 2023 година ползата към изкуствения разсъдък (ИИ) доближи своя връх. За шест месеца търсенията на фразата " изкуствен интелект " в търсачката на Гугъл се усилиха четирикратно, откакто в края на ноември 2022 година започва ChatGPT на OpenAI - най-известният и ефикасен чатбот в интернет. Към август 2023 година една трета от респондентите в последното световно изследване на McKinsey декларират, че техните организации употребяват генеративен изкуствен интелект за най-малко една от дейностите си.
Как технологията ще се развие през 2024 година? Има три съществени направления, в които откривателите усъвършенстват своите ИИ модели: размер, данни и приложения.
Да стартираме с размера. През последните няколко години възприетата доктрина при проучванията на ИИ е, че по-голямото е по-добро. Въпреки че компютрите станаха по-компактни, въпреки да са по-мощни, това не важи за огромните езикови модели (LLM), чийто размер се мери в милиарди или трилиони " параметри ". Според изследователската компания SemiAnalysis езиковият модел GPT4, който зарежда разширената версия на ChatGPT, се нуждае от над 16 000 профилирани GPU чипа и няколко седмици за образование, като цената за това е над 100 млн. $. Според водещия производител на чипове Nvidia разноските за изчислителна мощност, т.е. да накарате към този момент подготвените езикови модели да дават отговор на поръчките на потребителите, сега надвишават разноските за образование при внедряване на LLM в какъвто и да е рационален мащаб.
Тъй като ИИ моделите се трансформират в търговски артикули, от ден на ден нараства фокусът върху това да се поддържа тяхната продуктивност, като в същото време те стават по-компактни и по-бързи. Един от методите да го постигнете е да обучите даден по-малък модел, като при този развой употребявате повече данни. Например Chinchilla, който е LLM, създаден от Гугъл DeepMind през 2022 година, превъзхожда GPT-3 на OpenAI, макар че е с четири пъти по-малък размер (но е обучаван с четири пъти повече данни). Друг метод залага на това да се понижи цифровата акуратност на параметрите, съставляващи модела. Екип от Вашингтонския университет показва, че модел с размерите на Chinchilla е допустимо " да се подкара " на един GPU-чип, без да има понижаване на продуктивността. Малките езикови модели (и това е извънредно важно) след това са доста по-евтини за употреба и в някои случаи даже могат да работят на преносим компютър или смарт телефон.
Реклама
На последващо място идват данните. ИИ моделите съставляват машини за прогнозиране, които стават по-ефективни, когато се образоват с повече данни. Но фокусът към този момент се измества от това " какво е количеството " към " какъв брой са положителни ". Това е изключително съответстващо, защото става все по-трудно да се намерят нови данни за образование - разбор от 2022 година предвижда, че " запасите " от нови, висококачествени текстове може да се изчерпят през идващите няколко години. Използването на резултатите от работата на езиковите модели за образование на бъдещи модели пък може да докара до намаляване на качеството. По този метод навлизането на LLM трансформира интернет във все по-неподходящ източник на информация за образование. Но количеството не е всичко. Определянето на верния микс от информация за образование към момента в доста по-голяма степен е изкуство, в сравнение с просвета. Моделите от ден на ден биват тренирани посредством комбинации от разнообразни видове данни - в това число натурален език, компютърен код, изображения и даже видеоклипове, което им разрешава да развиват нови качества.
" Няма причина да имаме вяра... че това е най-хубавата невронна архитектура. " Крис Манинг, Станфордски университет
Какви нови приложения могат да се появят? Когато става дума за ИИ, съществува детайл на риск, което ще рече, че той се развива по-бързо, в сравнение с хората съумяват да се възползват от него. Демонстрирането на това, което е допустимо, отстъпва място на разкриване на това, което е практично. Най-значимият прогрес няма да бъде във връзка с качеството на самите модели, а на научаването по какъв начин да ги използваме по-ефективно.
В момента има три съществени метода за потребление на езиковите модели. Първият е така наречен prompt engineering. При него моделът се зарежда със характерни подсказващи реплики. Този способ включва разработване на входни изречения или въпроси, които да насочват модела към генериране на мечтаните резултати. Вторият е " фината конфигурация " на езиковия модел, с цел да подобрите неговата продуктивност при осъществяването на съответна задача. В този случай към този момент действителен модел минава през спомагателен кръг от образование благодарение на фокусиран набор от данни, съгласуван с дадената цел. Например даден LLM може да бъде точно надъхан благодарение на изявления от профилирани медицински издания, с цел да може да дава отговор по-добре на въпроси, свързани със опазването на здравето. Третият метод е езиковите модели да се вграждат в по-голяма, по-мощна архитектура. LLM прилича мотор и с цел да го употребявате за съответно приложение, би трябвало, нагледно казано, да построите колата към него.
Конкретен образец е методът " генериране с добавено добиване " - техника, която съчетава LLM с спомагателен програмен продукт и база данни с информация по избрана тематика, тъй че да се понижи вероятността за генериране на погрешен отговор. Когато й бъде заложен въпрос, системата първо прави търсене в своята база данни. Ако откри там нещо подходящо, тя предава въпроса дружно с откритата фактология към езиковия модел с искане отговорът да бъде генериран въз основата на тези предоставени данни. Осигуряването на осведомителни източници по този метод значи, че потребителите могат да бъдат по-сигурни в точността на отговорите. Това също по този начин разрешава LLM да бъде персонализиран, както да вземем за пример е при NotebookLM на Гугъл. Така потребителите да могат да зареждат изкуствения разсъдък със свои лични бази данни по избрани тематики.
Реклама
В подтекста на фокуса върху комерсиалния капацитет на ИИ работата по основаване на изкуствен интелект с общо предопределение продължава. LLM и други форми на генеративен ИИ може да са част от пъзела или стъпка в тази посока, само че евентуално не са окончателният отговор. Като споделя Крис Манинг от Станфордския университет: " Няма причина да имаме вяра... че това е най-хубавата невронна архитектура и в никакъв случай няма да изобретим нещо по-добро. "
2023, The Economist Newspaper Limited. All rights reserved
Етикети Персонализация
Ако обявата Ви е харесала, можете да последвате тематиката или създателя. Статиите можете да откриете в секцията Моите публикации
Автори The Economist
Как технологията ще се развие през 2024 година? Има три съществени направления, в които откривателите усъвършенстват своите ИИ модели: размер, данни и приложения.
Да стартираме с размера. През последните няколко години възприетата доктрина при проучванията на ИИ е, че по-голямото е по-добро. Въпреки че компютрите станаха по-компактни, въпреки да са по-мощни, това не важи за огромните езикови модели (LLM), чийто размер се мери в милиарди или трилиони " параметри ". Според изследователската компания SemiAnalysis езиковият модел GPT4, който зарежда разширената версия на ChatGPT, се нуждае от над 16 000 профилирани GPU чипа и няколко седмици за образование, като цената за това е над 100 млн. $. Според водещия производител на чипове Nvidia разноските за изчислителна мощност, т.е. да накарате към този момент подготвените езикови модели да дават отговор на поръчките на потребителите, сега надвишават разноските за образование при внедряване на LLM в какъвто и да е рационален мащаб.
Тъй като ИИ моделите се трансформират в търговски артикули, от ден на ден нараства фокусът върху това да се поддържа тяхната продуктивност, като в същото време те стават по-компактни и по-бързи. Един от методите да го постигнете е да обучите даден по-малък модел, като при този развой употребявате повече данни. Например Chinchilla, който е LLM, създаден от Гугъл DeepMind през 2022 година, превъзхожда GPT-3 на OpenAI, макар че е с четири пъти по-малък размер (но е обучаван с четири пъти повече данни). Друг метод залага на това да се понижи цифровата акуратност на параметрите, съставляващи модела. Екип от Вашингтонския университет показва, че модел с размерите на Chinchilla е допустимо " да се подкара " на един GPU-чип, без да има понижаване на продуктивността. Малките езикови модели (и това е извънредно важно) след това са доста по-евтини за употреба и в някои случаи даже могат да работят на преносим компютър или смарт телефон.
Реклама
На последващо място идват данните. ИИ моделите съставляват машини за прогнозиране, които стават по-ефективни, когато се образоват с повече данни. Но фокусът към този момент се измества от това " какво е количеството " към " какъв брой са положителни ". Това е изключително съответстващо, защото става все по-трудно да се намерят нови данни за образование - разбор от 2022 година предвижда, че " запасите " от нови, висококачествени текстове може да се изчерпят през идващите няколко години. Използването на резултатите от работата на езиковите модели за образование на бъдещи модели пък може да докара до намаляване на качеството. По този метод навлизането на LLM трансформира интернет във все по-неподходящ източник на информация за образование. Но количеството не е всичко. Определянето на верния микс от информация за образование към момента в доста по-голяма степен е изкуство, в сравнение с просвета. Моделите от ден на ден биват тренирани посредством комбинации от разнообразни видове данни - в това число натурален език, компютърен код, изображения и даже видеоклипове, което им разрешава да развиват нови качества.
" Няма причина да имаме вяра... че това е най-хубавата невронна архитектура. " Крис Манинг, Станфордски университет
Какви нови приложения могат да се появят? Когато става дума за ИИ, съществува детайл на риск, което ще рече, че той се развива по-бързо, в сравнение с хората съумяват да се възползват от него. Демонстрирането на това, което е допустимо, отстъпва място на разкриване на това, което е практично. Най-значимият прогрес няма да бъде във връзка с качеството на самите модели, а на научаването по какъв начин да ги използваме по-ефективно.
В момента има три съществени метода за потребление на езиковите модели. Първият е така наречен prompt engineering. При него моделът се зарежда със характерни подсказващи реплики. Този способ включва разработване на входни изречения или въпроси, които да насочват модела към генериране на мечтаните резултати. Вторият е " фината конфигурация " на езиковия модел, с цел да подобрите неговата продуктивност при осъществяването на съответна задача. В този случай към този момент действителен модел минава през спомагателен кръг от образование благодарение на фокусиран набор от данни, съгласуван с дадената цел. Например даден LLM може да бъде точно надъхан благодарение на изявления от профилирани медицински издания, с цел да може да дава отговор по-добре на въпроси, свързани със опазването на здравето. Третият метод е езиковите модели да се вграждат в по-голяма, по-мощна архитектура. LLM прилича мотор и с цел да го употребявате за съответно приложение, би трябвало, нагледно казано, да построите колата към него.
Конкретен образец е методът " генериране с добавено добиване " - техника, която съчетава LLM с спомагателен програмен продукт и база данни с информация по избрана тематика, тъй че да се понижи вероятността за генериране на погрешен отговор. Когато й бъде заложен въпрос, системата първо прави търсене в своята база данни. Ако откри там нещо подходящо, тя предава въпроса дружно с откритата фактология към езиковия модел с искане отговорът да бъде генериран въз основата на тези предоставени данни. Осигуряването на осведомителни източници по този метод значи, че потребителите могат да бъдат по-сигурни в точността на отговорите. Това също по този начин разрешава LLM да бъде персонализиран, както да вземем за пример е при NotebookLM на Гугъл. Така потребителите да могат да зареждат изкуствения разсъдък със свои лични бази данни по избрани тематики.
Реклама
В подтекста на фокуса върху комерсиалния капацитет на ИИ работата по основаване на изкуствен интелект с общо предопределение продължава. LLM и други форми на генеративен ИИ може да са част от пъзела или стъпка в тази посока, само че евентуално не са окончателният отговор. Като споделя Крис Манинг от Станфордския университет: " Няма причина да имаме вяра... че това е най-хубавата невронна архитектура и в никакъв случай няма да изобретим нещо по-добро. "
2023, The Economist Newspaper Limited. All rights reserved
Етикети Персонализация
Ако обявата Ви е харесала, можете да последвате тематиката или създателя. Статиите можете да откриете в секцията Моите публикации
Автори The Economist
Източник: capital.bg
КОМЕНТАРИ