За обучението на ИИ-модела Google PaLM 2 са използвани пет пъти повече текстови данни, отколкото за предишния
Анонсираният предходната седмица огромен езиков модел Гугъл PaLM 2 беше подготвен в размер пет пъти по-голям от този на модела от 2022 година Това разрешава на новата невронна мрежа да взема решение по-сложни задания по програмиране, математика и писане на текстове, схванаха публицисти от CNBC.
При образованието на Гугъл PaLM 2 са употребявани 3,6 трилиона токена – тези детайли на образование на огромни езикови модели оказват помощ на невронните мрежи да предскажат идващите думи в последователности. Алгоритмите за прогнозиране, от своя страна, разрешават на огромните езикови модели да сформират съгласувани изречения. Предишната версия – Гугъл PaLM, която беше пусната през 2022 година, беше подготвена за 780 милиарда токена.
На последното събитие Гугъл I/O, компанията интензивно показва опциите на изкуствения разсъдък при консолидираното му в търсенето, имейл, работа с текстови документи и електронни таблици, само че не даде детайлности по отношение на количеството данни за образованието. Подобна тактика беше призната от OpenAI, който неотдавна показа GPT-4. Компаниите изясняват дейностите си с конкурентния темперамент на бизнеса, а обществеността упорства за по-голяма бистрота във връзка с ИИ.
Въпреки това Гугъл сподели, че новият модел е по-малък от предходните, т.е. успеваемостта на технологията при осъществяване на по-сложни задания се е нараснала. PaLM 2, съгласно вътрешните документи на компанията, се образова на 340 милиарда параметъра, до момента в който първата версия имаше 540 милиарда от тях – това демонстрира, че сложността на модела се е нараснала. Компанията удостовери, че PaLM 2 е подготвен на 100 езика, което му разрешава да се интегрира в 25 функционалности и продукта на екосистемата на Гугъл, в това число и в пробния чатбот Bard.
Гугъл PaLM 2, съгласно обществено наличните данни, може да е по-мощен от всички съществуващи модели. За съпоставяне, обявеният през февруари Meta LlaMA, е подготвен на 1,4 трилиона токена; OpenAI, когато към момента споделяше информация, заяви, че GPT-3 е подготвен на 300 милиарда токена; а показания още преди две години Гугъл LaMDA, беше подготвен за 1,5 трилиона токена.
