Популярният GPT-4 използва технологии с 30-годишна давност: станаха известни и други тайни
Известен някогашен хакер, който за първи път е хакнал iPhone и Playstation 3 на Sony, показа тайните на най-известния чат-бот на планетата.
Оказва се, че езиковият модел GPT-4, който OpenAI е създал, е с размер 1,76 милиарда параметъра и употребява технология с 30-годишна отминалост, оповестява The Decoder. GPT-4 се основава на осем модела, всеки от които има 220 милиарда параметъра, свързани в архитектурата Mixture of Experts (MoE). Тази концепция е съвсем на 30 години, и тя към този момент е употребена за по-големи езикови модели, като да вземем за пример Гугъл Switch Transformer.
Информацията за GPT-4 идва от Джордж Хотц, създател на Comma.ai, стартъпа за самостоятелно шофиране. Хотц — експерт по изкуствен интелект, който също е прочут със своето хакерско предишното: той първи е хакнал iPhone и Playstation 3 на Sony.
Други специалисти по изкуствен интелект също разясниха обявата на Хотц в Туитър, заявявайки, че неговата информация, най-вероятно е вярна.
Моделът MoE съставлява тип ансамблово образование, което съчетава в себе си разнообразни модели, наречени “експерти “, за взимане на решение. В модела MoE, шлюзова мрежа дефинира тежестта на изходните данни на всеки ‘експерт’ въз основата на входните данни. Това разрешава на обособените ‘експерти’ да се специализират в разнообразни елементи на входното пространство. Тази архитектура е изключително потребна за огромните и комплицирани набори от данни, защото тя може дейно да разделя проблематичното пространство на по-прости подпространства.
Архитектурата, може би, ще опрости образованието на GPT-4, позволявайки на разнообразни екипи да работят в обособени елементи на мрежата. Това изяснява също, за какво OpenAI може да създаде мултимодални благоприятни условия на GPT-4, без значение от наличния сега артикул и стартирането му настрана.
Хотц също допуска, че GPT-4 издава не един резултат, а е итеративен — по 16 резултата, като се усъвършенства с всяка итерация. Общността от разработчици на отворен код сега може да се опита да възпроизведе тази архитектура, хрумвания и технологии, които са били налични преди известно време. Въпреки това, GPT-4 може би е посочил какъв брой надалеч може да отиде архитектурата MoE с верните учащи данни и изчислителни запаси.
