10 пъти по-бързо от Nvidia: Groq предлага качествено нов подход към изграждането на хардуера за изкуствен интелект
Безпрецедентната скорост на изчисленията оставя всички съперници надалеч обратно.
Компанията Groq (да не се бърка с чатбота Grok на Илън Мъск) създава профилиран хардуер за изкуствен интелект. Тя има за цел да направи генерирането на отговори с изкуствен интелект 75 пъти по-бързо от междинната скорост на човешкото отпечатване. Това е изключително значимо за незабавното добиване на информация при другарство с чатботове или сформиране на имейли.
Groq се концентрира върху основаването на високопроизводителни процесори и софтуерни решения за изкуствения разсъдък, машинното образование и приложенията за високопроизводителни калкулации. AI запалянковците към този момент правят оценка невижданата скорост на личната платформа на компанията и съществено я назовават „ килърът на ChatGPT„.
Въпреки че Groq не дава лични езикови модели, той е в положение доста да форсира работата на съществуващите LLM посредством потреблението на високо усъвършенстван хардуер лична разработка. Експертите към този момент означиха новаторския дизайн на чипа, високата скалируемост и енергийната успеваемост.
Отличителна линия на Groq е потреблението на особено създаден хардуер. Това са така наречен линейни процесори (LPU), предопределени особено за работа с огромни езикови модели. Те са в контраст на обичайно употребяваните графични процесори (GPU), усъвършенствани най-вече за паралелна графична обработка.
Благодарение на неповторимата си архитектура LPU решенията на Groq демонстрират до 10 пъти по-висока скорост на обработка от решенията, основани на GPU. Това ги прави идеални за работа с поредици от данни, в това число ДНК, музика, код и, несъмнено, натурален език.
Groq твърди, че нейните клиенти към този момент употребяват патентованите LPU и API на компанията за високоскоростна обработка на езиковите модели. Компанията предлага опция за гратис тестване на своята система без нужда от инсталиране на спомагателен програмен продукт. Тя поддържа модели като Meta’s Llama 2, Mixtral-8x7b и Mistral 7B.
Том Елис от Groq удостовери, че се работи и по личен езиков модел, само че към този момент компанията е съсредоточена върху създаването на своите артикули с отворен код и профилиран хардуер.
