Чипът WSE-3 на Cerebras с размерите на iPad е по-бърз от втория най-мощен суперкомпютър в света
Чиповете WSE-3 с размерите на великански iPad на Cerebras са способни да работят с най-бързата до този миг невронна мрежа със скорост, която е с порядък по-висока от тази на най-хубавите облачни сървъри, основани на графични процесори.
Cerebras заяви, че е стартирала работно натоварване на клиент на новата си Llama 3.1 405B със скорост 969 токена/секунда, което е нов връх за модела Frontier.
Llama 3.1 405B на Cerebras е най-бързият модел Frontier в света – 12 пъти по-бърз от GPT-4o и 18 пъти по-бърз от Claude 3.5 Sonnet.
ИИ моделът бе стартиран в облачната услуга Cerebras Inference, която употребява същите великански чипове WSE-3. Компанията Cerebras постоянно е твърдяла, че нейната услуга Inference е най-бързата при генерирането на токени за огромните езикови модели.
Когато бе показан за пръв път през месец август, се твърдеше, че Cerebras Inference е към 20 пъти по-бърз от графичните процесори на Nvidia, работещи посредством снабдители на облачни услуги като Amazon Web Services, при съпоставяне с моделите Llama 3.1 8B и Llama 3.1 70B. Сега към този момент е налице резултатът върху гигантския модел Llama 3.1 405B с 405 милиарда параметри.
За да илюстрира какъв брой бързо работи, Cerebras разпореди на услугата си да сътвори шахматна стратегия на Python. Cerebras Inference се оправи с това за към 3 секунди, до момента в който Fireworks – най-бързата облачна услуга за изкуствен интелект, оборудвана с графични процесори – го направи за 20 секунди.
Компанията също по този начин се похвали, че единствено един единстен чип WSE-2 превъзхожда суперкомпютъра Frontier със 768 пъти при симулации на молекулярна динамичност. А Frontier е най-бързият суперкомпютър в света от 2021 година насам, като едвам в този момент бе преместен от El Capitan.
Да напомним, че Cerebras WSE-3 съдържа 4 трилиона транзистора, 900 000 ядра и 44 GB памет с пропускателна дарба от 21 PB/s.
