DeepSeek стана рекордно бърз само с 16 чипа SambaNova – ще са необходими 20 пъти повече Nvidia чипове
Стартъпът в региона на изкуствения разсъдък SambaNova Systems, който бе учреден през 2017 година от ученици на Sun, Oracle и Stanford, разгласи най-бързата в света система за внедряване на моделите DeepSeek-R1 671B. За оборудването на Nvidia такива знаци не са налични.
SambaNova реализира продуктивност на DeepSeek-R1 от 198 токена в секунда единствено на 16 особено направени ускорителя – достижение, което ще изисква разполагането на 40 стека с 320 графични Nvidia процесора. „ SambaNova въз основата на чиповете SN40L RDU се трансформира в най-бързата платформа за пускане на DeepSeek. Това е петкратно нарастване по отношение на скоростта на най-новия графичен процесор на един стек и до края на годината ще предложим 100 пъти повече потенциал за DeepSeek-R1 ” — даде обещание съоснователят и основен изпълнителен шеф на SambaNova Родриго Лианг.
Ресурсоемките работни натоварвания на изкуствения разсъдък обичайно се обезпечават от графичните процесори на Nvidia, само че SambaNova споделя, че основаната от тях компактна конфигурируема архитектура на потока от данни е по-ефективното решение. Хардуерът му работи три пъти по-бързо и употребява пет пъти по-малко сила от най-мощните модерни графични процесори, като в същото време резервира цялостната изчислителна мощ на модела DeepSeek-R1. Постижението беше доказано от специалисти от Artificial Analysis — компания, която прави самостоятелни оценки на AI-системите.
Моделът DeepSeek-R1 671B с отворен код е наличен в облака на SambaNova посредством API. Компанията интензивно усилва потенциала си и се надява в близко бъдеще да доближи обща продуктивност от 20 000 токена в секунда.
