Google представи Arm-процесорите Axion и тензорния ускорител Ironwood за обучение и стартиране на огромни AI модели
Днес Гугъл показа новите си процесори Axion и тензорния ускорител Ironwood, които са седмо потомство TPU. Според компанията чиповете Axion са с 50% по-бързи и 60% по-енергийно ефикасни от днешните x86 процесори, до момента в който Ironwood TPU е най-високопроизводителният и мащабируем персонализируем AI ускорител досега и първият измежду чиповете на Гугъл, основан особено за работа с подготвени модели на изкуствен интелект (inference).
Ironwood TPU ще се доставя в системи в две конфигурации: с 256 или 9216 чипа. Единичният ускорител има пикова изчислителна мощ от 4614 Tflops (FP8), до момента в който клъстер от 9216 чипа създава общо 42,5 Eflops при консумация на сила от към 10 MW. Тази продуктивност надалеч надвишава опциите на системата Nvidia GB300 NVL72, която е 0,36 Eflops с FP8 интервенции.
Ironwood разполага с модернизиран SparseCore блок, предопределен за работа с AI модели, употребявани в системи за класиране и препоръчване. Усъвършенстваната реализация на SparseCore в Ironwood разрешава ускорение на по-широк кръг от работни натоварвания, като се уголемява оттатък обичайна област на ИИ във финансовата и научната сфера.
Модулите са свързани между тях благодарение на личната мрежа Inter-Chip Interconnect със скорост 9,6 Tbps и съдържат почти 1,77TB HBM3E памет, което също надвишава опциите на конкурентната платформа на Nvidia. Те могат да бъдат групирани в клъстери от стотици хиляди TPU.
Тази интегрирана суперкомпютърна платформа, която Гугъл назовава „ хиперкомпютър с изкуствен интелект “, съчетава изчислителни функционалности, функционалности за предпазване и мрежови функционалности на едно равнище на ръководство.
За да усъвършенства надеждността, Гугъл употребява преконфигурируема матрица за превключване на оптични вериги, която неотложно заобикаля всевъзможни хардуерни повреди, с цел да поддържа непрекъсната работа.
Според IDC този „ хиперкомпютър с изкуствен интелект “ обезпечава 3-годишна междинна възвръщаемост на вложенията (ROI) от 353%, 28% понижение на ИТ разноските и 55% усъвършенстване на оперативната успеваемост. Няколко компании към този момент ползват тази платформа на Гугъл. Anthropic възнамерява да употребява до 1 милион TPU, с цел да извършва и уголемява фамилията си от AI модели Claude, като се базира на доста съответствие сред цена и продуктивност. Lightricks е почнала да внедрява Ironwood за образование и поддръжка на своята мултимодална система LTX-2.
Пълните спецификации на универсалните процесори Axion към момента не са оповестени, по-конкретно не са разкрити тактовите честоти и употребяваната софтуерна скица. Съобщава се, че процесорите разполагат с 2MB кеш от второ равнище на ядро, 80MB кеш от трето равнище, поддържат памет DDR5-5600 MT/s и технологията Uniform Memory Access (UMA).
Известно е, че Axion е построен въз основата на платформата Arm Neoverse v2 и се чака да обезпечи до 50% по-висока продуктивност и до 60% по-голяма енергийна успеваемост спрямо днешните процесори x86. Гугъл твърди, че той е и с 30% по-бърз от „ най-бързите универсални инстанции, основани на Arm, които са налични в облака през днешния ден “.
Процесорите Axion могат да се употребяват както в сървъри за изкуствен интелект, по този начин и в сървъри с общо предопределение за разнообразни задания. В момента Гугъл предлага три конфигурации на Axion: C4A, N4A и C4A Metal.
C4A обезпечава до 72 виртуални процесора, 576GB DDR5 памет и 100Gbps мрежова съгласуваност, комбинирани с до 6TB Titanium SSD локално вместилище. Инстанцията е усъвършенствана за непрекъснато висока продуктивност в разнообразни приложения. Това е единственият разполагаем през днешния ден чип.
N4A е планиран за общи работни натоварвания, като да вземем за пример обработка на данни, уеб услуги и среди за разработка, само че се мащабира до 64 виртуални процесора, 512GB DDR5 RAM и 50Gbps мрежова съгласуваност.
C4A Metal дава на клиентите цялостния хардуерен стек на Axion: до 96 виртуални процесора, 768 GB DDR5 памет и 100 Gbps мрежова пропускателна дарба. Екземплярът е предопределен за профилирани или лимитирани от лиценз приложения, както и за ARM-базирани разработки.
Процесорът Axion добавя портфолиото от профилирани чипове на компанията, а TPU Ironwood основава основата за конкуренция с най-хубавите ускорители на изкуствен интелект на пазара. Сървърите, основани на Axion и Ironwood разполагат с патентованите от компанията контролери Titanium, които разтоварват процесора от дилемите за обработка на мрежи, сигурност и входно-изходни данни, като обезпечават по-ефективно ръководство и вследствие на това по-висока продуктивност.
