Ускорителите AMD Instinct MI300X влизат в нови Microsoft Azure сървъри

Ускорителите AMD Instinct MI300X влизат в нови Microsoft Azure сървъри за работа с AI задания (снимка: AMD)

Microsoft употребява от ден на ден AMD технологии в своите принадлежности за AI-базирани съоръжения в голям брой пазарни сегменти, стана ясно на скорошната конференция Build, където компанията показва нови изчислителни и софтуерни решения за клиенти и разработчици. 

Серията виртуални машини (VM) Azure ND MI300X към този момент са общодостъпни за клиенти с работни задания, свързани с изкуствен интелект. Тези VM и софтуерът AMD ROCm, който ги зарежда, също се употребяват за работни натоварвания на Azure AI Production, в това число услугата Azure OpenAI, която дава достъп на клиентите до модели GPT-3.5 и GPT-4.
още по темата
С ускорителите AMD Instinct MI300X и готовия ROCm пакет с отворен програмен продукт, Microsoft реализира най-хубавото съответствие цена/производителност при работни натоварвания с GPT, подчертаха от AMD, което бе изтъкнато и от самата Microsoft.

Освен индустриалните натоварвания на Azure с AI, един от първите клиенти, които употребяват тези виртуални машини, е Hugging Face. Тази компания портира своите модели на ND MI300X VM единствено за един месец, постигайки впечатляващи индикатори цена/производителност. Клиентите на виртуалните машини ND MI300X VM могат да работят с модели на Hugging Face, с цел да основават и внедряват NLP приложения.

Освен това разработчиците могат да употребяват софтуера AMD Ryzen AI за усъвършенстване и инсталиране на AI системи на лични компютри. Ryzen AI разрешава на приложенията да работят на модула за невронна обработка (NPU), построен върху AMD XDNA архитектура, която се явява първият профилиран хардуер за обработка на AI задания на x86 процесор под Windows.

Докато работещите AI модели единствено на CPU или GPU могат бързо да изтощават батерията, с Ryzen AI преносим компютър AI моделите работят на вградения NPU, освобождавайки запаси на CPU и GPU за други изчислителни задания. Това оказва помощ доста да се усили животът на батерията, а на работчиците да извършват LLM AI работни натоварвания и едновременни приложения локално на устройството.

В допълнение, Microsoft употребява мултимедийния ускорител AMD Alveo MA35D за поддръжка на своите големи по мащаб натоварвания с поточно видео онлайн, в това число Microsoft Teams и SharePoint видео. Създаден точно за интерактивни стрийминг услуги онлайн, Alveo MA35D рационализира натоварванията за обработка на видео, в това число видео транскодиране, декодиране, шифроване и стрийминг с адаптивен битрейт (ABR).

Мултимедийният ускорител AMD Alveo MA35D може да поддържа големите по мащаб натоварвания с поточно видео онлайн (снимка: AMD)

Използвайки ускорителя Alveo MA35D в сървъри с процесори AMD EPYC от 4-то потомство, Microsoft доста понижава броя на сървърите, нужни за поддържане на приложенията за огромен размер интерактивен стрийминг онлайн.

Освен това Alveo MA35D разполага с ASIC-базирани модули за видео обработка, поддържащи стандарта за компресия AV1 и AI-активирани оптимизации на качеството на видеото. Технологията AV1 е подготвена за бъдещето и може да се приспособява към изменящите се условия за обработка на видео.