Повечето компании, разработващи AI модели, особено генеративни AI модели като

Повечето компании, разработващи AI модели, изключително генеративни AI модели като ChatGPT, GPT-4 Turbo и Stable Diffusion, разчитат в огромна степен на GPU. Способността на графичните процесори да правят доста калкулации редом ги прави подобаващи за образование – и работа – на най-способния AI през днешния ден.

Но просто няма задоволително графични процесори за работа.

Съобщава се, че най-добре представящите се AI карти на Nvidia са разпродадени до 2024 година Главният изпълнителен шеф на производителя на чипове TSMC не беше толкоз оптимистичен неотдавна, предполагайки, че дефицитът на AI графични процесори от Nvidia – както и чипове от съперниците на Nvidia – може да продължи до 2025 година.

Така че Microsoft върви по собствен личен път.

Днес на своята конференция Ignite през 2023 година Microsoft показа два особено проектирани, вътрешни и свързани с центъра за данни AI чипа: Azure Maia 100 AI Accelerator и Azure Cobalt 100 CPU. Maia 100 може да се употребява за образование и осъществяване на AI модели, до момента в който Cobalt 100 е планиран да извършва работни натоварвания с общо предопределение.

Кредити за изображение: Microsoft

" Microsoft построява инфраструктурата за поддръжка на нововъведенията в ИИ и ние преосмисляме всеки аспект от нашите центрове за данни, с цел да отговорим на потребностите на нашите клиенти “, сподели Скот Гътри, изпълнителен вицепрезидент на Microsoft Cloud and AI group, в прессъобщение, предоставено на TechCrunch по-рано тази седмица. „ В мащаба, в който оперираме, за нас е значимо да усъвършенстваме и интегрираме всеки пласт от инфраструктурния стек, с цел да увеличим оптимално продуктивността, да разнообразим нашата верига за доставки и да дадем на клиентите избор на инфраструктура. “

Както Maia 100, по този начин и Cobalt 100 ще ще стартира да се популяризира при започване на идната година в центровете за данни на Azure, споделя Microsoft - в началото захранвайки услугите на Microsoft AI като Copilot, фамилията от генеративни AI артикули на Microsoft, и Azure OpenAI Service, изцяло ръководено предложение на компанията за модели OpenAI. Може да е рано, само че Microsoft твърди, че чиповете не са еднократни. Хардуерът Maia и Cobalt от второ потомство към този момент е в развой на разработка.

Създаден от нулата

Това, че Microsoft сътвори персонализирани AI чипове, не е изненада, тъкмо. Колелата бяха задвижени преди известно време – и оповестени.

През април The Information заяви, че Microsoft работи върху AI чипове скрито от 2019 година като част от план с кодово име Athena. И по-назад, през 2020 година, Bloomberg разкри, че Microsoft е проектирал набор от чипове, основани на ARM архитектурата за центрове за данни и други устройства, в това число потребителски хардуер (помислете за Surface Pro).

Но известието в Ignite дава най-задълбочения взор до момента върху напъните на Microsoft в региона на полупроводниците.

Първият е Maia 100.

Microsoft споделя, че Maia 100 -- 5-нанометров чип, съдържащ 105 милиарда транзистора -- е планиран „ особено за хардуерния стек на Azure “ и за „ реализиране на безусловно оптимално потребление на хардуера “. Компанията дава обещание, че Maia 100 ще „ зарежда някои от най-големите вътрешни AI [и генериращи AI] работни натоварвания, изпълнявани на Microsoft Azure, “ в това число работни натоварвания за Bing, Microsoft 365 и Azure OpenAI Service (но не и клиенти на обществен облак – все още).

Изображение: Microsoft

Това обаче е доста диалект. Какво значи всичко това? Е, в случай че би трябвало да бъда напълно почтен, това не е изцяло явно за този кореспондент - най-малко не от детайлностите, предоставени от Microsoft в своите материали за пресата. Всъщност даже не е ясно какъв тип чип е Maia 100; Microsoft избра да резервира архитектурата в загадка, най-малко за момента.

В друго разочароващо развиване, Microsoft не показа Maia 100 на обществени тестови пакети за относителен разбор като MLCommons, тъй че няма сравняване на продуктивността на чипа до този на други AI чипове за образование, като TPU на Гугъл, Tranium на Amazon и MTIA на Meta. Сега, когато котката е извадена от чантата, се надяваме, че това ще се промени в къси периоди.

Един забавен факт, който Microsoft беше подготвен да разкрие, е, че неговият непосредствен AI сътрудник и капиталова цел, OpenAI, даде противоположна информация за Дизайнът на Maia 100.

Това е еволюция на обвързването на изчислителната инфраструктура на двете компании.

През 2020 година OpenAI работи с Microsoft за взаимно планиране на хостван от Azure „ суперкомпютър с изкуствен интелект " -- клъстер, съдържащ над 285 000 процесорни ядра и 10 000 графични карти. Впоследствие OpenAI и Microsoft построиха голям брой суперкомпютърни системи, захранвани от Azure – които OpenAI употребява извънредно за своите проучвания, API и артикули – за образование на моделите на OpenAI.

„ От първото партньорство с Microsoft ние си сътрудничим за взаимно планиране на AI инфраструктурата на Azure на всеки пласт за нашите модели и невиждани потребности от образование “, сподели Алтман в консервативно изказване. „ Бяхме разчувствани, когато Microsoft за първи път показа техния дизайн за чипа Maia и работихме дружно, с цел да го усъвършенстваме и тестваме с нашите модели. Цялостната AI архитектура на Azure, в този момент усъвършенствана до силикона с Maia, прокарва метод за образование на по-способни модели и правене на тези модели по-евтини за нашите клиенти. “

Помолих Microsoft за обяснение и представител ми сподели следното: „ Като извънреден снабдител на облак на OpenAI, ние работим в тясно съдействие, с цел да подсигуряваме нашата инфраструктура дава отговор на техните условия през днешния ден и в бъдеще. Те предоставиха скъпи проби и противоположна връзка за Maia и ние ще продължим да се консултираме с тяхната пътна карта при създаването на нашите генерации AI силикон от първа страна на Microsoft. "

Знаем също, че физическият пакет на Maia 100 е по-голям от типичния графичен процесор.

Microsoft споделя, че е трябвало да построи от нулата сървърните стелажи на центъра за данни, в които са ситуирани чиповете Maia 100, за да побере и двата чипа и нужните захранващи и мрежови кабели. Maia 100 също изискваше неповторимо решение за изстудяване въз основата на течности, защото чиповете употребяват по-високо от междинното количество сила и центровете за данни на Microsoft не бяха проектирани за огромни чилъри за течности.

Кредити за изображения: Microsoft

„ Студената течност тече от [„ асистент “] към студените плочи, които са прикрепени към повърхността на чиповете Maia 100 “, изяснява обява, създател на Microsoft. „ Всяка плоча има канали, през които течността циркулира, с цел да всмуква и транспортира топлота. Това тече към помощния детайл, който отстранява топлината от течността и я изпраща назад към стелажа, с цел да всмуква повече топлота, и по този начин нататък. “

< p> Както при Maia 100, Microsoft резервира множеството от техническите елементи на Cobalt 100 неразбираеми при разкриването на Ignite, като се изключи това, че Cobalt 100 е енергийно ефикасен 128-ядрен чип, построен на Arm Neoverse CSS архитектура и „ усъвършенстван да обезпечи по-голяма успеваемост и продуктивност в локални оферти в облака. "

Кредити за изображения: Microsoft

Чиповете за заключения за изкуствен интелект, основани на ръка, бяха нещо като наклонност - наклонност, която Microsoft в този момент поддържа. Най-новият чип за заключения на центъра за данни на Amazon, Graviton3E (който добавя Inferentia, другият чип за заключения на компанията), е построен върху архитектура Arm. Съобщава се, че в това време Гугъл приготвя лични собствени сървърни чипове Arm.

„ Архитектурата и внедряването са проектирани предвид на енергийната успеваемост “, сподели Уес МакКълоу, CVP по създаването на хардуерни артикули, за Cobalt в изказване „ Използваме оптимално дейно транзисторите на силиция. Умножете тези облаги в успеваемостта на сървърите във всичките ни центрове за данни, това ще докара до много огромно число. “

Говорител на Microsoft сподели, че Cobalt 100 ще зарежда нови виртуални машини за клиенти през идната година.

Но за какво?

И по този начин, Microsoft направи AI чипове. Но за какво? Каква е мотивацията?

Е, има линията на компанията -- „ усъвършенстване на всеки пласт на [Azure ] софтуерен стек ", се споделя в една от изявленията в блога на Microsoft, оповестени през днешния ден. Но подтекстът е, че Microsoft се бори да остане конкурентоспособна - и съобразена с разноските - в безмилостната конкуренция за доминиране на AI.

Недостигът и незаменимостта на графичните процесори остави огромни и дребни компании в региона на изкуствения разсъдък, в това число Microsoft, подвластни от доставчиците на чипове.През май Nvidia доближи пазарна стойност от над 1 трилион $ за чипове с изкуствен интелект и обвързваните с тях доходи (13,5 милиарда $ в последния си фискален тримесечие), трансформирайки се в едвам шестата софтуерна компания в историята, направила това Дори и с дребна част от инсталационната база, основният противник на Nvidia, AMD, чака единствено приходите от центъра за данни на GPU да засенчат 2 милиарда $ през 2024 година

Microsoft без подозрение е недоволна от това съглашение. OpenAI сигурно е – и това е технологията на OpenAI, която движи доста от водещите AI артикули, приложения и услуги на Microsoft през днешния ден.

На персонална среща с разработчици това лято Алтман призна, че дефицитът и разноските на GPU попречват напредъка на OpenAI ; компанията тъкмо тази седмица беше принудена да сложи на пауза регистрациите за ChatGPT заради проблеми с потенциала. Подчертавайки това, Алтман сподели в изявление тази седмица за Financial Times, че се „ надява “ Microsoft, която е вложила над 10 милиарда $ в OpenAI през последните четири години, да усили вложенията си, с цел да помогне за заплащането на „ голямо “ идно образование на модели разноски.

Самият Microsoft предизвести акционерите по-рано тази година за евентуални спирания на услугите на Azure AI, в случай че не може да получи задоволително чипове за своите центрове за данни. Междувременно компанията беше принудена да предприеме фрапантни ограничения, като стимулиране на клиенти на Azure с неизползвани GPU резервации да се откажат от тези резервации в подмяна на възобновяване на суми и обещаване на повече от милиарди долари към трети страни снабдители на облачни GPU като CoreWeave.

Ако OpenAI проектира свои лични AI чипове, както се приказва, това може да сложи двете страни в спор. Но Microsoft евентуално счита, че евентуалните спестявания на разноски, произлизащи от вътрешния хардуер – и конкурентоспособността на облачния пазар – си заслужават риска от изпреварване на своя съдружник.

Един от водещите AI артикули на Microsoft, кодът- генерирането на GitHub Copilot, съгласно известията е коствало на компанията до $80 на консуматор на месец, частично заради разноските за извеждане на модела. Ако обстановката не се промени, капиталовата компания UBS вижда, че Microsoft ще се бори да генерира потоци от доходи от AI през идната година.

Разбира се, хардуерът е сложен и няма гаранция, че Microsoft ще успее да пусне AI чипове там, където други се провалиха.

Ранните старания на Meta за персонализирани AI чипове бяха изпълнени с проблеми, което накара компанията да бракува част от своя пробен хардуер. Другаде Гугъл не съумя да се оправи с търсенето на своите TPU, оповестява Wired – и се натъкна на проблеми с дизайна с най-новото си потомство чип.

Майкрософт обаче пробва остарелия лицей. И блика от убеденост.

„ Иновациите на Microsoft отиват по-надолу в стека с тази силиконова работа, с цел да обезпечат бъдещето на натоварванията на нашите клиенти в Azure, давайки приоритет на продуктивността, енергийната успеваемост и разноските, “ Пат Стемен, партньорски програмен управител в екипа за хардуерни системи и инфраструктура на Azure на Microsoft, сподели в обява в блог през днешния ден. „ Ние избрахме тази иновация съзнателно, тъй че нашите клиенти да получат най-хубавото преживяване, което могат да имат с Azure през днешния ден и в бъдеще... Опитваме се да предоставим най-хубавия набор от варианти за [клиентите], без значение дали става въпрос за продуктивност или цена или всяко друго измерение, което ги интересува. "

Вижте коментарите