Според оценки на бранша съвременните ускорители на изкуствен интелект са

Според оценки на сектора актуалните ускорители на изкуствен интелект са достигнали стадий от своето развиване, в който широчината на честотната лента на интерфейса на паметта се трансформира в спънка за по-нататъшното мащабиране на продуктивността. Недостигът наизуст или потенциалът на паметта отстъпва на назад във времето в това отношение и премахването на тази преграда зависи главно от дизайнерите на графични процесори и огромни езикови модели.

Според съоснователя на Majestic Labs Ша Рабии, представен от CNBC, до момента в който самите изчислителни ускорители са напреднали в скоростта си много през последните години, съпътстващата ги памет не е станала доста по-бърза. Всъщност точно продуктивността на паметта в този момент лимитира по-нататъшното повишаване на скоростта на огромните езикови модели. При все това прекосяването към правене на умозаключения ще усили потребностите от още по-голям потенциал на паметта, тъй че търсенето ѝ ще нарасне доста бързо. Във всеки случай, колкото повече памет има AI инфраструктурата, толкоз повече клиенти може да обслужва за единица време. Основателят на Nvidia Дженсен Хуанг също приказва за нуждата от увеличение на производството наизуст на CES 2026. Той даже означи, че купувачите на решенията на фирмите за игри, като графични карти и конзоли, са „ афектирани “ от AI промишлеността, защото дефицитът наизуст води до повишение на цените даже в тези свързани пазарни сегменти.

Дори плануваното от AMD и Nvidia прекосяване към памет от вида HBM4 няма да реши изцяло казуса с пропускателната дарба. Паметта от тази фамилия към момента е лимитирана във връзка с броя на каналите и височината на стека на чипа, да не приказваме за ширината на интерфейса. Изчислителната честотна лента би могла да се мащабира доста по-ефективно, в случай че не бяха присъщите на HBM ограничавания. При тези условия няма смисъл да се усилва броя на изчислителните блокове в графичния процесор, защото паметта няма да може да се оправи с изчислителните натоварвания, свързани както с образованието, по този начин и с умозаключенията на огромните езикови модели.

Методите за пакетиране на чиповете, с които разполагат разработчиците на съставни елементи, също работят като характерен ограничителен фактор; в изискванията на високо търсене потенциалът на профилите е мощно претрупан, което изостря дефицита на високоскоростна памет и усилва разноските на производителите.

На архитектурно равнище разработчиците се пробват да проучат други възможности, като да вземем за пример осъществяване на калкулации непосредствено в чиповете с памет (PIM), увеличение на плътността на разположението на чиповете в стека на паметта и потребление на усъвършенствани UCIe интерфейси в многочипови решения, които освен усилват ефикасната пропускателна дарба, само че и понижават закъснението на данните. Темпото на по-нататъшното мащабиране на инфраструктурата за изкуствен интелект ще зависи от напредъка при въвеждането на по-бърза памет.

HBM4 ще предлага веднъж и половина по-висока продуктивност от HBM3E, позволявайки да се трансферират до 2 терабайта данни в секунда по по-широката ѝ 2048-битова шина. До 2027 година на арената ще навлезе паметта от вида HBM4E, която евентуално ще усили скоростта на трансфер на данни с още 1,5 пъти. Въвеждането на интерфейса CXL също би трябвало да спомогне за възстановяване на успеваемостта на обмена на данни сред съставените елементи на компютърните системи. По отношение на паметта преходът към CXL ще обезпечи увеличение на потреблението с 50%, както и понижаване на потреблението на сила с до 20-30%. Появата на нови способи за триизмерно разположение на паметите също би трябвало да способства за възстановяване на продуктивността и понижаване на потреблението на сила.