Малко неочаквано изчислителният ускорител Intel Gaudi 2 се оказа по-бърз от Nvidia H100 в Stable Diffusion
Nvidia е пазарен водач в региона на компютърния хардуер за изкуствен интелект. Зелената корпорация печели милиарди, а новите устройства се доставят с тонове. В същото време и AMD, и Intel оферират различни решения. Последната предлага мощния изчислителен ускорител Gaudi 2, за който не се е чувало доста в новините. Но очевидно има огромен капацитет. Компанията Stability AI, която създава известния ИИ Stable Diffusion, показа своите проби на Intel Gaudi 2 и Nvidia H100. И внезапно се оказа, че ускорителят на Intel дава по-добри резултати.
Ускорителят Intel Gaudi 2 сподели изключителни резултати при новите калкулации на Stable Diffusion 3. За задачите на тестването бе стартиран модел с 2 милиарда параметъра беше изпълнен на два клъстъра с по 16 ускорителя. Оказа се, че конфигурацията с Gaudi 2 обезпечава обработка на изображенията с 56% по-бързо! А в случай че я съпоставим с по-старите процесори Nvidia A100, разликата е 2,4 пъти!
Показани са и изчислителни резултати на модела Stable Beluga 2.5 със 70 милиарда параметри, основан на модела LLaMA 2. Без спомагателни интервенции и оптимизации под контрола на PyTorch конфигурацията от 256 ускорителя Gaudi 2 обезпечава междинна продуктивност от 116777 токена в секунда. Това е с 28% по-бързо от конфигурацията A100.
Устройството Intel Gaudi 2 е основано на мощен чип със лична архитектура. Известно е, че то се концентрира върху хетерогенните калкулации. Има 24 огромни тензорни ядра, разполага с 48MB SRAM и 96 гигабайта HBM2e памет, както и 24 интегрирани Gigabit Ethernet. Големият потенциал на паметта може да е един от факторите, които дефинират триумфа на Gaudi 2 в тестванията. Оригиналният ускорител Nvidia H100 е оборудван с 80 гигабайта, а това не е задоволително за огромните модели с изкуствен интелект. Но не би трябвало да забравяме, че зеленият колос към този момент разгласи H200 със 141 GB HBM3e памет.
