Google представи най-бързия си ускорител за изкуствен интелект – Cloud v5p
Гугъл публично разгласи излизането на новия си огромен езиков модел Gemini. Заедно с него компанията показа и новия си изчислителен ускорител за изкуствен интелект Cloud TPU v5e (Tensor processing unit). Клъстерът, основан на новите TPU, се състои от 8960 чипа v5p и разполага с най-бързата междусистемна връзка на Гугъл – скоростта на прехвърлянето на данни може да доближи 4800 Gbps на чип.
Cloud TPU v5e е оборудван с 95 GB памет HBM3 с пропускателна дарба от 2765 GBytes/s. Производителността при целочислените интервенции INT8 е 918 TOPS (трилиона интервенции в секунда), а продуктивността при интервенциите с плаваща запетая BF16 е 459 Tflops.
Гугъл добавя, че новите чипове са доста по-бързи от предходното потомство TPU v4. Новият Cloud TPU v5p предлага два пъти по-висока продуктивност при интервенциите с плаваща запетая (FLOPS) и три пъти по-голям потенциал на паметта с висока пропускателна дарба.
Според Гугъл новите ускорители TPU v5p могат да образоват огромни езикови модели, като GPT-3 със 175 милиарда параметри, 2,8 пъти по-бързо от TPU v4, като в същото време употребяват по-малко сила. Освен това, с помощта на второто потомство SparseCore, TPU v5p може да образова embedding-dense моделите 1,9 пъти по-бързо от TPU v4. В допълнение към усъвършенстваната продуктивност TPU v5p обезпечава два пъти по-голяма мащабируемост от TPU v4, което в композиция с удвоената продуктивност обезпечава четири пъти повече калкулации на клъстер.
