ИИ суперкомпютърът NVIDIA EOS с 11 хил. ускорителя H100 постави рекорди в бенчмарковете за обучение на MLPerf
NVIDIA публично показа своя нов суперкомпютър EOS AI, разгласен още напролет на предходната година. Оттогава насам обаче машината е пораснала – в този момент тя включва 10 752 ускорителя H100 едновременно, а продуктивността ѝ по FP8 е 42,6 Eflops. Нещо повече, на процедура същата система е разполагаем на Microsoft Azure и всеки, който има задоволително пари, може да наеме част от нея.
EOS разполага с към 860 терабайта памет от вида HBM3 с обща пропускателна дарба от 36 Pbyte/s. За междусистемната връзка този индикатор е 1,1 Пбайт/сек. В този случай 32-та възли DGX H100 са обединени посредством NVLink в SuperPOD модул, а 400G мрежа, основана на Quantum-2 комутатори (InfiniBand NDR), дава отговор за целия останал продан на данни. В случая с Microsoft Azure конфигурацията на машината е съвсем идентична, като единствената разлика е, че тя има достъп до облачните клъстери.
MLPerf Training сложи шест върха за всички времена в бенчмарковете GPT-3 175B, Stable Diffusion (появява се единствено в този рунд), DLRM-dcnv2, BERT-Large, RetinaNet и 3D U-Net. Този път NVIDIA още веднъж не се сдържа и добави щипка маркетинг към класациите си – когато имате време за осъществяване на теста от десетки секунди, е малко неспортсменско да сравнявате резултатите си с клъстери с неведнъж по-малко ускорители. Любопитно е, че и този път се постанова да съпоставяме H100 с Habana Gaudi 2, защото Intel не се тормози да покаже резултатите от теста.
