Много памет, бърза шина и правилно захранване: хибридният суперчип GH200 Grace Hopper надмина H100 в бенчмарка MLPerf Inference AI
NVIDIA разгласи, че суперчипът NVIDIA GH200 Grace Hopper и ускорителят H100 водят във всички проби за продуктивност на центровете за данни в бенчмарка MLPerf Inference v3.1 за генеративен изкуствен интелект, който включва задания за от региона на компютърното зрение, разпознаването на тирада, обработката на медицински изображения и огромни езикови модели (LLM).
Преди време NVIDIA разгласи рекордната продуктивност на H100 в новия бенчмарк MLPerf. Сега тя декларира, че суперчипът GH200 Grace Hopper за първи път е минал всички проби на MLPerf. В същото време системите, оборудвани с осем ускорителя H100, са постигнали най-висока продуктивност във всеки от тестванията на MLPerf Inference. Решенията на NVIDIA минаха сполучливо обновения тест DLRM-DCNv2, както и първия бенчмарк GPT-J LLM с 6 милиарда параметъра.
За отбелязване е, че GH200 е с до 17% по-бърз от H100, макар че самият чип на ускорителя е еднакъв и в двата продукта. NVIDIA изяснява това с няколко фактора. Първо, GH200 има повече памет в комплекта – 96 GB против 80 GB. Второ, SRP е 4 TB/s, а самият чип е хибриден, тъй че не употребява PCIe за прекачване на данни сред LPDDR5x и HBM3. Трето, GH200 при ниско натоварване на процесора е в положение да отдаде част от мощността на ускорителя, оставайки в границите на заложените ограничавания за консумация на сила. При стрес тестванията обаче GH200 работи с цялостна мощ, т.е. с TDP на равнище 1 kW.
