Amazon представи ИИ-ускорителите Trainium2 за обучение на големи езикови модели, както и Arm-процесорите Graviton4
Днес Amazon на своята годишна конференция re:Invent показа своите ИИ-ускорители за образование на огромни езикови модели – Trainium2. Представени бяха и сървърните процесори Graviton4.
Trainium2 е в положение да обезпечи 4 пъти по-висока продуктивност и 2 пъти по-висока енергийна успеваемост от първото потомство Trainium, показано през декември 2020 година. Trainium2 ще бъде разполагаем на клиентите на Amazon Web Services в инстанции EC Trn2 в 16-чипови клъстери. В решението AWS EC2 UltraCluster клиентите ще могат да получат на свое разположение до 100 000 чипа Trainium2 за образование на огромни езикови модели. За страдание Amazon не посочи по кое време Trainium2 ще бъде разполагаем на клиентите на AWS, като допусна единствено, че това ще стане „ през идната година “.
Amazon твърди, че 100 000 чипа Trainium2 ще обезпечат теоретична изчислителна мощ от 65 Eflops (квинтилиона интервенции в секунда), което значи 650 Tflops (трилиона операции) на ядро. Разбира се, това са единствено теоретични числа и си коства да се вземат поради фактори, които усложняват изчисленията. Въпреки това, в случай че приемем, че едно ядро Trainium2 може да обезпечи действителна продуктивност от към 200 Tflops, това би надхвърлило доста опциите на чиповете на Гугъл за образование на модели с изкуствен интелект.
Amazon също по този начин акцентира, че клъстер от 100 000 чипа Trainium2 може да образова огромен езиков модел на ИИ (LLM – large language model) с 300 милиарда параметъра единствено за няколко седмици. Преди това сходни задания отнемаха месеци. Параметрите при LLM са детайли на модела, получени от набори от данни за образование и в действителност дефинират уменията на модела при решаването на съответна задача, да вземем за пример генериране на текст или код. 300 милиарда параметри са към 1,75 пъти повече от GPT-3 на OpenAI.
Вторият чип, разгласен от Amazon през днешния ден, е процесорът Graviton4 Arm. Amazon твърди, че той предлага 30% по-висока продуктивност, 50% повече ядра и 75% по-голяма пропускателна дарба на паметта спрямо предходното потомство процесори Graviton3 (но не и с по-новия Graviton3E), работещи в облака Amazon EC2. Така Graviton4 ще предлага до 96 ядра (но ще има и други конфигурации) и поддръжка на до 12 канала DDR5-5600 RAM.
Друго усъвършенстване по отношение на Graviton3 е, че всички физически хардуерни интерфейси на Graviton4 са криптирани. Amazon твърди, че това би трябвало да отбрани по-надеждно работните натоварвания за образование на клиенти с изкуствен интелект и данните на клиенти с по-високи условия за дискретност.
„ Graviton4 е четвъртото потомство процесори, които сме пуснали единствено за пет години, и е най-мощният и енергийно ефикасен чип, който в миналото сме създавали за необятен набор от работни натоварвания “, споделя Дейвид Браун в изказване. – Като усъвършенстваме чиповете си за действителните работни натоварвания, които са най-важни за клиентите, можем да им предоставим най-модерната облачна инфраструктура. “
Graviton4 ще бъде разполагаем в масивите Amazon EC2 R8g, които към този момент са отворени за клиенти в предварителна версия от през днешния ден.
