AMD публикува подробна инструкции за локалното пускане на ИИ модела

...
AMD публикува подробна инструкции за локалното пускане на ИИ модела
Коментари Харесай

AMD официално обяви как да се стартира мислещият ИИ модел DeepSeek R1 на обикновен компютър

AMD разгласява подробна указания за локалното стартиране на ИИ модела DeepSeek-R1обикновен потребителски компютър. Необходима е компютърна система с процесор Ryzen с хардуерен ИИ-ускорител XDNA (NPU) или компютър с десктоп графична карта от вида Radeon RX 7000. Освен това за естествената работа е нужен драйверът Adrenalin 25.1.1.

Да напомним, че напълно неотдавна бе показана „ високопроизводителна “ дребна версия на модела за изкуствен интелект DeepSeek-R1, която е задоволително компактна, с цел да работи на потребителски хардуер. Струва си да се означи, че ИИ моделите на DeepSeek по принцип са с дребни хардуерни условия – по този начин да вземем за пример моделът DeepSeek-V3 в началото е бил подготвен на клъстер от единствено 2048 ускорителя Nvidia H800.

Указанията на AMD разказват всичко, което е належащо, за стартирането на DeepSeek R1 локално на персонализирана система, основана на хардуер на AMD. Приложението LM Studio разполага с инсталатор на огромни езикови модели с един клик, особено създаден за процесорите Ryzen AI. Потребителите на AMD могат да го употребяват и за инсталиране на R1. Във видеоклипа компанията демонстрира също по какъв начин би трябвало да бъде конфигурирано приложението за съответния хардуер и изяснява оптималния брой LLM параметри, поддържани от даден хардуер.

Последното значително зависи от количеството налична памет. Така да вземем за пример графичните карти Radeon RX 7600 XT, RX 7700 XT, RX 7800 XT, RX 7900 GRE и RX 7900 XT поддържат модели до DeepSeek-R1-Distill-Qwen-14B с 14 милиарда параметъра. Флагманската карта Radeon RX 7900 XTX може да работи с модели до DeepSeek-R1-Distill-Qwen-32B с 32 милиарда параметъра. А Radeon RX 7600, единствено с 8 GB памет на борда, поддържа работа с модели до DeepSeek-R1-Distill-Llama-8B с 8 милиарда параметъра.

Лаптопите, основани на процесорите Ryzen 8040 и Ryzen 7040 с 32 GB RAM, както и системите, основани на процесорите Ryzen AI 9 HX 370 и Ryzen AI 9 365 с 24 GB или 32 GB RAM, могат да извършват модели до DeepSeek-R1-Distill-Llama-14B. Лаптопите, основани на Ryzen AI Max+ 395, поддържат модели до DeepSeek-R1-Distill-Llama-70B със 70 милиарда параметъра, само че единствено с 64 или 128 GB RAM. Версиите на преносимите компютри с 32 GB памет могат да работят с модели до DeepSeek-R1-Distill-Qwen-32B с 32 милиарда параметри.

DeepSeek R1, новият ИИ модел единствено за една нощ завладя света, защото разноските му за образование бяха 11 пъти по-ниски от тези на конкурентните ИИ модели. Преди два дни той провокира рекордна загуба от 589 милиарда $ в пазарната капитализация на Nvidia. Моделът DeepSeek-R1 разчита на рискови равнища на оптимизация, с цел да реализира 11-кратно нарастване на успеваемостта. DeepSeek-R1 работи освен на ускорители на Nvidia и AMD, появи се информация и за поддръжка на ускорителите на Huawei Ascend, което е доста забавно.

Източник: kaldata.com


СПОДЕЛИ СТАТИЯТА


КОМЕНТАРИ
НАПИШИ КОМЕНТАР