На какъв компютър ще заработи прочутата невронна мрежа DeepSeek-R1: какви компоненти са необходими и колко струват
Една от най-съвременните невронни мрежи може да бъде конфигурирана локално на домакински компютър, само че съставените елементи би трябвало да бъдат особено подбрани.
Прословутата безвъзмездна невронна мрежа DeepSeek-R1, която работи на равнището на платения модел ChatGPT o1, стана известна с помощта на извънредно дребния си размер за LLM от такова равнище – тя може да се започва безусловно на домакински компютър – локално, а не на мощни сървъри в центрове за данни. И даже не става дума за „ орязани “ версии на невронната мрежа, а за пълноценната DeepSeek-R1 без филтрация и с квантуване от равнище Q8 (осигуряващо доста добър баланс сред акуратност, експедитивност и тежест). В обществената мрежа X консуматор с прякор @carrigmat сформира компютърна настройка, която може да извършва този ИИ модел локално, като уточни съответните съставни елементи и общата им цена. За по-малко от 24 часа тази обява събра повече от 4,2 милиона гледания.
Необходимата дънна платка е Gigabyte MZ73-LM0 или MZ73-LM1. Необходими са ви два EPYC сокета с цел да имате 24 канала DDR5 RAM, за оптимално увеличение потенциала и пропускателната дарба на оперативната памет.
Като процесор ще ви е нужен някой от два CPU от семейството AMD EPYC 9004 или 9005. Тъй като тясното място за LLM е пропускателната дарба на паметта, няма смисъл да харчите прекалено много за чипсета. Дори 9115 или 9015 ще ви свършат работа, в случай че желаете да спестите колкото се може повече.
Изборът на нагревател може да се окаже проблематичен, защото процесорите AMD EPYC употребяват SP5 сокет, а множеството радиатори за него са предопределени за монтаж в 2U/4U сървърни корпуси. Но в AliExpress и Ebay можете да намерите подобаващи модели. По-добре е да замените вградените вентилатори с Noctua NF-A12x25, с цел да работят по-ефективно и по-тихо.
Не бива да пестите и от оперативна памет – ще ви трябват 768 GB (за да поберете невронната мрежа). С други думи, нужни са 24 плочки вид DDR5-RDIMM от по 32 GB всяка.
SSD паметта би трябвало да е с размер 1 TB, с цел да побере DeepSeek-R1. В този случай колкото по-бърз флаш диск, толкоз по-добре, защото при стартирането му ще би трябвало да се запишат над 700 GB на модела в оперативната памет.
Консумацията на сила на тази настройка е изненадващо ниска – до 400 W. Въпреки това ще ви трябват доста кабели за двата EPYC сокета. И още, Corsair HX1000i или по-евтин модел с сходни характерности ще свърши работа.
Като кутия можете да изберете всеки модел кула, само че с монтажни стойки за сървърни дънни платки, които не се оферират на всички места. Например, Phanteks Enthoo Pro 2 Server ще свърши работа.
Общата стойност на съставените елементи и кутията е към $6000.
