ИИ без интернет ето как да стартирате мощна невронна мрежа директно на своя компютър
Новият модел на OpenAI може да погълне цялата ви оперативна памет.
Тази седмица OpenAI показа дълго чакания си езиков модел с отворен код gpt-oss. Основното му преимущество е опцията да го стартирате локално на личния си компютър, в това число на Mac с процесорите Apple Silicon. Ето по какъв начин работи той и какво да очаквате.
Моделът се предлага в два разновидността: gpt-oss-20b и gpt-oss-120b. Първият вид е модел със „ междинна “ мощ, който може да бъде стартиран на Mac компютрите от най-голям клас, в случай че те разполагат с задоволително запаси. Вторият е „ тежък “ модел, който изисква доста по-сериозен хардуер. Очаква се, че по-малкият вид ще „ халюцинира “ по-често – т.е. ще си измисля обстоятелства – защото разполага с по-малък набор от данни за образование. Но пък той е по-бърз и фактически работи на оникновените домашни компютри.
Дори в опростената си версия gpt-oss е забавен инструмент за всеки, който желае да опита да започва огромен езиков модел на своя преносим компютър. Трябва още един път да се акцентира, че за разлика от нормалния ChatGPT този модел работи без интернет връзка и по дифолт не има доста от „ функционалностите “ на усъвършенстваните чатботове. Така да вземем за пример той не ревизира отговорите посредством търсачките, което видимо усилва риска от неточности.
OpenAI предлага най-малко 16 GB оперативна памет, с цел да стартирате gpt-oss-20b, само че в реалност това е по-скоро долната граница, едвам видите по какъв начин работят нещата. Нищо чудно, че Apple неотдавна спря да продава Mac компютри с 8GB RAM – ИИ от ден на ден се трансформира в нормална работа за компютрите.
Започването на работата е елементарно. Първо би трябвало да инсталирате приложението Ollama – то е това, което ви дава опция да управлявате модела. Можете да го изтеглите на адрес ollama.com/download. След това отворете „ Терминала “ и въведете командите:
ollama pull gpt-oss:20b
ollama run gpt-oss:20b
Моделът ще заеме към 15 GB дисково пространство. След като бъде зареден, той може да бъде определен в интерфейса на Ollama. Ако желаете, можете да активирате „ самолетен режим “ в настройките, с цел да гарантирате напълно местна работа – не се изисква интернет или регистрация.
Оттам нататък всичко е просто: въведете някоя поръчка и наблюдавайте резултата. Но не забравяйте, че моделът употребява всички налични запаси – и вашият Mac може доста да се забави. На MacBook Air с чип M4 и 16 GB памет да вземем за пример са нужни повече от пет минути, с цел да се отговори на „ Здравей “. Запитването „ кой е бил 13-ият президент на Съединени американски щати “ лиши към 43 минути. Така че, в случай че планирате да употребявате съществено модела, 16 GB са меко казано малко.
Ако моделът към този момент не ви е нужен и желаете да освободите място на диска, използвайте командата:
ollama rm gpt-oss:20b
Можете да намерите повече информация в формалния уеб уебсайт на Ollama или да изпробвате различното приложение за macOS, LM Studio.
