В сряда OpenAI представи първия си специализиран процесор за инференция,

В сряда OpenAI показа първия си профилиран процесор за инференция, планиран и създаден взаимно с Broadcom. Чипът Jalapeño е основан да дава отговор на характерните потребности на AI системите на компанията.

Технологичното издание TechCrunch оповестява, че изкуственият разсъдък на OpenAI е взел участие интензивно в създаването на хардуера.

Въпреки че чипът към момента е в тестова фаза, OpenAI оповестява, че ранните резултати демонстрират доста по-добра продуктивност на ват (performance-per-watt) по отношение на актуалните други възможности на пазара. Партньорството беше оповестено през октомври, само че проектите на компанията за личен хардуер се разискват от дълго време като стратегически ход за понижаване на зависимостта от графичните процесори на Nvidia.

Този метод не е нов, защото компании като Гугъл и Amazon към този момент създават лични " AI ускорители " (чипове, проектирани особено за ускорение на натоварванията при машинното обучение), с цел да усъвършенстват инфраструктурата си.

Президентът на OpenAI Грег Брокман показа философията на компанията в корпоративния подкаст малко след оповестяването на договорката с Broadcom.

„ Имаме надълбоко схващане за натоварването на системите ни “, показа Брокман. „ Търсихме характерни процеси, които не са задоволително добре обслужвани софтуерно досега, и се запитахме по какъв начин можем да изградим нещо, което да форсира границите на вероятното. “

Jalapeño е планиран особено за инференция – осъществяване на към този момент подготвени AI модели в отговор на потребителски команди, като да вземем за пример генериране на отговор в ChatGPT.

При анонса компанията акцентира ниските оперативни разноски на чипа при осъществяване на модели за програмиране в действително време. Вероятно ресурсоемките задания, като първичното образование на базовите модели (pre-training), ще продължат да разчитат на мощния хардуер на Nvidia. Въпреки това, даже минимално понижаване на разноските за ежедневната инференция може да изиграе голяма роля за възстановяване на финансовите резултати на OpenAI.

Оптимизирането на тези системи се обрисува като основен фактор за стопанската система на изкуствения разсъдък. OpenAI към този момент създава агентни артикули като Codex и построява центрове за данни за тяхната работа.

Разработката на профилирани чипове разрешава на компанията цялостен надзор върху процеса.

„ OpenAI освен създава водещи модели или основава артикули върху тях; ние проектираме и инфраструктурата под тях: архитектурата на чиповете, ядрата, системите за памет, мрежите, графиците, системите за внедряване и продуктовото преживяване “, показват от компанията.

„ Тъй като оперираме на всяко равнище от софтуерния стак, можем да усъвършенстваме всичко с една обща цел: да създадем нашите модели по-бързи, по-надеждни и по-достъпни за потребителите. “