Mistral AI и NVIDIA представиха корпоративния AI-модел Mistral NeMo 12B със „здрав разум“ и „познаване на света“
NVIDIA и френската компания Mistral AI анонсираха Mistral NeMo 12B Large Language Model (LLM), особено основан за решение на разнообразни задания на корпоративно равнище — чатботове, обобщаване на данни, работа с програмен код и други
Mistral NeMo 12B има 12 милиарда параметри и употребява контекстен прозорец от 128 хиляди токена. За инференс се употребява формат на данните FP8, за който се твърди, че понижава условията за размера наизуст и форсира внедряването без никакво понижаване на точността на отговора.
При образованието на модела е употребена библиотеката Megatron-LM, която е част от платформата NVIDIA NeMo. В този случай са употребявани 3072 ускорителя NVIDIA H100, основани на DGX Cloud. Твърди се, че Mistral NeMo 12B се оправя добре с многопроходните разговори, математическите задания, програмирането и така нататък Моделът има „ здрав разсъдък “ и „ познаване на света “. Като цяло той регистрира точна и надеждна продуктивност в необятен набор от приложения.
Моделът е пуснат под лиценза Apache 2.0 и се предлага като NIM-контейнер. Внедряването на LLM, съгласно основателите, лишава няколко минути, а не дни. За да стартирате модела, е задоволителен един ускорител NVIDIA L40S, GeForce RTX 4090 или RTX 4500. Основните преимущества на внедряването посредством NIM включват висока успеваемост, ниски изчислителни разноски, сигурност и конфиденциалност.
