Още една алтернатива на платформите на NVIDIA: IBM обедини сили с Groq
IBM и Groq оповестиха стратегическо партньорство, с цел да дават на клиентите си високоскоростен ИИ-инференс на налична цена, като комбинират Watsonx Orchestrate на IBM с хардуерните решения на Groq, ускорявайки внедряването на системи с ИИ-агенти. Като част от партньорството, Groq и IBM възнамеряват да интегрират и подобрят технологията Red Hat vLLM с LPU архитектурата на Groq.
Очаква се взаимното решение да разреши на клиентите да употребяват опциите на Watsonx Orchestrate по прочут метод и с известни принадлежности в инференс-платформата GroqCloud, която дава на разработчиците достъп до високоскоростна и евтина LLM обработка. Тази интеграция ще отговори на главните потребности на AI-разработчиците, в това число и оркестровка на инференса, балансиране на натоварването и хардуерно ускоряване, като в последна сметка ще усъвършенства самия развой на инференс. За клиентите на IBM е планувана и поддръжка на моделите IBM Granite в GroqCloud.
IBM отбелязва, че предприятията не престават да се сблъскват с провокации във връзка с скоростта, разноските и надеждността при прехода на AI-агенти от пилотен към индустриален план. Партньорството сред IBM и Groq съчетава скоростта на инференса на Groq, рентабилността и достъпа до най-новите модели с отворен код с оркестрацията на AI-агентите на IBM, предоставяйки на клиентите инфраструктурата, нужна за мащабиране, оповестиха от компанията.
IBM оповестява също, че LPU обезпечават най-малко пет пъти по-бърз и по-рентабилен инференс от системите, задвижвани от ускорителите на съперниците, явно визирайки NVIDIA. Това подсигурява непрекъснато ниска инертност и продуктивност, като в същото време мащабира натоварванията, което е изключително значимо за AI-агентите в регулируемите промишлености. Като образец IBM уточни клиентите в опазването на здравето, които по едно и също време получават хиляди комплицирани въпроси от пациенти. С Groq, AI сътрудниците на IBM ще могат да проучват информацията в действително време и неотложно да дават точни отговори, което ще разреши на организациите в този бранш да вземат по-бързи и по-информирани решения.
В нерегулируемите промишлености клиентите на IBM могат ще употребяват платформата GroqCloud, с цел да ускорят продуктивността на AI-агентите и да подобрят автоматизацията на HR процесите и продуктивността на чиновниците. IBM разгласи, че неотложно ще даде опциите на GroqCloud на клиентите, а взаимните ѝ екипи с Groq ще се съсредоточат върху даването на следните благоприятни условия на клиентите на IBM:
високоскоростен и високопроизводителен инференс; внедряване на изкуствен интелект с фокус върху сигурността и поверителността, проектирано да дава отговор на най-строгите регулаторни и нормативни изисквания; интеграция с агентския артикул на IBM — платформата Watsonx Orchestrate, дава на клиентите гъвкавостта да употребяват профилирани шаблони за логаритми на сътрудници, приспособени към разнообразни случаи на приложимост.Groq е набрала финансиране от $1,8 млрд, в това число раунд финансиране от $750 млн предишния месец при оценка от $6,9 милиарда Сред вложителите ѝ са Cisco и Samsung. Groq си партнира и със саудитската Aramco Digital. Според Wall Street Journal, компанията тази година е стартирала 12 центъра за данни и възнамерява да пусне най-малко още 12 до 2026 година През 2024 година Groq промени оперативния си модел – към този момент не продава своите ИИ-ускорители, а предлага вместо това основаване на центрове за данни или облачни услуги.
