IBM en Groq gaan samen agentic AI sneller bij bedrijven binnenbrengen. De partijen beloven vijf keer snellere AI-inference dan traditionele GPU’s, door IBM’s watsonx Orchestrate te combineren met Groq’s gespecialiseerde hardware. Voornamelijk streng gereguleerde sectoren zoals de zorg zal profijt kunnen halen uit de nieuw ontstane mogelijkheden.
IBM opent de deur naar GroqCloud via watsonx Orchestrate. Op de GroqCloud zal IBM specifiek de Granite-modellen draaien. De mix van deze twee levert een infrastructuur op waar bedrijven op kunnen opschalen aan een sneller tempo.
Over de hardware van Groq melden de partijen dat het een “meer dan vijf keer snellere en kostenefficiëntere inference levert dan traditionele GPU-systemen.” Het bedrijf dingt op die manier mee in het speelveld van Nvidia.
AI-agents sneller in dienst
Het hart van de samenwerking ligt in watsonx Orchestrate, een IBM-oplossing die overzicht biedt van alle AI-agents, workflows en enterprise tools die in een bedrijf aanwezig zijn. Deze tool kan zowel voorgebouwde als aangepaste agents inzetten voor specifieke bedrijfstaken.
De integratie met Groq’s infrastructuur moet IBM-klanten helpen om hun AI-agents sneller en goedkoper in productie te brengen. Volgens Rob Thomas, senior vice president software bij IBM, hebben grote organisaties weliswaar veel opties voor AI-experimenten, maar wordt het complex wanneer ze naar productieomgevingen willen overstappen.
IBM benadrukt dat de combinatie van snelheid en orchestratie vooral belangrijk is voor streng gereguleerde sectoren zoals de zorg en financiële dienstverlening. Groq beschikt over een compliant platform dat voldoet aan de strengste regelgevings- en beveiligingseisen. Daarnaast kunnen deze sectoren goed baten bij de snelheid van de Groq-hardware. De combinatie geeft IBM AI-agents de mogelijkheid data real-time te analyseren.
Verder aangekondigd
Daarnaast kondigen de bedrijven uitbreiding aan van de ondersteuning voor virtuele large language models en Red Hat’s llm-d framework voor grootschalige, gedistribueerde inference op Groq’s architectuur.