IBM bouwt inferencecluster van 240 miljoen

IBM bouwt inferencecluster van 240 miljoen

IBM en Together AI sluiten een meerjarig contract van 240 miljoen dollar. IBM zet een groot cluster Nvidia HGX B300-systemen neer op IBM Cloud, dat Together AI gaat gebruiken voor inference van open-source modellen. De capaciteit moet in het eerste kwartaal van 2027 beschikbaar zijn.

Het gaat volgens IBM om het eerste dedicated, grootschalige cluster op IBM Cloud dat specifiek voor inference is gebouwd. Naast de HGX B300-systemen wordt Nvidia Spectrum-X Ethernet ingezet voor de netwerklaag. Nvidia stelt dat die combinatie 30 keer meer AI factory-output levert dan de vorige generatie.

Together AI mikt met het cluster op workloads van bedrijven die open modellen willen draaien zonder de prijs van gesloten alternatieven. Together AI koos IBM en Nvidia vanwege de productroadmaps en het tempo waarin GPU-capaciteit geleverd kan worden, tegen zo laag mogelijke tokenkosten. Het platform van het bedrijf dekt inference, training, fine-tuning en agentic workflows. Voor het inferenceproduct meldt Together AI inmiddels 400 biljoen tokens per maand.

“Bedrijven willen de prestaties van de beste frontier-modellen zonder het prijskaartje van gesloten modellen, en dat werkt alleen als de onderliggende infrastructuur snel en betrouwbaar is op schaal”, zegt Vipul Ved Prakash, CEO van Together AI. Samenwerken met IBM en Nvidia geeft dat fundament, stelt hij.

Bredere IBM-Nvidia-samenwerking

Alan Peacock, General Manager van IBM Cloud, spreekt over scalable, economische AI-infrastructuur op enterprise-niveau. Dion Harris van Nvidia vergelijkt AI-fabrieken met elektriciteit en telecom als essentiële bedrijfsinfrastructuur.

Het cluster is de nieuwste stap in een bredere samenwerking. IBM en Nvidia meldden recent al voortgang rond GPU-native data-analyse, extractie van ongestructureerde data, on-premises en cloudinfrastructuur en consultancydiensten. IBM breidde eerder ook zijn hybride cloudopties voor AI uit.