CPU’s zijn lang weggezet als ‘verkeersregelaars’ voor de GPU’s die het echte werk doen voor AI. Dat lijkt nu te veranderen, met agentic workflows die sterk afhankelijk zijn van CPU-prestaties. AMD en Intel, op hun hoede voor hun Arm-rivalen, staan er goed voor. Op de lange termijn blijft echter een grote mismatch tussen CPU’s en AI-accelerators onopgelost.
We schrijven dit kort na het ‘Advancing AI’-evenement van AMD, dat in het teken stond van de rackscale Helios-systemen en nieuwe of versterkte samenwerkingen met onder meer Microsoft, OpenAI, Anthropic en concurrent Cerebras. Tijdens het evenement gaf AMD een eerste blik op Zen 6, de architectuur voor toekomstige EPYC- en Ryzen-chips. Het is de eerste keer dat een Zen-generatie in EPYC wordt geleverd voordat er een Ryzen-processor voor consumenten mee verschijnt. Die keuze spreekt op zich al boekdelen. Maar waarom worden CPU’s plotseling überhaupt als relevant voor AI beschouwd?
De CPU was altijd al een AI-accelerator
Geen enkele AI-workload draait zonder een CPU. Het is vrij algemeen bekend dat CPU’s verkeer doorsturen naar LLM’s die zich in het GPU-geheugen bevinden, maar de workload is veel omvangrijker. CPU’s zetten invoer om in tokens, decoderen afbeeldingen en video, en coördineren de KV-cache (het ‘kortetermijngeheugen’ van de LLM). Dit zijn allemaal taken die enorm toenemen naarmate contextvensters uitgroeien tot een miljoen tokens of meer. Agents, een latere toevoeging aan de AI-boom, maakten de CPU vervolgens op een nieuwe manier onmisbaar. Vraag een LLM om een willekeurige taak uit te voeren, en het doet dat via de CPU. De deterministische hulpmiddelen die LLM’s bijvoorbeeld bekwaam hebben gemaakt als codeerhulp, zijn conventionele tools die draaien op conventionele CPU-kernen.
Waarom dan die onduidelijke reputatie? Dat komt door schaarste op andere gebieden van de IT-hardwaresector. Eerst waren Nvidia-GPU’s voor het eerst moeilijk te verkrijgen voor datacentergebruik, daarna geheugen in vrijwel alle soorten en maten. De aandelen van Intel en AMD bleven met beide benen op de grond staan, terwijl Nvidia is gegroeid tot 1, vervolgens 2 en daarna 5 biljoen dollar, omdat het aanbod van CPU’s nooit de beperkende factor was voor AI-uitbreidingen. Dit betekent dat CPU’s niet profiteren van de schaarsteprijzen die GPU’s en HBM wel kennen.
Hoe ‘agents per watt’ het spel verandert
‘Agents per watt’ klinkt als weer een nieuwe maatstaf in een wereld die er al veel te veel van kent. We hebben al ‘time-to-first-token’, ‘tokenomics’, ‘tokens per watt’ en zelfs enkele bizarre begrippen zoals ‘intelligentie per joule’ gehad. Deze nieuwe maatstaf is in ieder geval specifiek voor CPU’s en AMD heeft er met de nieuwe EPYC-generatie concrete cijfers aan gekoppeld. In vergelijking met Nvidia’s Vera, de op Arm gebaseerde CPU die standaard in elk Vera Rubin-rack wordt geleverd, claimt AMD 20 procent hogere prestaties per core, 2,2 keer de doorvoer per socket en tot 2,8 keer meer agents per watt. In vergelijking met zijn eigen uitlopende Turin-chips zou Venice 1,8 keer zoveel tokens per seconde en 1,7 keer zoveel agents per watt leveren.
Agents per watt is daadwerkelijk een nuttige maatstaf, hoewel we vermoeden dat leveranciers dit naar hun hand zullen zetten en dat onafhankelijke benchmarks moeilijk zullen zijn af te stemmen op echte workloads. AMD heeft in ieder geval veel plezier met deze maatstaf: aangezien er geen standaardbenchmark voor agentic workloads bestaat, telt het hardwarethreads als vervanging voor agents, en aangezien Vera nog niet is geleverd, is elk Vera-cijfer een schatting van AMD op basis van openbaar materiaal van Nvidia. Zeggen dat je dit met een korreltje zout moet nemen, is nog zacht uitgedrukt.
Nvidia publiceerde begin vorige week zijn Vera-whitepaper, compleet met SPEC-resultaten waaruit blijkt dat het 88-core-ontwerp nipt beter presteert dan een dual-socket EPYC. AMD kon, zoals het graag benadrukte, dankzij deze timing een vergelijking maken met behulp van Nvidia’s eigen cijfers. Intel werd ondertussen nauwelijks genoemd. Dat bedrijf zal pas in 2027 concurrerend worden, wanneer Diamond Rapids op de markt komt met ingebouwde matrixversnelling als enige echte onderscheidende factor. Hoe dan ook, AMD levert nu al. Venice SP7 is in productie en op weg naar klanten, en servers van de grote fabrikanten volgen in het vierde kwartaal.
De invalshoek is duidelijk anders dan voorheen. CPU’s worden nu gepresenteerd als ‘enablers’ van AI in plaats van als bottlenecks of iets om te omzeilen. Het sterkste bewijs hiervoor is dat Nvidia de noodzaak voelt om überhaupt mee te spelen op het CPU-toneel, door Vera te positioneren als een ‘sandbox’-CPU voor AI-agents. Die inspanning blijkt echter wat zwak in vergelijking met zijn gigantische GPU-voorsprong. Vera lijkt, zelfs op papier, ondermaats wanneer het wordt vergeleken met de nieuwe „Venice“-EPYC-chips. Afgezien van de prestatiecijfers stuit Nvidia ironisch genoeg op een probleem dat AMD maar al te bekend is. Net zoals CUDA voor Nvidia een beschermingswal was op het gebied van GPU’s (hoewel AMD het daar nu fel mee oneens is), geeft de volwassenheid van EPYC als krachtige processor voor alle soorten workloads AMD een duidelijk voordeel ten opzichte van Nvidia.
Een renaissance van de CPU
CPU’s beleven hun AI-moment, of zullen dat binnenkort doen. De logica is eenvoudig: de CPU-generaties die nu op de markt komen, zijn de eerste die zijn ontworpen met volledige kennis van agentische workflows en met een veel dieper inzicht in de opbouw van een AI-taak dan hun voorgangers hadden.
Toch kun je verwachten dat er nog veel meer veranderingen zullen plaatsvinden in dit hardwarelandschap. Google hint op nog een nieuwe stap met Frozen v2, voorlopig een prille ‘side project” dat de feitelijke architectuur van een LLM fysiek zou maken. Het nadeel van een dergelijk ontwerp is een volledig gebrek aan flexibiliteit. Toch valt het potentiële voordeel niet te ontkennen: een zo efficiënt mogelijk draaiend model dat alleen een partij als Google kan bouwen. Aan de andere kant hebben we al zeer strak gestructureerde ontwerpen in de LPU van Groq en de wafer-scale units van Cerebras. Deze zijn indrukwekkend en inmiddels volwassen genoeg om te worden ingezet voor serieuze AI-workloads, maar ze blijven net iets meer dan ‘one-trick ponies’ voor AI. Wie ze ‘agentic’ noemt, gaat voorbij aan het feit dat CPU’s nodig zijn voor alles wat met agents te maken heeft.
GPU’s zijn veel wendbaarder, maar hebben nog steeds CPU’s nodig. Daarom is het onwaarschijnlijk dat die laatste chips volledig zullen verdwijnen. Je zou je een toekomst kunnen voorstellen waarin een willekeurig aantal XPU’s overblijft, of een toekomst met alleen GPU’s, of een toekomst vol met ‘Frozen’-achtige, vast bedrade ontwerpen. Een toekomst zonder de CPU is volslagen onvoorstelbaar.
Het grote probleem: geheugen
Er blijft één groot probleem over. GPU’s profiteren enorm van hun vermeende belang, met enorme investeringen die naar toekomstige architecturen vloeien en het wegwerken van bottlenecks. Het gevolg is dat HBM, de geheugenpool aan de GPU-zijde, de DRAM aan de CPU-zijde achter zich laat op een toch al snel stijgend snelheidstraject. Een enkel Helios-rack bevat 31 TB aan HBM4 en levert 1,7 petabyte per seconde; de Venice-socket ernaast verwerkt 1,6 terabyte per seconde. Die kloof wordt met elke generatie groter. Ook niet heel gek: HBM is in feite een stapel aan DRAM-chips en de driedimensionale aard ervan is decennia niet benut, terwijl de ‘platte’ architectuur van DRAM al lang en breed de ‘quick wins’ gehad heeft.
Dit betekent dat de balans na 2026 zal verschuiven. De AI-infrastructuur is op dit moment ongelooflijk onevenwichtig: kijk maar naar de enorme geheugenvoetafdruk in vergelijking met het daadwerkelijke GPU-gebruik, waarbij LLM’s HBM in beslag nemen op GPU’s waarvan ze de rekenkracht niet nodig hebben. Dit zal zich vanzelf oplossen (zie de enorme groei aan HBM-capaciteit per GPU) als en wanneer de AI-ontwikkeling vertraagt of op de een of andere manier gestandaardiseerd raakt. De hardware kan de architecturale ontwerpen nog maar net bijhouden en kan de vraag bij lange na niet bijhouden. Dat is tijdelijk. Op de lange termijn zullen CPU’s ongetwijfeld een plaats blijven innemen, zelfs met de eerder genoemde uitdagingen.
Conclusie
CPU’s worden steeds meer ingezet voor AI, met gespecialiseerde versies die zich onderscheiden van HPC of algemene computertoepassingen. Dit is niet zozeer een comeback als wel een moment om opnieuw te waarderen wat de CPU al die tijd stilletjes voor deze taken heeft gedaan. Het kan even duren voordat beleggers dit doorhebben, of analisten, et cetera. Je hebt simpelweg niet zoveel CPU’s nodig als GPU’s (Helios combineert er 18 met 72 Instinct-GPU’s, die al per stuk veel groter zijn dan een enkele CPU), en ze zijn veel kleiner qua chipgrootte, wat betekent dat het aanbod waarschijnlijk niet zo beperkt zal zijn als elders in de AI-stack. Desondanks lijkt de CPU weer wat duidelijker voor AI ingericht te zijn dan voorheen, met als gevolg dat een herwaardering goed getimed is.