De zesde generatie EPYC-processoren voor servers zijn beschikbaar. Onder de codenaam Venice biedt de nieuwe Zen 6-chiparchitectuur een stevige prestatiewinst voor EPYC-chips, met agentic AI-workloads als prioriteit. De processoren zullen snel worden geleverd en onder meer beschikbaar zijn op Microsoft Azure en Oracle Cloud Infrastructure.
Systemen met de nieuwe SP7-processors worden sinds dinsdag geleverd door de grote OEM’s en ODM’s, meldt AMD. De chips werden in juli al aangekondigd tijdens het Advancing AI-evenement van AMD. Meta is zogeheten ‘lead customer’. Het valideert de nieuwe EPYC-systemen voor een uitrol op grote schaal. Het bedrijf van CEO Mark Zuckerberg sloot in februari een meerjarige deal met AMD voor maximaal 6 gigawatt aan Instinct-GPU’s. De eerste gigawatt daarvan draait op Venice-CPU’s.
De CPU is terug in beeld
De vijfde generatie, Turin, werd volgens AMD sneller ingekocht dan welke eerdere EPYC-generatie dan ook. Venice moet die lijn doortrekken, maar met een duidelijk andere focus. AI vergroot namelijk de rol van de CPU aanzienlijk “in elke laag van het datacenter”, aldus Dan McNamara, SVP en general manager Compute and Enterprise AI bij AMD.
Dat de CPU weer in de belangstelling staat, schreven we eerder al. Een enkele agentic workflow klopt meermaals aan bij de CPU voor kritieke taken. Het roept modellen aan, haalt data op, voert code uit en praat met bestaande databases en applicaties. Veel van dat werk komt overigens helemaal niet bij de GPU terecht. Een onderbelichte realiteit van AI-workloads is dat elke tool call en andere interruptie in feite de workload herstart binnen de GPU. Enkel de IT-applicaties en infrastructuur eromheen laat de impact van de AI-acties zien, met de CPU als dirigent van alle taken behalve inferencing. AMD onderscheidt drie rollen voor de centrale processor die hierbij relevant zijn. Allereerst algemene diensten, de klassieke workloads. Tegenwoordig zijn daar host-nodes aan toegevoegd, die GPU’s van data voorzien. Verder is er de rol van de sandbox waarin agents draaien, met alle securityimplicaties van dien. Voor elk van die rollen biedt Venice een eigen variant.
256 cores, 2 nanometer en PCIe 6.0
Het topmodel, de EPYC 9996, heeft 256 Zen 6c-cores en 512 threads en is gebakken op het 2 nm-procedé van TSMC. Het maakt gebruik van 16 geheugenkanalen, goed voor zo’n 1,6 TB/s aan bandbreedte met snelle MRDIMM’s, plus 128 PCIe 6.0-lanes met CXL 3.1 en 1.024 MB L3-cache. Met een adviesprijs van 14.904 dollar kost de chip ongeveer evenveel als zijn voorganger, de EPYC 9965, maar levert hij wel 64 cores meer. Wie juist hoge kloksnelheden zoekt, kan kiezen voor de reguliere Zen 6-modellen. Die hebben maximaal 96 cores en halen tot 5,3 GHz. Het is maar net waar de bottleneck zit, maar voor AI is bandbreedte doorgaans de beperkende factor.
Opvallend genoeg spreekt AMD niet langer over TDP. In plaats daarvan gebruikt het de term Default CPU Power, die het verbruik van de compute- en I/O-dies samen weergeeft. Voor de 9996 is dat 600 watt, al kan de chip ook op 400 watt worden geconfigureerd.
Onafhankelijke tests laten zien dat de generatiesprong fors is, maar niet overal even groot. In de benchmarks van Tom’s Hardware presteert een dual-socket 9996-systeem in de integer-throughputtest van SPEC CPU 2026 tot 93 (!) procent beter dan een dual-socket EPYC 9965. Bij Java- en databaseworkloads is de winst met zo’n 24 procent een stuk bescheidener, bij rendering in Blender ligt die tussen de 30 en 40 procent. De IPC-winst die het meest wordt gerapporteerd zit in de regio van 20-25 procent, een stevig voordeel historisch gezien tussen enkele generaties.
Stevige claims, kleine lettertjes
AMD stelt dat een systeem met de EPYC 9996 tot 3,7 keer sneller is dan een systeem met Nvidia Vera, gemeten met SPECrate2017_int_base. Tegenover de Intel Xeon 6980P zou het tot 2,2 keer zoveel prestaties en twee keer zoveel prestaties per dollar opleveren.
Daar zijn twee kanttekeningen bij. De Vera-score is slechts een schatting van AMD zelf, gebaseerd op eerdere tests van Phoronix. En de Xeon 6980P is Intels topmodel uit 2024. Tegen de nieuwere Xeon 6990E+ komt de voorsprong volgens AMD’s eigen voetnoten uit op ongeveer 1,8 keer. Die vergelijking met het oude product is voor overstappers mogelijk interessant.
Voor agent-sandboxes claimt AMD ongeveer 3,3 keer zoveel agents per CPU-watt als Vera, en 2,5 keer zoveel als de Xeon 6980P. Opnieuw is dat is een theoretische berekening. AMD gebruikt het aantal beschikbare threads als maat voor het aantal agents en rekent met een 256-core-chip die op 400 watt is ingesteld. Hoeveel agents er in de praktijk op een server passen, hangt sterk af van model, geheugen en software. Ook gaat dit uit van volledige utilisatie, wat in de praktijk lang niet gemeengoed zal zijn. De host-node-CPU’s met een hoge klokfrequentie zouden tot 1,8 keer zoveel LLM-output halen als de vorige generatie. Dat cijfer is, andermaal, een projectie.
Van server naar rack
Venice komt ook terecht in de Helion-racks die AMD in oktober presenteerde op de OCP Global Summit. Dat is een open blauwdruk voor een serveropzet die AMD omschrijft als een nieuw soort agentic-AI-infrastructuur. Het is vooral goedkoper dan een bovenal GPU-gedreven architectuur. Hierbij staat de CPU namelijk centraal, de GPU is optioneel. Er zijn drie varianten. Ten eerste Helion Liquid, bedoeld om naast AMD’s Helios-GPU-racks te staan voor een maximale ‘agentdichtheid’. Dan volgt Helion Air dat voor bestaande luchtgekoelde datacenters geschikt is. Als laatste is er Helion Air Inference, dat CPU’s en GPU’s voor lokale inference combineert in een enkele rack. Sommige configuraties komen uit op een duizelingwekkend aantal van 73.728 threads per rack.
Microsoft heeft de EPYC Zen 6-gebaseerde Azure HDv2 in preview beschikbaar gesteld. Het is bedoeld voor dataverwerking voor agentic AI en ‘conventionele’ HPC-workloads. Elke VM beschikt over meer dan 500 fysieke Zen 6-cores en 3,8 TB DDR5-geheugen. Daarnaast komen er Azure HXv2 voor EDA (ontwerp van elektronica) en technische berekeningen, en ND MI455X v7 voor AI-inferencing op schaal. Die laatste is gebaseerd op het welbekende Helios, het rackplatform dat Azure eerder al omarmde en geldt als direct alternatief voor Nvidia’s Vera Rubin-rackscale systeem. Oracle laat zijn OCI Compute E7-instances intussen op Venice draaien. Deze zijn bedoeld voor gewone bedrijfsapplicaties en de CPU-diensten rondom AI-modellen.
Daarmee is de Venice-familie nog niet compleet. Processors voor de kleinere SP8-socket volgen in de eerste helft van 2027, de Venice-X-varianten met 3D V-Cache voor HPC in de tweede helft van dat jaar.