Bij de AI-uitbouw ligt de nadruk op bottlenecks: waar komen AI-fabrieken terecht, hoe snel zijn ze te bouwen, waar komt het vermogen vandaan? Wat net zo belangrijk is, is waar AI-infrastructuur op schaal door mogelijk wordt gemaakt. ASUS biedt een kijkje in de stappen die nodig zijn om van discrete chips naar deployment te gaan met de ASUS AI POD.
De ASUS AI POD XA VR721-E3 is gebaseerd op de NVIDIA Vera Rubin NVL72. 36 Vera CPU’s werken samen met 72 NVIDIA Rubin GPU’s, terwijl NVLink-switches en ingebouwde voeding van 440 kW om de vereiste 227 kW ruimschoots te leveren. De dichtheid van dit vermogen is ongeëvenaard en vereist dus een geheel andere koeling dan voorheen. Volledige liquid cooling maakt van servers geïntegreerde systemen die 25 (!) keer meer hitte wegtrekken dan zelfs de best gemanoeuvreerde luchtkoeling dat doet.
We duiken in dit artikel in de manieren waarop ASUS deze AI POD’s, met XA VR721-E3 in het bijzonder, valideert voor de extreme workloads die het zal uitvoeren in datacenters wereldwijd.
Het complexe midden
NVIDIA’s AI-chips worden elk jaar aanzienlijk sneller, waarbij elke generatie beter in staat is om in te spelen op de hoge hardware-eisen van AI. Het wordt specifiek nodig om verder te denken dan ‘slechts’ tientallen of honderden miljarden parameters. AI-modellen groeien, ook open-source varianten die iedereen met de juiste hardware kan draaien, en ze worden competenter. De ASUS XA VR721-E3 AI POD is daarom in staat om de 20,7 terabytes aan videogeheugen in de NVIDIA Rubin-chips te vullen met LLM’s met een biljoen of meer parameters, ofwel 1.000 miljard. Dit maakt complex redeneren mogelijk, agentic taken die lang draaien en werk opsplitsen en automation realiseert die voorheen ondenkbaar was.
Dat is het begin en het eind: NVIDIA-chips enerzijds, AI-modellen in productie anderzijds. In het midden zit ASUS’ uitvoerige R&D en QA, inclusief tests met allerlei verschillende temperaturen en omstandigheden. Hierna levert ASUS het Deployment and Management Platform; aanpasbare datacentertooling en beheersoftware is dermate intuïtief dat het in een enkele muisklik op te zetten moet zijn.
Labtests: wat kan een AI POD?
Voordat ASUS haar systemen in productie neemt, begint een complexe operatie. Het R&D Lab van ASUS in Taiwan richt zich op de nieuwste servers met de hierboven geschetste hoge eisen. Een AI-fabriek rust op talloze serverracks die elk voorspelbaar en dynamisch moeten opereren, zelfs in extreme omstandigheden. Zo heeft ASUS stevig geïnvesteerd in het in real time opsporen van fouten en het verschaffen van onmiddelijke feedback bij prototype-systemen. De productielijn zelf verdient tevens veel aandacht, waarbij ASUS de opbrengst maximaliseert en consistente kwaliteit garandeert. Het resultaat spreekt voor zich: de eerste ASUS NVIDIA GB300 NVL72-systemen zijn al geleverd.
Maar dit stippelt nog niet uit waar een AI POD fysiek toe in staat is. De time-to-first-token, de kritieke meting die laat zien hoe snel een AI-systeem begint met het genereren van een output, is alleen consistent vast te stellen door het Quality and Reliability Lab (QTR). Bij dit QTR worden de extremen opgezocht van temperatuur en luchtvochtigheid, parameters die idealiter bezweerd worden door datacenteromgevingen, maar in de realiteit kunnen leiden tot ongewenste en onvoorspelbare karaktertrekken van de IT-infrastructuur. Om deze negatieve gevolgen te ontdekken en uit te sluiten als de AI POD’s naar klanten gaan, test het QTR van -40 graden Celsius tot wel 85 graden en een luchtvochtigheidsgraad van 10 procent tot 98 procent.
Dit zijn scenario’s die maar lastig voor te stellen zijn in extremis, maar ook uitgevallen redundante systemen kunnen bijvoorbeeld de luchttoevoer raken. Het gevolg kan immens zijn. Stel je een AI-fabriek voor met tienduizenden of zelfs honderdduizend GPU’s, elk opgesteld in de ASUS XA VR721-E3 AI POD’s met de meest recente NVIDIA Vera Rubin-architectuur. Het werk van QTR garandeert dat een datacenteroperator weet dat deze reusachtige clusters van rack-scale systemen op dezelfde wijze gevalideerd zijn.
Het ideale systeem
Bij ASUS is men dus erg bewust van de potentiële risico’s. Echter is het realistisch gezien zo dat de meeste AI POD’s zich in gecontroleerde omgevingen bevinden en de immense AI-capaciteit voortdurend benutten. In die configuratie stapelen potentiële bottlenecks zich heel snel op. Anders gezien: elk voordeel dat ASUS’ Thermal Lab kan vinden door de optimale werkingstemperatuur te vinden of de luchtstroom of de drukval, betaalt zich keer op keer terug.
Naast het monitoren van deze variabelen als de ASUS AI POD’s in gebruik genomen worden, zorgt het testproces ervoor dat gesimuleerde warme en koude gangpaden via digital twins bekend zijn. Elk rackscale systeem wordt gevalideerd, zowel lucht- als watergekoelde systemen, voordat ze geleverd worden.
Vervolgens blijft ASUS actief bij het draaien in productie. Het ASUS Infrastructure Deployment Center houdt taken, actieve training-runs, deployment-frequentie, status en andere systeeminformatie in de gaten. Een dashboard geeft eventuele problemen vroeg weer, voordat ze escaleren, en meet het geheugen- en opslaggebruik. Dit alles is, dankzij de uitgebreide validatie vooraf, volgens ASUS de Total Cost of Ownership met 40 procent laten afnemen, naast dat AI-training zeven keer sneller verloopt dan voorheen. Dit is bovenop het feit dat de NVIDIA-chips in deze AI POD’s van de nieuwste generatie zijn en dus zelf al een enorme prestatiewinst opleveren. Maar zonder een solide, beproefd systeem geen AI-fabriek.
Conclusie: van chip naar AI-fabriek
De ASUS XA VR721-E3 laat zien dat de sprong van losse componenten naar een draaiende AI-fabriek niet in de chips zelf zit, maar in alles eromheen. NVIDIA levert met de Vera Rubin NVL72 de rekenkracht, en de biljoen-parameter-modellen aan de andere kant leveren de vraag, maar tussen die twee uitersten bepaalt de validatie of een systeem daadwerkelijk betrouwbaar presteert onder de omstandigheden die datacenters wereldwijd voorschotelen.
Juist daar ligt de waarde van ASUS’ aanpak. Het R&D Lab, het QTR met zijn extremen van -40 tot 85 graden Celsius, het Thermal Lab en de digital twins zijn geen bijzaak, maar de voorwaarde waaronder 227 kW aan vermogen per rack veilig en voorspelbaar benut kan worden. Zonder die voorbereiding blijft een AI POD een verzameling indrukwekkende specificaties; met die voorbereiding wordt het een bouwsteen die honderdduizend keer herhaald kan worden zonder verrassingen.
Dat vertaalt zich uiteindelijk naar wat voor een operator telt: een Total Cost of Ownership die 40 procent lager uitvalt, AI-training die zeven keer sneller verloopt en systemen die vanaf de eerste muisklik inzetbaar zijn. De prestatiewinst van de nieuwste NVIDIA-generatie is het uitgangspunt, maar het is de beproefde validatie van ASUS ertussenin die bepaalt of die winst ook in productie standhoudt.
Lees ook: Nvidia’s plannen voor Vera Rubin, DGX Station, agents en robots