Met Nvidia voorop zorgt AI ervoor dat alles steeds sneller gaat en moet. De rest van de markt moet maar bij zien te blijven. Om te zien wat de impact hiervan is op de bouw van datacenters, bezochten we op uitnodiging van Schneider Electric recent de nieuwe flagship Lake Mariner AI-campus van TeraWulf, die vol in aanbouw is aan de oevers van het Ontariomeer. We kregen daar een inkijkje in hoe dit in zijn werk gaat en vooral ook hoe dit zo snel mogelijk gedaan kan worden. Snelheid, beschikbaarheid van energie en een goed uitgedachte full-stack benadering van hardware en software vanuit Schneider Electric spelen daarbij een doorslaggevende rol.
Datacenters maken een grote evolutie door. Op vrijwel alle vlakken veranderen er fundamentele dingen. Denk aan het formaat (in MW’s), hoe alle IT-apparatuur van koeling voorzien kan worden, de monitoring die er nodig is, hoe het designproces in zijn werk gaat, de flexibiliteit en dynamiek die in datacenters ingebouwd moet worden, en zo kunnen we nog wel even doorgaan.
Veel van deze veranderingen kunnen worden toegeschreven aan de opkomst van AI. Zoals Marc Garner, Global President, Cloud & Service Providers bij Schneider Electric het tijdens het event het verwoordt: “Het draait allemaal om tokenization, het omzetten van compute in [AI, red.]-output.” Hij voorspelt dat 36 procent van alle compute die organisaties inzetten in 2030 om AI-workloads zal draaien. Vandaar ook dat het aantal neoclouds, GPU-clouds, of hoe deze aanbieders zich ook identificeren, de laatste jaren sterk gestegen is. Iedereen wil er een graantje van meepikken. Daarnaast is een dergelijke uitbreiding van compute voor AI ook noodzakelijk. De verwachte workloads die AI met zich meebrengt kunnen niet meer binnen de “ouderwetse” hybride omgevingen, die bestaan uit public cloud en on-prem, afgehandeld kan worden.
De uitdaging: snel opschalen
Iedereen die actief is in de AI-infrastructuurmarkt heeft echter een grote uitdaging. Er moet heel veel infrastructuur komen om alle AI-workloads die eraan komen te kunnen verwerken. Dit moet gezien het tempo waarmee Nvidia en andere bepalende spelers in de markt opschalen ook nog eens heel snel gebeuren. Dit scaling at speed (snel opschalen), zoals Garner het noemt, is niet eenvoudig.
Er zijn meerdere redenen waarom snel opschalen niet eenvoudig is voor datacenterbouwers. De belangrijkste daarvan is de aansluiting op het stroomnet. Alles staat of valt daarmee. Daar is op dit moment veel om te doen, omdat er ook nog een energietransitie gaande is. Dat zorgt ervoor dat het niet zomaar mogelijk is om een vrij grote reservering op het net veilig te stellen.
De kW’s/MW’s per rack waarop de referentie-ontwerpen van onder andere Schneider Electric en Nvidia zijn gebaseerd gaan daarnaast ook alleen maar omhoog. Tijdens ons bezoek hoorden we dat op dit moment al 150 kW-racks in gebruik zijn. Over een jaar of twee zou dat met onder andere de Feynman-generatie van GPU’s van Nvidia al 1 MW per rack kunnen zijn. Om al die MW’s bij het rack te krijgen, is er dan ook nog eens een overstap naar 800V DC op komst. Dat betekent een tamelijk radicale aanpassing van hoe stroom en spanning in datacenters eruit komen te zien.
Naast het vermogen dat met name AI-datacenters gaan opnemen van het net, is er ook nog de uitdaging om de supply chain dermate te optimaliseren dat het ook mogelijk is om snel te bouwen. Tot slot is er dan nog de min of meer verplichte overstap naar vloeistofkoeling. Vloeistofkoeling is natuurlijk al heel lang mogelijk, maar vooral voor supercomputers en andere HPC-doeleinden. Dat is waar Motivair “onder de radar” naam heeft gemaakt, in de woorden van Motivair-CEO Rich Whitmore. Hij ziet de H100-GPU van Nvidia als een omslagpunt wat dat betreft. Vloeistofkoeling werd vanaf toen min of meer een vereiste voor datacenters die zich op het soort workloads richtten waarvoor deze nodig zijn.
Tijdens ons bezoek aan TeraWulf en Motivair, dat officieel Motivair by Schneider Electric heet sinds de overname trouwens, kregen we inzichten in al deze aspecten en hoe deze met elkaar samenhangen.
TeraWulf: transitie van bitcoin mining naar AI
TeraWulf is buiten de VS nog niet echt bekend. Het bestaat dan ook nog maar sinds 2021. In eerste instantie was het een bedrijf dat infrastructuur bouwde voor bitcoin mining. Zo staat het ook nog steeds aangemerkt op Wikipedia. Op zich is een dergelijk startpunt niet gek. Veel bedrijven die nu een belangrijke rol spelen in de uitbouw van AI-infrastructuur zijn zo begonnen. De bekendste zal voor velen ongetwijfeld CoreWeave zijn, maar er zijn er nog veel meer.
Inmiddels heeft TeraWulf de focus verlegd naar het bouwen van AI-datacenters. Dat is een compleet andere workload dan bitcoin mining en vereist ook een andere infrastructuur. Dat is niet alleen te merken aan het soort servers dat je ervoor inzet, maar bijvoorbeeld ook aan de oriëntatie van de racks en de gangpaden en dus uiteindelijk ook aan de vorm van de datahallen zelf. Bij een rechthoekig gebouw staan de racks voor bitcoin mining parallel aan de korte kanten van het gebouw, terwijl het voor racks die voor AI-workloads ingezet worden veel beter is als ze parallel aan de lange zijde staan, horen we van Sean Farrell, de COO van TeraWulf. Daarnaast vereisen de AI-workloads die TeraWulf aanbiedt aan Core42 en Fluidstack (dat steun krijgt van Google) vloeistofkoeling, terwijl bitcoin mining prima met lucht gekoeld kan worden.
Het is TeraWulf in ieder geval menens. Het doel is om verspreid over meerdere sites in totaal een kleine 3GW aan AI-capaciteit te bouwen, geeft Farrell aan. Hoeveel sites het exact zijn, is ons niet helemaal duidelijk. Zelf heeft Farrell het over vijf sites: twee in New York, een in Texas, een in Kentucky en een in Maryland. Die laatste twee heeft TeraWulf enkele maanden geleden aangekocht. Op de website van het bedrijf zelf staan er echter zes, met nog een extra datacenter in Kentucky.
Of het nu vijf sites zijn of zes, het is zonder meer duidelijk dat TeraWulf heel hard aan de weg timmert. Vandaar ook dat de vraag werd gesteld of er ook plannen zijn om buiten de VS te kijken naar mogelijkheden. Daar kregen we geen eenduidig antwoord op. Behalve dan dat TeraWulf altijd om zich heen kijkt naar mogelijkheden. Die kunnen in theorie ook in Europa liggen. Wij kregen niet echt het idee dat dit ook echt een serieuze optie is.
Lake Mariner AI-campus is groot, heel groot
TeraWulf mag dan vijf of zes sites hebben, de site die wij hebben bezocht is wat ze zelf hun flagship site noemen. Oftewel, de Lake Mariner AI-campus is de grootste en meest geavanceerde van allemaal. Nu ja, dat moet het worden. Want op dit moment is er vooral heel veel bouwactiviteit te zien. In totaal zo’n 1600 mensen werken er dag en nacht om de verschillende afzonderlijke gebouwen uit de grond te stampen. En dat gaat heel snel. We zijn tijdens ons bezoek in een van de nieuwste gebouwen geweest waar tientallen MW’s aan capaciteit in kunnen zodra dat klaar is. Dit was zo goed als af, alleen alle apparatuur moest er nog in. De eerste paal voor dit gebouw werd op 1 januari geslagen. Aan een soortgelijk gebouw ernaast is men op 1 april begonnen: dat is ook al voor ongeveer de helft af.
Verder was dit voor ons met afstand de grootste site waar we tot nu zijn geweest. In totaal bestrijkt de site een gebied van 1800 acres, geeft Farrell aan. Als we dat omrekenen naar hectare, komt dat op ruim 728 hectare uit. En dat is dan weer 7,28 miljoen vierkante meter. Uiteraard komt er niet op het hele gebied datacenterinfrastructuur te staan. Dat zal een oppervlakte van 180 acres beslaan, horen we. De komma verschuift dus een plekje in bovenstaande getallen: 72,8 hectare en 728.000 vierkante meter datacenterinfrastructuur.
In totaal moet er op de oppervlakte die TeraWulf gaat bouwen niet minder dan 750 MW aan capaciteit beschikbaar komen. Dat is het maximale vermogen dat naar de site kan vanaf het stroomnet. Op dit moment heeft TeraWulf toestemming voor 500 MW, maar er is nog ruimte om dit uit te breiden. Met 750 MW mag dit ook op dit punt gerust een grote site genoemd worden. Er zijn zeker grotere, onder andere de Start Campus-site in Portugal waar we vorig jaar waren, die richting 1,2 GW uitgebouwd wordt. Desalniettemin valt 750 MW ook zeker onder de zeer grote datacentercampussen.
Het juiste startpunt
Als de beschikbare capaciteit van het stroomnet de belangrijkste factor is bij het ontwikkelen van nieuwe datacenters, ligt het voor de hand dat dit het startpunt is. Waar traditionele datacenters geregeld in de buurt van mensen en bedrijven werden gebouwd vanwege zaken zoals latency of eventueel afvoer van restwarmte, is dat bij AI-datacenters veel minder belangrijk. Zeker bij datacenters die klanten inzetten voor het trainen van modellen maakt iets als latency naar de buitenwereld weinig tot niets uit. Het draait allemaal om of er voldoende capaciteit op het stroomnet is. En dat is op locaties waar traditionele datacenters werden gebouwd vaak een uitdaging.
Het is dan ook geen verrassing dat we zo’n 1,5 uur onderweg zijn vanuit ons hotel in Buffalo naar de Lake Mariner AI-campus. TeraWulf bouwt het aan de oevers van het Ontariomeer. Niet om zoals we bij Start Campus zagen het water uit het meer te gebruiken voor koelingsdoeleinden overigens. De reden dat de campus hier komt is omdat hier een energiecentrale staat. Sinds 2020 is de gasgestookte energiecentrale niet meer operationeel, maar de beschikbare capaciteit is er nog wel. Vandaar dat TeraWulf deze site heeft gekocht. Ook andere sites van het bedrijf zijn voormalige energiecentrales.
De focus op stroomvoorziening is zichtbaar in alle geledingen van het bedrijf. Farrell heeft een achtergrond in deze sector en er werken nog altijd de nodige mensen die in de energiecentrale werkten voor TeraWulf. Volgens hem helpt die achtergrond niet alleen bij wat er allemaal komt kijken rondom de stroomvoorziening. Een energiecentrale maakt doorgaans ook gebruik van vloeistofkoeling, dus de principes die men daar hanteerde kwamen ook van pas bij de nieuwe bebouwing op het terrein. Voor de volledigheid, de oude gascentrale blijft gewoon staan, omdat TeraWulf gebruikmaakt van de bestaande infrastructuur ervan.
Het mag duidelijk zijn, de bouw van een AI-datacenter heeft eigenlijk weinig met IT te maken. Dat is al langer duidelijk in het publieke discours, maar is eigenlijk ook echt zo in de dagelijkse praktijk.
Het aandeel van Schneider Electric en Motivair
Met de vloeistofkoeling waar we het in de vorige paragraaf over hadden, hebben we de rol te pakken die met name Motivair speelt in het verhaal van TeraWulf. Op bezoek bij meerdere vestigingen van Motivair rond Buffalo zien we wat het bedrijf zoal maakt. Het gaat bij het koelen van datacenters primair om twee verschillende onderdelen: CDU’s en HDU’s. CDU staat voor Coolant Distribution Unit en HDU staat voor Heat Dissipation Unit. De eerste zorgt ervoor dat de vloeistof in een gesloten systeem op de juiste plaatsen terechtkomt, de tweede moet de warmte uit vloeistof trekken en wegblazen.
Tijdens ons bezoek aan de assemblagelijnen van Motivair zagen we vooral veel varianten van de CDU. Die is er namelijk meerdere maten. Zo is er eentje die je onderin een rack plaatst, waarna deze de distributie van vloeistof voor de (direct-to-chip) koeling van dat rack levert. Er zijn echter ook op zichzelf staande CDU’s. Die zijn gek genoeg net weer niet het formaat van een standaard rack, maar wel ongeveer even groot. Deze zorgen vanaf een centrale locatie voor de distributie van de vloeistof naar meerdere racks. Binnen die behuizing zijn er dan weer verschillende variaties. Dat wil zeggen, in dezelfde behuizing kunnen CDU’s van verschillende capaciteit geleverd worden.
Tot slot zagen we ook nog de zogeheten ChilledDoors van Motivair. Dit zijn precies wat de naam doet vermoeden deuren die je aan racks hangt om deze te koelen. Deze deuren, die volgens Motivair op alle standaard racks passen, zijn gekoeld, zuigen lucht aan, waarna de lucht door de server heen getrokken wordt en opwarmt. Vervolgens gaat de lucht door een vloeistofgekoelde heat exchanger en wordt afgekoeld weer de ruimte ingeblazen. Dit is dus een combinatie van lucht- en vloeistofkoeling.
Een ChilledDoor is voor zware AI-racks niet enorm interessant overigens. Een deur kan maximaal 75 kW per rack koelen. Wil je hoger, dan moet je naar direct-to-chip en CDU’s.
Motivair past in strategie en stack van Schneider Electric
Schneider Electric is niet de enige speler die koeling levert voor (AI-)datacenters. Wel heeft het de laatste jaren tamelijk agressief ingezet op het bouwen van een volledige stack. Het heeft het zelf vaak over grid to chiller, chiller to chip, om deze volledige stack aan te duiden. Met andere woorden, vanaf het stroomnet tot de koeling en vanaf de koeling tot de IT-infrastructuur. Volgens een woordvoerder van Schneider Electric kan het bedrijf zo’n 90 procent leveren van wat er in een modern datacenter gaat.
Met de overname van Motivair heeft Schneider Electric een belangrijk gat opgevuld, vertelt Motivair CEO Whitmore ons: “Schneider Electric heeft een heel breed portfolio, maar had geen expertise in het overbrengen van de warmte van de chip naar de chiller.” Dat kan het nu wel. Motivair was rond de tijd van de overname sowieso actief aan het kijken wat het ging doen. Ze wilden verkopen of met behulp van private equity groeien. Whitmore haalt tijdens ons gesprek een anecdote aan, om aan te geven dat de overname van Motivair door Schneider een goede en slimme zet is geweest. Ten tijde van de overname zat hij in een call met Nvidia en liet vallen dat ze overgenomen zouden gaan worden door Schneider Electric. Nvidia reageerde daar heel enthousiast op, volgens hem.
De belangrijkste reden dat Nvidia enthousiast reageerde, zou best eens kunnen zijn dat Motivair vrijwel naadloos in het aanbod van Schneider Electric past. Dat is op zich niet zo gek natuurlijk, want Motivair zal hun designs ongetwijfeld altijd al aangepast hebben op wat de grote jongens in deze wereld bieden. Aangezien Schneider Electric en Nvidia samen veel referentiedesigns maken, is het optelsommetje zo gemaakt.
Let wel, TeraWulf neemt zeker niet alles af bij Schneider Electric. Ondanks dat er qua schaalbaarheid meerwaarde zit in zoveel mogelijk full-stack aan te schaffen, volgt ook TeraWulf de trend van multi-vendor in datacenters. Zo zagen we tijdens onze rondleiding door een van de hallen al behoorlijk wat PDU’s (Power-Delivery Units) van Vertiv staan. Of die wellicht sneller konden leveren, of dat dit een bewuste strategie van TeraWulf is om wat meer spreiding aan te brengen weten we niet.
Gezonde supply chain betekent keuzes maken
Het feit dat Motivair onderdeel uitmaakt van Schneider Electric zal ongetwijfeld een rol hebben gespeeld bij de keuze van TeraWulf om met Schneider Electric in zee te gaan. Het kan vrijwel een hele stack bij dezelfde aanbieder afnemen. We zagen bijvoorbeeld ook al de UPS’en van Schneider staan (zie foto hieronder).
Veel bij dezelfde leveranciers afnemen is operationeel erg belangrijk. Met het tempo waarin TeraWulf wil bouwen, moet het bedrijf een uitstekende supply chain hebben. Als dan veel bij dezelfde aanbieder vandaan komt, is dat handig. Om aan te geven hoe belangrijk snelheid in de supply chain is voor TeraWulf, wijst Farrell als voorbeeld naar specifieke pijpen die door een datahal lopen. Die hebben ze niet in de diameter gekocht die ze oorspronkelijk voor ogen hadden, maar iets kleiner. Dat formaat kan TeraWulf breder sourcen en kan dus sneller geleverd worden.
Let wel, TeraWulf neemt zeker niet alles af bij Schneider Electric. Ook TeraWulf volgt de multi-vendor trend in datacenters tot op zekere hoogte. Zo zagen we tijdens onze rondleiding door een van de hallen al behoorlijk wat PDU’s (Power-Delivery Units) van Vertiv staan. Of die wellicht sneller konden leveren, of dat dit een bewuste strategie van TeraWulf is om wat meer spreiding aan te brengen weten we niet.
Software speelt doorslaggevende rol
Ook bij het bouwen van datacenters speelt de software echter een steeds belangrijkere rol. Sterker nog, het zou ons niets verbazen als deze rol onderaan de streep groter is dan de integratie van Motivair in de Schneider-stack. Whitmore noemt niet voor niets de Etap-software als belangrijk wapen voor Motivair. Hiermee is het mogelijk om de volledige elektrische architectuur van een datacenter te simuleren in de ontwerpfase. Met name met de verwachte overstap binnen datacenters van 48V/56V AC in-rack stroomvoorziening naar 800V DC buiten het rack, is dit belangrijk, zeker als je zoals TeraWulf zo snel mogelijk wilt gaan. (Veel meer over 800V DC binnenkort. We publiceren dan een artikel plus video van een uitgebreid gesprek hierover.)
Naast Etap biedt Schneider inmiddels nog veel meer software. Het begon eigenlijk allemaal bij de ontwikkeling van de eigen EcoStruxure software, waarmee datacenters hun infrastructuur kunnen beheren. Enkele jaren geleden nam Schneider ook nog AVEVA over, dat onder andere software biedt voor het beheer en de visualisatie van data. Samen met Etap is het softwareaanbod van Schneider behoorlijk indrukwekkend. Dat moet het ook wel zijn als het full-stack serieus wil nemen. Zonder goede software is het vrijwel onmogelijk om iets full-stack te leveren.
Snel bouwen is full-stack bouwen
Een ding is ons duidelijk na ons bezoek aan Motivair en TeraWulf. AI-datacenters vereisen een compleet andere manier van denken over het bouwen ervan. Snelheid is uiteraard cruciaal, maar dat betekent ook meer voorwerk, nauwkeuriger design en een bredere kijk op het geheel. Kijken naar de volledige stack, inclusief supply chain en de bouw van de gebouwen waar de datahallen inkomen, is dan nog meer een vereiste dan het al was. Software speelt hierin een doorslaggevende rol. Alleen met software kun je het inzicht en overzicht houden dat nodig is. Er is namelijk maar weinig ruimte voor fouten en dus vertraging als iedereen staat de springen om meer AI-compute.