Microsoft nog niet klaar om waterkoeling in te zetten in Azure-datacenters

Microsoft heeft met verschillende technieken voor liquid cooling  geëxperimenteerd, maar acht de technologie nog niet rijp genoeg om breed in te zetten voor serverkoeling in de datacenters van zijn Azure-cloud.

Dat vertelde Brandon Rubenstein, Director Solutions Development and Mechanical/Thermal Engineering bij Microsoft Azure, tijdens een presentatie op de recente Open Compute Project Summit, waar DataCenter Knowledge over bericht.

Vloeistofkoeling (of waterkoeling) is efficiënter dan luchtkoeling, waardoor het een enorme kostenbesparing kan betekenen op grote schaal, zoals Microsofts wereldwijde operatie van datacenters voor de Azure-cloud. Bovendien worden componenten op een meer constante temperatuur gehouden en is waterkoeling beter opgewassen tegen eventuele storingen in het koelsysteem. Vochtigheid, stof en vibraties vormen niet langer een probleem. Tot slot kan warmte eenvoudiger worden hergebruikt of doorverkocht, en wordt het waterverbruik verminderd.

Noodzaak

Toch zijn dat niet in de eerste plaats de redenen waarom Microsoft naar waterkoeling kijkt. Belangrijker is dat de vermogensdichtheid van serverchips binnen enkele jaren simpelweg te hoog zal zijn om nog met een op lucht gebaseerd systeem voldoende koel te houden.

Processoren vragen vandaag typisch 200 watt en dat zal alleen maar toenemen. Voor acceleratoren zoals gpu’s, die worden gebruikt voor machine learning en andere specifieke toepassingen, liggen de eisen zelfs al tussen 250 en 400 watt. “Uiteindelijk komen we op het punt dat sommige van deze chips of gpu-oplossingen ons zullen dwingen om waterkoeling te gebruiken”, weet Rubenstein. Dat moment is evenwel nog niet aangebroken voor Microsoft.

Experimenten

Microsoft experimenteerde met verschillende waterkoeloplossingen voor zijn Project Olympus OCP-servers en deelde de resultaten tijdens de afgelopen OCP Summit. Die Olympus-servers zijn op zich al bijzonder efficiënt. Dankzij een combinatie van ventilators, heat pipes en heat sinks kan een 40 kW-rack nog steeds via lucht worden gekoeld.

Een eerste techniek die Rubenstein en zijn team probeerden, was om microchannel cold plates rechtstreeks op de dubbele 205 watt Skylake-cpu’s en geheugenmodules te monteren. Twee ventilatoren konden worden weggehaald en de snelheid van de overige fans werd verlaagd, waardoor het systeem 4 procent minder energie verbruikte voor één rack.

Microsoft experimenteerde ook met verschillende technieken van immersiekoeling, waarbij servers worden ondergedompeld in een diëlektrische vloeistof, die de warmte afvoert. Daarbij kon de temperatuur van de cpu’s met zo’n 15 graden worden verminderd ten opzichte van luchtkoeling, wanneer de processors aan 70 tot 100 procent van hun capaciteit werkten.

Standaarden nodig

Deze koelsystemen op basis van vloeistof vergen sowieso extra investeringen, maar hebben ook gevolgen voor het onderhoudsgemak van de servers. Bovendien ontbreekt het vandaag nog aan gestandaardiseerde hardware, meent Microsoft.

“We hebben open specificaties nodig op DIMM- en FPGA-modules en dripless-connectoren enzovoort”, vertelde Husam Alissa, senior engineer bij Microsofts datacenterteam. “We zullen certificering nodig hebben van componenten zoals moederborden en glasvezel en netwerkapparatuur, in plaats van een nieuw experiment telkens we iets willen uitproberen. We hebben redundantie van middelen nodig voor al deze technologieën en ze moeten minder propriëtair zijn en meer gecommoditiseerd.”

Microsoft is op dit moment nog niet klaar om voor één bepaalde technologie te kiezen, maar beseft dat koeling binnen twee tot drie jaar wel een probleem kan worden. Rubenstein verwacht dat vloeistofkoeling op rackniveau binnen één à twee jaar voldoende gecommoditiseerd zal zijn. Hij vermoedt evenwel dat het nog zeker vijf tot tien jaar zal duren voordat volledige datacenteroplossingen tot volle wasdom komen. Dat geeft Microsoft  nog “genoeg tijd om erachter te komen wat de meest effectieve oplossing is.”