Virtuele supercomputer gebouwd op AWS haalt Top 500

De Top 500 van ’s werelds krachtigste supercomputers heeft één wel erg uitzonderlijk systeem op de lijst: het exemplaar van Descartes Labs bestaat immers enkel in de cloud.

Op plaats 136 van de lijst van krachtigste HPC-systemen ter wereld prijkt het exemplaar van Descartes Labs. De supercomputer heeft een basisrekenkracht van 1,9 petaflops en wordt onder andere gebruikt om te simuleren hoe mensen de natuurlijke rijkdom van de aarde opgebruiken, of weerpatronen in kaart te brengen. Dergelijke workloads zijn redelijk standaard voor HPC-infrastructuur. Minder standaard is het feit dat deze supercomputer enkel in de cloud bestaat.

EC2 C5-supercomputer

Het systeem is gebouwd op Amazons EC2 C5 Instance cluster us-east-1a en maakt gebruik van 3 GHz 18 core Xeon Platinum 8124M cpu’s. In totaal heeft de virtuele supercomputer 41.472 rekenkernen ter beschikking, bijgestaan door 157.824 GB aan RAM-geheugen. Het HPC-cluster draalt Amazon Linux 2. Met het systeem heeft Descartes ’s werelds eerste supercomputer in de top 500 die volledig in een commerciële cloud is gebouwd.

“De computer is een demonstratie van wat mogelijk is in de wereld van de cloud”, vertelt Mike Warren, CTO en mede-oprichter van Descartes, aan Bloomberg. “Je hoeft geen software meer te bezitten en er is geen hoge instapkost met het systeem gemoeid.” Descartes betaalt zo’n 5.000 dollar voor het systeem. Wie een gelijkaardige supercomputer in zijn eigen kelder wil stoppen, moet al snel enkele tientallen miljoenen op de bankrekening hebben staan.

Tweede primeur

Warren bouwde in 1998 mee aan de eerste Top 500-supercomputer die Linux draaide in een tijdperk waarin HPC-systemen allemaal gekoppeld waren aan een eigen OS. Vandaag heeft de HPC-specialist met de AWS-supercomputer een nieuwe primeur in huis. Amazon zelf haalde de top 500 eerder al, maar deed dat met servers die niet publiek beschikbaar waren via het cloud-aanbod. Voor de Descartes-supercomputer werkte Warren uitsluitend met commercieel beschikbare cloudhardware. Hij bouwde het systeem zonder extra hulp van AWS.

Warren en Descartes gebruiken het systeem voor essentieel rekenwerk en de HPC-specialist denkt dat de aanpak ook voor andere bedrijven interessant kan zijn. “Onze prestatie op de lijst is een mooie demonstratie van de capaciteiten van de cloud, maar we claimen niet dat het de juiste manier is voor iedereen om specifieke problemen op te lossen.” Warren denkt wel dat cloud-HPC erg waardevol zal zijn voor heel wat bedrijven.

Gerelateerd: Supercomputers voor de kmo: waarom iedere organisatie wel een HPC-systeem kan gebruiken