Supercomputers en vrachtwagens vol HDD’s: de IT-uitdaging achter de eerste foto van een zwart gat

Gisteren verblufte het team achter de Event Horizon Telescope de wereld met de allereerste foto van een zwart gat. De foto was twee jaar in de maak en is het resultaat van een hoogtechnologische inspanning.

Bovenstaande eerste en voorlopig enige foto van een zwart gat gaat sinds gisteren de wereld rond. Op de foto zien we de waarnemingshorizon en de accretieschijf. Dat is het oranje deel bestaande uit snel roterend plasma. De foto werd gemaakt van Messier 87 (M87), een zwart gat in het sterrenbeeld Maagd op een slordige vijftig miljoen lichtjaar van de aarde. Geen optische zoom ter wereld volstond om een dergelijk uitdagend onderwerp op die afstand scherp in beeld te brengen, dus moesten wetenschappers het over een andere boeg gooien.

Virtuele telescoop

Voor een scherp beeld was een radiotelescoop ter grootte van de aarde nodig. Bij gebrek daaraan bouwden wetenschappers een virtuele telescoop bestaande uit acht observatiestations verspreid over de hele wereldbol. Dat project kreeg de naam ‘Event Horizon Telescope’. In april van 2017 keken die vier dagen lang naar M87, en dat was de start van een heuse IT-uitdaging.

Om het beeld te verkrijgen, moesten onderzoekers de data van de acht telescopen samenvoegen tot één geheel. Iedere telescoop moest daarvoor dienst doen als een punt in een virtuele parabolische spiegel, die licht of radiogolven naar een centraal punt reflecteert. De vereiste nauwkeurigheid is immens: één afwijking in een dergelijke spiegel zorgt ervoor dat niet alle lichtgolven gelijktijdig in de ontvanger terechtkomen en het beeld vervormd raakt. Zo moest de data afkomstig van de telescopen even precies gesynchroniseerd worden.

Dat gebeurde aan de hand van twee supercomputers, die de data met elkaar in overeenstemming brachten. De nauwkeurigheid werd mogelijk gemaakt omdat de deelnemende telescopen hun waarnemingen aan de hand van een atoomklok synchroniseerden. Pas na de waarneming begon de echte logistieke uitdaging.

Té veel data

Een dagje kijken naar M87 leverde immers ongeveer één petabyte aan data op. In totaal moest de supercomputer dus vier petabyte aan gegevens verwerken. Een dergelijke hoeveelheid data is veel te groot om zomaar over het internet te sturen. Bovendien lagen de deelnemende observatoria verspreid over de hele wereld. De enige optie: palletten aan HDD’s manueel verschepen naar MIT. Eén observatorium, gelegen op de Zuidpool, was het meest problematisch. Het koude weer zorgde ervoor dat er geen vluchten konden plaatsvinden tussen april en november, zodat de data pas midden december 2017 op hun bestemming raakten.

 

Data van de virtuele telescoop wordt afgeleverd op zijn bestemming. Een analoge maar, efficiënte oplossing om dergelijke hoeveelheden gegevens op te sturen.

Uiteindelijk raakten de data door een combinatie van schepen, vliegtuigen en vervoer per vrachtwagen op hun bestemming. De EHT-wetenschappers zijn trouwens niet de enigen die vaststelden dat het internet vandaag niet overweg kan met enorme hoeveelheden data. Precies daarom bestaat Amazon Snowmobile bijvoorbeeld: een dienst die de vorm aanneemt van een vrachtwagen om fysiek enorme hoeveelheden gegevens naar de cloud te ‘migreren’.

Supercomputers

In totaal mochten supercomputers in het Max Planck Instituut voor radio-astronomie in Bonn, Duitsland en het MIT Haystack-observatorium in de VS aan de slag met ongeveer zes kubieke meter aan harde schijven. Speciale algoritmes werden ontwikkeld om de data succesvol te combineren en werden vervolgens geanalyseerd op ‘bias’. Het mocht immers niet zo zijn dat de data resulteerden in een beeld dat in lijn ligt van de simulaties omdat de algoritmes onbewust werden geschreven met een dergelijk resultaat in het achterhoofd. “Het algoritme moet ruimte laten voor een enorme olifant in het midden van de melkweg”, vertelde Dr. Katie Bouman, verantwoordelijk voor de ontwikkeling van de algoritmes, in 2017 al.

 

Dr. Katie Bouman, hoofdwetenschapper voor de ontwikkeling van het foto-algoritme, bij een deel van de harde schijven met daarop de data van de EHT.

Uiteindelijk ligt de observatie helemaal in lijn met de simulaties die wetenschappers al maakten. Een gesimuleerd beeld van het zwarte gat, teruggebracht naar de lagere resolutie van het echte beeld, toont hoe nauwkeurig het model van Einstein gecombineerd met de beschikbare rekenkracht vandaag fenomenen kan voorspellen.

Toekomst voor de HDD

Hoe het in theorie mogelijk was om een zwart gat te observeren, was al enige tijd geweten. Dat de foto pas sinds gisteren de wereld rondgaat, komt voor een groot stuk omwille van de uitdagingen specifiek aan een project dat dergelijke hoeveelheden data genereert. In essentie moesten wetenschappers wachten totdat HDD-technologie voldoende geëvolueerd was om de opslag van de data op een betaalbare manier mogelijk te maken.

Het hele project illustreert het belang van moderne technologie in wetenschap, maar laat ook zien hoe relevant harde schijven vandaag nog zijn. Voor dataverzameling op deze schaal zal de SSD de plaats van de HDD niet snel overnemen. Bovendien is het einde niet in zicht. Een beeld van een ander zwart gat, Sagittarius A in het centrum van onze Melkweg, is momenteel in de maak. De Event Horizon Telescope ondergaat dan weer upgrades om nog nauwkeurigere observaties te kunnen maken in de toekomst.