5min Security

Onderhoud, foutjes en een bug uit juli haalden Microsoft 365 een dag offline

Onderhoud, foutjes en een bug uit juli haalden Microsoft 365 een dag offline

Zelden duurt een storing van clouddiensten langer dan enkele uren. Ook komt het niet vaak voor dat het merendeel van Microsofts online suite onbereikbaar is. Dat het op vrijdag de 13e toch gebeurde, kwam door een optelsom van een bug uit juli, onderhoudswerk, foute aannames en een onderbelicht probleem: een gebrek aan controle over de eigen infrastructuur.

In zekere zin doet de Microsoft 365-storing van donderdagavond tot vrijdagavond denken aan die van CrowdStrike in juli 2024. De oorzaak lag toen en nu in een softwarefout die enige tijd onopgemerkt bleef doordat de omstandigheden gunstig waren. Vervolgens zorgde de gebruikelijke werking van het eigen netwerk ervoor dat de fout zich verspreidde, zonder dat het getroffen bedrijf wist wat er precies aan de hand was.

Een bug uit juli

Eerst de hoofdpunten: een ‘latent defect’ in Windows-servers leidde tot lock contention op systemen die afweken van de testomgeving. Deze fout werd in juli ongemerkt geïntroduceerd bij het oplossen van een ander probleem. Bij lock contention strijden meerdere threads om dezelfde vergrendelde resource. Ze moeten op elkaar wachten, waardoor de CPU zijn tijd aan wachten besteedt in plaats van aan werk. Microsoft stelt dat dit probleem verergert naarmate moderne processoren meer cores hebben.

Het doet denken aan een race condition, waarbij ongesynchroniseerde toegang ertoe leidt dat data tegelijkertijd wordt geraadpleegd of bewerkt, met veelal een crash of het uitvallen van een dienst of feature tot gevolg. Daar is ongecontroleerde concurrency de boosdoener, terwijl lock contention juist ontstaat door het afdwingen van exclusieve toegang. Verzoeken stapelen zich dan op, waardoor de CPU en het systeemgeheugen niet meer reageren.

Microsoft 365 maakt gebruik van twee losstaande netwerk-gateways, logischerwijs om te voorkomen dat één probleem het gehele systeem platlegt. Door een ongerelateerd probleem was Teams echter overgeschakeld van de alternatieve gateway naar de primaire, waar ook Exchange Online draait. Daarnaast was 14 procent van de servercapaciteit tijdelijk onbeschikbaar door een ander, eveneens ongerelateerd probleem van de dag ervoor.

Vervolgens zorgde het vrijdagverkeer, met name omdat dit samenviel met de piek in activiteit in de Verenigde Staten, voor een sterke toename van routing naar alternatieve regio’s. Normaal helpt dit om de drukte te spreiden en servers snel te houden, maar nu sloeg de bug uit juli hierdoor alleen maar vaker toe. Op het dieptepunt was tot wel 80 procent van de gehele servervloot van Microsoft 365 onbereikbaar.

23 uur en 50 minuten

Los van de punten die Microsoft deelt in het onbehulpzaam weggestopte Post-Incident Report in het Microsoft 365 admin center, is er een onderbelicht probleem: simpelweg de duur van de storing. Het kostte Microsoft bijna een etmaal om van de eerste betekenisvolle detectie van problemen naar een volledige fix te gaan. Voor het mkb is dat misschien snel, maar van Microsoft wordt, zeker gezien de reusachtige investeringen in weerbaarheid, meer verwacht.

De uitrol van de fix verliep bovendien niet vlekkeloos. De herstelde servers raakten vrijwel direct overbelast door de opgestapelde rij aan te verwerken verkeer. Microsoft moest de hardware daarom geleidelijk weer beschikbaar stellen om voortdurende uitval te voorkomen. Op een fundamenteler niveau bleek de geautomatiseerde hersteldienst niet ontworpen om een dermate desastreuze situatie op te vangen: een frappante misser.

Drie fouten, deels te vergeven

De uptimecijfers voor Q3 2026 moeten nog volgen (vermoedelijk later deze maand), maar in de eerste twee kwartalen van 2026 meldde Microsoft een beschikbaarheid van 99,526 procent (Q1) en 99,994 procent (Q2). De SLA voor Microsoft 365 Business Premium garandeert 99,9 procent uptime per kalendermaand. Wie terugkijkt naar de afgelopen jaren, ziet dat die drempel altijd is gehaald, behalve in Q1 2026. Met een volledige dag downtime kan Q4 2026 een laagterecord opleveren, want we komen dan uit op maximaal 96,7 procent (1 dag is 3,3 procent van een kwartaal).

De fouten zijn enigszins complex, maar hadden voorkomen kunnen worden. Dat Microsoft test op zwakkere hardware dan normaal in de public cloud draait, moet worden opgelost. Moderne chips hebben heel andere cache-, core- en frequentiekarakteristieken dan de hardware van enkele jaren geleden. Op deze schaal moeten betekenisvolle updates op precies die hardware getest worden.

Minder aan Microsoft te wijten is de ongelukkige samenloop van onderhoud en eerdere problemen; zo’n optelsom komt niet vaak voor. In theorie kun je je infrastructuur weerbaar maken tegen een regelrecht absurde reeks problemen, maar op een gegeven moment zijn die kosten niet meer uit te leggen aan finance-teams of leidinggevenden. Wel lijkt het erop dat de herstelmogelijkheden beter moeten kunnen inspelen op een ‘code rood’ als deze. Het is voorstelbaar dát een cloud volledig platgaat, zij het door kwaadwillenden of door bugs. Het herstel had dan moeten kunnen leunen op een gefaseerde opbouw die misschien niet de snelste weg naar beschikbaarheid bood, maar wel terugviel op een veilige, oude configuratie.

In die zin lijkt het erop dat Microsoft pas laat achter de werkelijke oorzaak kwam: de bug uit juli. Het bedrijf belooft deze week een uitgebreider rapport.

Lees ook: CrowdStrike likt wonden na catastrofale update (2024)