CrowdStrike levert normaliter zeer geavanceerde, betrouwbare cybersecurity-oplossingen. Allerlei endpoints, van servers tot laptops en desktops, worden beschermd door een state-of-the-art systeem dat diep binnen het OS opereert. De keerzijde van deze aanpak blijkt vandaag: een wereldwijde IT-storing is het gevolg van talloze endpoints die niet zomaar aan de praat te krijgen zijn. Hoe kon het zo erg misgaan?
De wereldwijde schade is enorm, met mogelijk honderden miljoenen euro’s die verloren gaan. Duizenden organisaties moeten hun werk grotendeels stilleggen omdat hun Windows-machines niet werken. CrowdStrike kan aardig wat claims tegemoetzien de komende weken en maanden. Niemand kan inchecken bij hotelketen te Las Vegas The Cosmopolitan, vluchten van en naar Schiphol moeten worden ingeperkt en supermarkten zijn genoodzaakt enkel contant geld te accepteren. Menig bedrijf wordt gevloerd op de beurs door de disrupties.
De oorzaak ligt bij CrowdStrike, dat een blue screen of death veroorzaakte bij een update van zijn software. Het beveiligingsplatform Falcon van dit bedrijf wordt gebruikt voor het beschermen van Windows-systemen. “We hebben wijdverspreide meldingen van BSOD’s op Windows-hosts, die voorkomen op meerdere sensorversies”, aldus CrowdStrike. “Onze engineers werken er actief aan om dit probleem op te lossen en het is niet nodig om een supportticket te openen.”
Lees verder: Problemen bij CrowdStrike (en Microsoft): wereldwijd problemen door IT-storing
De problemen komen niet door een cyberaanval. Een klein stukje software dat weinig rekenkracht vereist, fungeert normaal gesproken als Windows-sensor om dreigingen te detecteren. Deze heet csagent.sys. Als het een dreiging waarneemt, blokkeert het deze automatisch. Onderdeel van het proces om deze sensor van nieuwe technieken te voorzien en daarmee nieuwe dreigingen waar te nemen, is dat hij regelmatig geüpdatet moet worden. Dat doet CrowdStrike automatisch, iets wat afgelopen nacht de storing heeft veroorzaakt.
Fix is lastiger dan het lijkt
De boosdoener is dus csagent.sys. Hoewel gebruikers massaal tickets naar CrowdStrike sturen, is dat op korte termijn geen werkbare oplossing. Inmiddels heeft CrowdStrike een “Tech Alert” naar buiten gebracht, zoals een screenshot op X weergeeft. Dezelfde e-mail wordt ook door andere bronnen getoond. CrowdStrike biedt hierin een vierstappenplan om het probleem op te lossen.
Tip: CrowdStrike en AWS verder samen in cloudsecurity en AI-ontwikkeling
Gebruikers moeten eerst hun Windows-systeem in een veilige modus opstarten of via de Windows Recovery Environment. Vervolgens dient men te navigeren naar C:WindowsSystem32driversCrowdStrike en het bestand genaamd “C-00000291.sys” verwijderen. Ten slotte is er nog een reboot voor de host nodig. Dit is niet zomaar te automatiseren, zeker als het om laptops en desktops gaat. Daarnaast werkt het niet voor alle geraakte endpoints, stelt CrowdStrike OverWatch Director Brody Nisbet op X.
Zoals vaker het geval is bij grootschalige IT-problemen, is het dus aan interne teams om andermans problemen op te lossen. Stuitender is het feit dat de communicatie vanuit CrowdStrike enkel via e-mails en op X lijkt te gaan. Om toegang te krijgen tot kritieke informatie, is een log-in nodig op CrowdStrike.com. Ook CrowdStrike-CEO George Kurtz raadt dit aan. Dat is onacceptabel. Het is simpelweg een onnodige blokkade voor informatiewinning, juist op een tijdstip dat van IT’ers verwacht wordt dat ze snel een fix implementeren voor hun collega’s. Dat kan voor ziekenhuizen en andere kritieke infrastructuur zelfs van levensbelang zijn. Ook op de landing page van CrowdStrike hoort een klikbare link in koeienletters zichtbaar te zijn. Kort na het plaatsen van dit artikel is een statement daarop live gegaan, maar die bevat zeer weinig informatie.
Lees ook: CrowdStrike bundelt threat hunting en intelligence om identity-gevaar te bestrijden
Hoe kon dit überhaupt gebeuren?
Afgezien van de acute noodzaak om het probleem te verhelpen, roept het incident talloze vragen op. Hoe was het mogelijk dat een dermate impactvolle fout live gedrukt kon worden? Was er sprake van een ontevreden werknemer met een overvloed aan privileges? Is het bedrijf zelf gehackt?
We verwachten van CrowdStrike niet direct alle details, maar wel zo snel mogelijk een indicatie van wat er is misgegaan. Dat is een penibele situatie om in te zitten; het had immers nooit op deze manier fout mogen gaan. Microsoft heeft eerder al bewezen dat zelfverheerlijkende blogs over interne incidenten veelal later onjuist kunnen zijn. Niemand is gebaat bij voorbarige conclusies, maar een securitypartij als CrowdStrike moet als geen ander haarscherp kunnen navertellen van welke misser hier sprake is.
Onder de streep dienen securityvendoren nooit snelheid te verkiezen boven due diligence. Updates voor kritieke systemen die het besturingssysteem beschermen, vereisen nog veel meer dan dat. Recreatieve apps kunnen het zich veroorloven een update te pushen die voor wat onvoorziene problemen zorgt. Een securitysensor binnen het OS is voor kritieke infrastructuur niet anders dan een controlemechanisme voor een dam of een secundaire stroomvoorziening voor een ziekenhuis. Je kunt niet zonder, je wilt niet dat ze ongezien veranderen en bovenal moet de beschikbaarheid nooit in het geding komen. Die principes zijn zaken waarvan je verwacht dat CrowdStrike ze zou uitdragen aan anderen, niet iets waar ze hardleers het belang van moeten ondervinden.
Leestip: Dell en CrowdStrike gaan samen cyberdreigingen te lijf met AI