Dit jaar kwam MITRE bovenal in het nieuws doordat de toonaangevende kwetsbaarheden-database dreigde niet meer bijgehouden te worden. Jarenlang speelt er al een andere zaak rondom de Amerikaanse non-profit. De vrijwillige ATT&CK-evaluaties waar securityspelers aan meedoen, blijken niet meer in trek. Hieronder leggen we uit waarom, en wat MITRE wil doen om het tij te keren.
Dit jaar valt de lijst met deelnemers bijzonder tegen. Zeker niet het kaliber ervan, maar het aantal. Acronis, AhnLab, CrowdStrike, Cyberani, Cybereason, Cynet, ESET, Sophos, Trend Micro, WatchGuard en WithSecure zijn nog van de partij. In 2022 deden er nog 30 mee, het jaar daarna 29, in 2024 slechts 19 en nu dus maar 11.
Dit is een opvallende ontwikkeling. De MITRE ATT&CK-evaluaties zijn een begrip in de securitywereld. Elk jaar valideren ze de capaciteiten van toonaangevende endpoint security-producten. Grote namen als CrowdStrike, Fortinet, SentinelOne, Microsoft, Palo Alto Networks, Sophos en Trend Micro hebben meermaals deelgenomen. Dat is altijd een bewuste keuze; deelname hangt namelijk volledig af van de vendor. Hoewel MITRE als neutrale partij optreedt bij het testproces, gelden de evaluaties feitelijk als een soort openboektoets. MITRE emuleert het gedrag van een bepaalde, vooraf aangekondigde cyberdreiging en controleert de effectiviteit van de EDR-oplossing in een testomgeving. Verschillende technieken passeren de revue om zo de detectiecapaciteit van de securitytooling te bepalen.
Elke vendor behaalt maar wat graag een hoge score, maar men haalt niet zomaar 100 procent-resultaten in elke subcategorie. In plaats daarvan is de deelname zelf een soort vote of confidence in het eigen product, wetende wat MITRE van plan is om de EDR-software te beproeven. Die tests variëren per jaar, omdat het dreigingslandschap varieert en ook omdat securitybedrijven zo bij de les blijven. Omdat zoveel industriespelers meedoen, bieden de tests elke vendor de kans om beter te presteren dan de concurrent. Deze motivaties zijn anno 2025 zeker nog legitiem, dus vanwaar het afhaken deze afgelopen twee jaar?
Van gouden standaard…
We hadden het net over een “score”, maar bij de MITRE Corporation zou je met die terminologie op het matje geroepen worden. Technisch gezien is de evaluatie één die de “analytische dekking” van een securityproduct meet. Omdat het echter hierbij gaat om een totaal dat je meet in percentages, kiest elke vendor er praktisch voor om te spreken van een score. Zo niet, dan ligt de prioriteit veelal op de relatieve kracht ten opzichte van de concurrentie. Zo was SentinelOne de enige securityspeler in 2022 die 108 van 109 detecties signaleerde, met daardoor 99 procent analytische dekking. Een jaar later claimde Palo Alto Networks als enige een “perfecte score” te hebben behaald, maar CrowdStrike en Microsoft wisten met een andere interpretatie van de resultaten ook 100 procent dekking te melden. Het verschil zat hem in de “Analytics”-score, waar sommige aanvalsstappen als telemetrie werden gelogd en niet via alerts binnenkwamen.
Dit laat zien hoe interpretabel MITRE ATT&CK-evaluaties anno 2022 waren. In dat jaar was de gemiddelde score (zo noemen we het toch maar) voor detecties 75 procent. In 2023 was het equivalent hiervan 73 procent. De jaren zijn niet direct vergelijkbaar omdat MITRE zoals gezegd elk jaar een andere set aan aanvallers emuleert. Aangezien er in beide jaren circa dertig deelnemers waren, suggereert dit wel een gezonde spreiding met gemiddelde scores die passen bij goed voorbereide, maar niet onfeilbare kandidaten. Met andere woorden: een hoge score was opvallend en een dekking van minder dan driekwart van de detecties een teken om te verbeteren. Weinig reden tot zorg voor MITRE; de evaluaties waren populair en competitief.
…Naar formaliteit
In 2024 maakte MITRE meerdere fouten bij het opstellen van de evaluaties die roet in het eten gooiden. Het idee achter de innovaties in MITRE ATT&CK Evaluation Round 6 (2024) was prima. Men hoopte de realiteit van cyberverdediging dichter te benaderen. Zo introduceerden de tests veel meer ruis bovenop de geëmuleerde dreigingen en voegden meer omgevingen toe dan de endpoint (cloud, identity, containers). Het resulteerde helaas in precies het tegenovergestelde van wat MITRE hoopt te bereiken. Endpoint securityspelers kwamen met instellingen die specifiek pasten bij de criteria waarop MITRE ze zou beoordelen. Neem het probleem van de ruis: in plaats van fijnmazige controles op alerts van werkelijke dreigingen, besloten vendoren om allerlei ruis tot een alert te transformeren. Voor werkelijke SOC’s waren deze instellingen een moeras aan alerts zonder zinnige toevoeging.
Verdere complicaties en beoordelingen zonder context maakten het verschil tussen een MITRE-score en een ervaring van een klantorganisatie van de securityspeler potentieel enorm. Het resultaat: de hoge scores van 2024 waren volgens Forrester niet te vertrouwen.
In 2025 was MITRE voornemens om de kritiek om te zetten in een betere toets. Het mocht niet baten. Microsoft, Palo Alto Networks en SentinelOne deden dit jaar niet meer mee. InfoSecurity Magazine legt de vinger op de zere plek: de afmeldingen zouden zijn voortgekomen uit een gevoel dat de deelname bovenal PR-geniek moet zijn en niet een manier meer is om het eigen product te versterken. CrowdStrike en Sophos zijn hoe dan ook trots op de door hen behaalde scores. Dat mag ook wel, aangezien de geëmuleerde dreigingen de Chinese staatshackersgroep Mustang Panda en de cybercriminelen van Scattered Spider betreffen. Geavanceerde tegenstanders aan het digitale front, waarbij de 100 procent dekking in detecties van beide partijen vertrouwen dienen te wekken.
Het probleem is dat de scores vorig en dit jaar gewoonweg te hoog zijn om al te serieus te nemen als lastige test, ook al geloven we best dat het behalen van die scores een fikse klus is. In 2024 was er sprake van een tweedeling tussen goed scorende spelers en tweederde van de deelnemers met een detectiepercentage van onder de 50 procent. Anno 2025 zijn de zwakkere deelnemers vertrokken en is het gemiddelde bijna 100 procent. Wie ooit een examen heeft gedaan, weet dat een klas bij een goede test nu eenmaal variabel scoort. Dat dit nu niet het geval is, voedt het idee dat de MITRE-evaluatie niet meer van deze tijd is.
En nu verder?
De evaluaties van MITRE vinden verspreid over het jaar plaats. MITRE-CTO en SVP van MITRE Labs Charles Clancy vertelde InfoSecurity dat de afgehaakte deelnemers regelmatig te weinig personeel of tijd beschikbaar hadden voor de tests. Ook gaf Clancy toe dat MITRE het elk jaar lastiger probeert te maken om hetzelfde resultaat te behalen, maar dat de non-profit hierin te ver is gegaan. De balans was zoek. Ook was er elk jaar een forum met vendoren om de evaluaties voor te bereiden. Dat initiatief is eveneens minder actief geworden.
Voor volgend jaar is er een herstel van vertrouwen nodig. Dat gaat gepaard met een hernieuwde focus op het forum met vendoren. We gaan ervanuit dat MITRE volgend jaar conservatiever is als het om de complexiteit gaat van de test, maar men zal desondanks proberen een perfecte ‘score’ te voorkomen. Het feit is dat de wereld in de werkelijkheid geen perfecte producten kent, dus een toonaangevende, representatieve evaluatie van endpoint security dient dit te reflecteren. Met alle andere problemen die MITRE kent door perikelen rondom het eigen budget, is het de vraag of dit herstel structureel kan standhouden.