Bij de jaarlijkse evaluatie van security-oplossingen die MITRE uitvoert zet SentinelOne Singularity voor het vijfde jaar op rij een perfecte score neer. Dat niet alleen, het heeft ook een uitstekende signaal-ruisverhouding. Dat laatste is van cruciaal belang in een wereld waarin er alleen maar meer aanvallen komen en dus ook vaker actie ondernomen moet worden.
De MITRE ATT&CK Evaluations zijn een begrip in de securitywereld. Ieder jaar doen securityleveranciers mee aan deze real-world test om hun oplossingen te laten testen. De organisatie achter deze evaluatie bedenkt ieder jaar een andere test, ook al zit er vanzelfsprekend wel de nodige overlap tussen tests van verschillende jaren. Dit jaar richtte het zich op twee grote dreigingen: breed ingezette ransomware die zich op Windows en Linux richt en modulaire malware die in meerdere stappen bij MacOS-endpoints binnendringt. Dit zijn real-world aanvallen, die door MITRE worden gesimuleerd. Het idee is dat de reactie van security-oplossingen hierop een goed idee geven van de capaciteiten ervan.
Lees ook: Hoe interpreteer je de resultaten van de MITRE ATT&CK evaluatie?
In de uitkomsten van de tests zijn er meerdere zaken van belang. Allereerst is er de accuraatheid van detectie. Dat niet alleen, oplossingen moeten dit ook zo snel mogelijk doen. Verder is het belangrijk dat oplossingen de technieken detecteren die aanvallers gebruiken. Tot wil MITRE ook graag zien dat er zo weinig mogelijk onnodige meldingen gedaan worden. Krijgen SOC-medewerkers die te vaak, dan krijgen ze ook last van alert fatigue (meldingmoeheid). Dat is funest, want dan gaan ze ook echte meldingen missen.
Verder is het goed om te vermelden dat MITRE dit jaar ook met false positives werkt. Dat zijn meldingen van dingen die lijken op een echte dreiging, maar dat bij nader inzien toch niet zijn. Vergeleken met voorgaande jaren heeft MITRE tot slot dit jaar de volledige evaluatie in eigen handen genomen. Voorheen draaiden leveranciers de test op hun eigen platformen. Dit jaar doen analisten van MITRE dat. Zo lijken niet alleen de dreigingen op die uit de praktijk, maar ook de omgeving waarin de oplossingen draaien.
SentinelOne zet (wederom) perfecte score neer voor detecties
Zoals we in de inleiding al schreven is het voor SentinelOne eigenlijk niets bijzonders meer om 100 procent te scoren op het gebied van detecties. Ook dit jaar is dat weer gelukt. Het Singularity-platform van SentinelOne detecteerde alle 16 aanvallen en alle 80 stappen die onderdeel uitmaken van die aanvallen. Daarnaast was er ook dit jaar wederom geen vertraging in deze detecties. Dat wil zeggen, het platform detecteerde alles in real time, mede dankzij de ingebouwde AI-capaciteiten. Ook op het gebied van het detecteren van aanvalstechnieken is er een perfecte score. Als je alle afzonderlijke stappen van een aanval detecteert, pik je waarschijnlijk ook meteen de technieken mee.
Bovenstaande scores zijn vanzelfsprekend belangrijk. Inmiddels gaat het echter ook steeds meer om hoeveel alerts een security-oplossing geeft. Zeker bij complexe aanvallen is het prettig als er niet voor ieder klein onderdeeltje een aparte melding komt. Daarnaast is het vanzelfsprekend ook de bedoeling dat er zo weinig mogelijk false positives zijn. Met andere woorden, de signaal-ruisverhouding moet zo goed mogelijk zijn.
Signaal-ruisverhouding
Op het gebied van signaal-ruisverhouding doet SentinelOne het ook voortreffelijk, op basis van de cijfers die we nu tot onze beschikking hebben. Het Singularity-platform produceert namelijk 88 procent minder meldingen dan de mediaan. De verschillen op dit punt zijn heel groot tussen de security-platformen en -oplossingen die MITRE heeft getest. Waar SentinelOne een totaal van 71 meldingen heeft, zien we aan de andere kant van het spectrum bijvoorbeeld Qualys staan met 981.436 meldingen.
We hebben op dit moment niet de volledige dataset van de tests voorhanden, dus wat de exacte implicaties zijn van bovenstaande cijfers is niet altijd even duidelijk. SentinelOne lijkt met de combinatie van 100 procent detectie en een uitstekende signaal-ruisverhouding in ieder geval goed te zitten. Een enorm hoge waarde duidt erop dat er in ieder geval veel ruis bij de SOC-medewerkers komt. Het zegt op zich niets over de accuraatheid op het gebied van detecties. Die kunnen er ook allemaal tussen zitten natuurlijk. Feit is wel dat een SOC-medewerker die er een stuk minder eenvoudig uithaalt dan bij een signaal-ruisverhouding zoals die van SentinelOne