Microsoft legt uit waarom Windows Defender matig scoort in antivirustest

Windows Defender scoort middelmatig in de gerenommeerde antivirusvergelijking van AV-Test, maar Microsoft denkt dat bedrijven zijn bescherming toch beter gebruiken in plaats van die van externe partijen. In een nieuwe paper legt het uit waarom.

Het probleem zit niet zozeer in de bescherming die Microsoft levert. Windows Defender behaalde zowel in de laatste resultaten voor thuisgebruik als in een zakelijke omgeving een perfecte score op de detectie van nieuwe en oude malware. Het presteerde hier net zo goed als elf andere aanbieders uit een totaal van zestien.

Windows Defender miste slechts twee malware samples op een set van 4.877 geteste samples. Microsoft heeft daarop prompt zijn machine learning classifiers hertraind om ook de gemiste samples te detecteren. Het bedrijf merkt in zijn paper bovendien op dat de samples wel werden gedetecteerd door andere componenten van de Windows Defender Advanced Threat Protection stack, zoals Smartscreen, Application Guard en Application Control. De synergie tussen die verschillende onderdelen werd door AV-Test niet getest.

“Hoewel onafhankelijke tests kunnen helpen bij het beoordelen van de mogelijkheden en bescherming van een beveiligingsoplossing, is het belangrijk om te begrijpen dat antivirustests slechts een onderdeel vormen van een complete kwaliteitsbeoordeling”, argumenteert Microsoft. “Om de beveiligingskwaliteit van een Endpoint Protection Platform (EPP) en Endpoint Detection and Response (EDR)-oplossing, zoals Windows Defender ATP, echt te begrijpen, moet de volledige reeks mogelijkheden worden geëvalueerd.”

Windows Defender ATP
Beeld: Microsoft

Prestaties

De mate van bescherming die Windows Defender levert, is evenwel het probleem niet. Het is bij de prestaties, en met name het gebruiksgemak, van Microsofts beveiligingsoplossing dat het schoentje knelt. Die scores zijn eerder middelmatig ten opzichte van sommige concurrenten. Microsoft strandt er respectievelijk op een zevende en achtste plaats.

De prestatiescore van Windows Defender wordt vooral naar beneden getrokken doordat het de installatie van veelgebruikte applicaties meer vertraagt dan andere securityproducten. Microsoft argumenteert dat gebruikers – en enterprise gebruikers in het bijzonder – weinig tijd spenderen aan het installeren van nieuwe applicaties, ten opzichte van andere taken zoals surfen of tekstverwerking.

“De prestaties van Windows Defender zijn geoptimaliseerd voor het leveren van hoge prestaties bij acties die met een hoge frequentie worden uitgevoerd om zo de gebruikservaring te verbeteren”, klinkt het bij Microsoft. “Windows Defender is ontworpen om grondig te scannen tijdens het installatieproces. Dat kan een effect hebben op prestaties, maar dat is het enig domein waar Windows Defender substantieel lager scoort dan het industriegemiddelde.”

Foutpositief

Waar Microsoft in oktober nog worstelde met zogenaamde false positives – foutpositieven – die ook de score voor gebruiksvriendelijkheid naar beneden trokken, wist het bedrijf dat in de resultaten van februari terug te dringen tot het industriegemiddelde. Bij de vier samples die wel nog onterecht als malware werden aanzien, ging het onder meer om een mediaspeler en audiomixer.

“De meeste van deze samples zijn niet typisch voor een bedrijfsomgeving”, zegt Microsoft. Bovendien is het bedrijf van mening dat synthetische tests in dit geval tricky zijn. “Foutpositieven in een synthetische test zijn niet noodzakelijk een indicatie voor real-world scenario’s. Een mogelijke oorzaak is wanneer de testmethodiek contextuele elementen die een antivirus gebruikt buiten beschouwing laat, zoals bijvoorbeeld de originele bestandsnaam en bron.”

Microsoft looft AV-Test en andere onafhankelijke testorganisaties, maar hoopt tegelijk dat ze hun testmethodieken zullen aanpassen aan de veranderende complexiteit van het securitylandschap. “Onze klanten hebben meer transparantie en inzicht nodig van wat een end-to-end oplossing kan bereiken in termen van totale preventieve bescherming, inclusief de kwaliteit van individuele componenten zoals antivirus”, besluit het bedrijf.