Een cybersecurityrapport dat mede met behulp van AI zou zijn opgesteld, heeft geleid tot een rechtszaak tegen Palo Alto Networks en het onlangs overgenomen Koi Security. Softwarebedrijf MeetingTV stelt dat het ten onrechte is neergezet als onderdeel van een Chinese cybercriminele operatie, met verstrekkende gevolgen voor de bereikbaarheid van zijn diensten.
De zaak draait volgens The Register om een threat-intelligenceblog dat Koi Security eind december publiceerde. Dat was enkele maanden voordat Palo Alto Networks het bedrijf overnam. Volgens MeetingTV bevatte het rapport ernstige feitelijke fouten. Die zouden voortkomen uit AI-analyses zonder voldoende menselijke controle. De startup eist schadevergoeding en rectificatie.
AI zou onjuiste verbanden hebben gelegd
Volgens de ingediende aanklacht gebruikte Koi Security zijn eigen analyseplatform Wings om verbanden te leggen tussen verschillende cybercampagnes. Hierin speelt AI een belangrijke rol. Daarbij zou MeetingTV onterecht zijn gekoppeld aan een vermeende Chinese dreigingsgroep met de naam DarkSpectre.
De eiser stelt dat deze conclusies niet op deugdelijk technisch bewijs waren gebaseerd, maar het resultaat waren van foutieve correlaties die vervolgens zonder voldoende verificatie als feiten werden gepubliceerd.
Palo Alto Networks bevestigt tegenover The Register op de hoogte te zijn van de rechtszaak. Het bedrijf wijst erop dat het betreffende rapport verscheen voordat de overname van Koi Security werd afgerond. Volgens de leverancier is het onderzoek uitgevoerd vanuit de bedoeling om cyberdreigingen in kaart te brengen en zal de kwestie via de rechter worden afgehandeld.
Blokkades door beveiligingsbedrijven
MeetingTV stelt dat de gevolgen van het rapport direct merkbaar waren. Diverse beveiligingsleveranciers en internetdienstverleners zouden de domeinen en diensten van het bedrijf hebben aangemerkt als malware of command-and-control-infrastructuur, waardoor klanten de dienstverlening niet langer konden bereiken.
Volgens oprichter en CEO Michael Robertson ontdekte hij pas door deze blokkades dat het rapport bestond. Koi Security zou voorafgaand aan de publicatie geen contact hebben opgenomen om de bevindingen te verifiëren. Ook daarna bleef een reactie volgens hem uit. Pas nadat Robertson verschillende beveiligingsbedrijven benaderde, kreeg hij van één partij te horen dat de blokkade was gebaseerd op het rapport van Koi Security.
Robertson zegt dat sommige partijen, waaronder Verizon en ook Palo Alto Networks zelf, de blokkades nog altijd niet hebben opgeheven. Daardoor blijft zijn bedrijf volgens hem schade ondervinden.
Twijfels over technisch bewijs
Een belangrijk onderdeel van de rechtszaak is een browserextensie die in het oorspronkelijke rapport wordt genoemd als schakel tussen MeetingTV en de vermeende cybercampagne. Volgens MeetingTV bestaat deze extensie helemaal niet. Het bedrijf zegt Koi Security meermaals om aanvullende technische informatie te hebben gevraagd, maar die nooit te hebben ontvangen.
Volgens de aanklacht rustte een belangrijk deel van de analyse daardoor op een technisch aanknopingspunt dat niet verifieerbaar is. MeetingTV vermoedt dat een AI-model deze koppeling heeft verzonnen en dat de uitkomsten zonder voldoende menselijke controle zijn gepubliceerd.
Discussie over AI in threat intelligence
De rechtszaak raakt aan een bredere discussie over de inzet van generatieve AI binnen cybersecurity. AI wordt steeds vaker gebruikt om grote hoeveelheden dreigingsinformatie te analyseren en verbanden te leggen tussen incidenten. Tegelijkertijd blijft bekend dat grote taalmodellen onjuiste of verzonnen conclusies kunnen presenteren wanneer de uitkomsten niet zorgvuldig worden gecontroleerd.
Robertson stelt dat juist daarom menselijke verificatie noodzakelijk blijft wanneer AI wordt ingezet voor analyses die grote gevolgen kunnen hebben voor organisaties. Volgens hem ontbrak die controle in dit geval volledig, waardoor zijn bedrijf wereldwijd als onderdeel van een cybercrimineel netwerk werd bestempeld zonder dat daarvoor deugdelijk bewijs was geleverd.