Anthropic heeft hackers gestopt die probeerden het Claude AI-systeem te misbruiken. De aanvallers wilden phishing-emails schrijven, kwaadaardige code ontwikkelen en beveiligingsfilters omzeilen.
De bevindingen van Anthropic, gepubliceerd in een rapport, onderstrepen de toenemende bezorgdheid dat AI-tools steeds vaker worden uitgebuit voor cybercriminaliteit. Het rapport van Anthropic beschrijft dat de interne systemen de aanvallen hebben gestopt en dat ze de casestudies delen om anderen te helpen de risico’s te begrijpen. De onderzoekers ontdekten pogingen om Claude te gebruiken voor het opstellen van gerichte phishing-emails, het schrijven of repareren van stukjes kwaadaardige code en het omzeilen van beveiligingen door herhaaldelijk vragen te stellen.
Daarnaast beschrijft het rapport pogingen om beïnvloedingscampagnes op te zetten door overtuigende berichten op grote schaal te genereren en laaggeschoolde hackers te helpen met stap-voor-stap instructies.
Het bedrijf heeft geen technische indicatoren zoals IP-adressen of specifieke prompts gepubliceerd. Wel zijn de betrokken accounts verboden en zijn de filters aangescherpt na het detecteren van de activiteit.
Branche onder druk
Anthropics bevindt zich in goed gezelschap. Microsoft, het door SoftBank gesteunde OpenAI en Google hebben soortgelijke controverse ondervonden over zorgen dat hun AI-modellen zouden kunnen worden uitgebuit voor hacking of oplichting. Dit heeft geleid tot oproepen voor sterkere securitymaatregelen.
Overheden bewegen zich ook richting regulering van de technologie. De Europese Unie gaat vooruit met de Artificial Intelligence Act en de Verenigde Staten dringen aan op vrijwillige veiligheidstoezeggingen van grote ontwikkelaars.
Anthropic stelt dat het strikte veiligheidspraktijken volgt, inclusief regelmatige tests en externe beoordelingen. Het bedrijf is van plan om rapporten te blijven publiceren wanneer het grote dreigingen ontdekt.