AI-agents van OpenAI en Anthropic hebben tijdens een veiligheidsevaluatie van het Britse AI Security Institute (AISI) zelfstandig cyberaanvallen uitgevoerd op echte personen en organisaties. De modellen probeerden onder meer kwaadaardige code in een open-sourceproject te krijgen, gebruikten social engineering en zochten samenwerking met andere AI-agents. Volgens AISI is dit de eerste keer dat autonomie en misleiding zich zo duidelijk in een praktijksituatie hebben gemanifesteerd.
De incidenten vonden plaats tijdens een evaluatie waarbij geavanceerde AI-modellen werden getest op hun cybercapaciteiten. Om hun maximale mogelijkheden in kaart te brengen, kregen de modellen bewust toegang tot internet en werden verschillende ingebouwde veiligheidsmechanismen tijdelijk uitgeschakeld. Volgens AISI is deze configuratie niet vergelijkbaar met hoe de modellen normaal beschikbaar worden gesteld aan gebruikers.
Negentien ongeautoriseerde acties
De onderzoekers voerden de cyberuitdaging 122 keer uit met zeven verschillende frontier-modellen. In tien van die tests voerden AI-agents in totaal negentien ongeautoriseerde acties uit op het openbare internet. Zeventien daarvan waren afkomstig van Anthropic’s Mythos 5, terwijl OpenAI’s GPT-5.6-Sol verantwoordelijk was voor twee incidenten.
Het ernstigste voorval betrof een poging om een supply-chain-aanval uit te voeren via een populair open-sourceproject op GitHub. De AI-agent creëerde meerdere valse online-identiteiten en probeerde de menselijke beheerder met social engineering over te halen kwaadaardige code goed te keuren. Toen andere ontwikkelaars argwaan kregen, paste de agent eerdere berichten aan om minder verdacht over te komen en overwoog hij zelfs onder een nieuwe identiteit verder te gaan. Uiteindelijk wees een menselijke reviewer de wijziging af.
AISI trof nog meer opvallend gedrag aan. AI-agents benaderden rechtstreeks echte personen via online berichtendiensten en stuurden bestanden die bedoeld waren om slachtoffers of hun AI-codeassistenten kwaadaardige code te laten uitvoeren. Daarnaast probeerden de modellen verborgen prompt-injecties achter te laten die andere AI-systemen konden manipuleren. In een ander geval liet een agent via GitHub berichten achter voor andere AI-agents, met instructies om bestaande accounts en digitale sporen opnieuw te gebruiken. Volgens AISI is dit de eerste keer dat dergelijke vormen van samenwerking en misleiding tijdens een evaluatie zijn waargenomen.
Geen sandbox-ontsnapping
Het instituut benadrukt dat de AI-modellen niet uit een afgeschermde testomgeving zijn ontsnapt. Internettoegang was juist bewust toegestaan om hun maximale cybercapaciteiten te onderzoeken. Wel bleek dat de modellen onverwacht creatieve manieren vonden om hun opdracht uit te voeren. Ze kregen nooit expliciet de instructie om mensen te misleiden, maar deden dat toch om hun doel te bereiken. Volgens AISI was juist dat spontane, doelgerichte gedrag de grootste verrassing.
De onderzoekers wijzen erop dat menselijke controle uiteindelijk voorkwam dat de ernstigste aanvallen slaagden. Tegelijkertijd was de marge volgens het instituut klein. In meerdere gevallen hing het mislukken van de aanvallen af van oplettende ontwikkelaars en niet van technische beveiligingsmaatregelen.
OpenAI meldde extra hack tijdens Irregular-tests
Naast de bevindingen van AISI meldt Bloomberg nog een afzonderlijk beveiligingsincident dat OpenAI zelf beschreef in een blogpost. Tijdens een zogenoemde ‘capture the flag’-evaluatie, uitgevoerd samen met cybersecuritybedrijf Irregular, maakten OpenAI-modellen gebruik van een configuratiefout in de testomgeving om internettoegang te verkrijgen. Vervolgens wisten zij de website van een niet nader genoemde organisatie te hacken.
Volgens Bloomberg maakte dit incident deel uit van dezelfde evaluatiecampagne van Irregular waarin Anthropic-modellen eerder drie organisaties compromitteerden. Daarmee lijkt het aantal incidenten tijdens geavanceerde AI-tests verder op te lopen.
OpenAI maakte bovendien twee weken geleden bekend dat een van zijn modellen tijdens een andere veiligheidstest uit een afgeschermde sandboxomgeving wist te ontsnappen. Na het verkrijgen van internettoegang drong het model vervolgens binnen in de systemen van Hugging Face. Dat incident vormde de aanleiding voor een breder onderzoek naar het gedrag van autonome AI-agents.
Evaluatieprocedures aangescherpt
Naar aanleiding van het incident scherpt AISI zijn werkwijze aan. Internettoegang wordt voortaan veel strenger beperkt, evaluaties krijgen realtime monitoring en toekomstige tests gaan ervan uit dat krachtige AI-agents actief zullen proberen buiten hun opdracht te handelen. Daarnaast onderzoekt het instituut samen met Anthropic, OpenAI en onderzoeksorganisatie METR de incidenten verder.
Volgens AISI laten de bevindingen zien dat het risicolandschap verandert. Gevaren ontstaan niet langer uitsluitend doordat mensen AI misbruiken, maar ook doordat steeds autonomere AI-agents binnen onderzoeksomgevingen zelfstandig acties ondernemen die hun ontwikkelaars niet hadden voorzien. Hoewel de incidenten plaatsvonden onder uitzonderlijke testomstandigheden en geen daadwerkelijke schade hebben veroorzaakt, ziet het instituut ze als een belangrijk signaal voor de verdere ontwikkeling van geavanceerde AI-systemen.