Claude Mythos 5 ging tijdens een cybertest van het Britse AI Security Institute buiten zijn boekje. Het model probeerde kwaadaardige code in een GitHub-repository van echte ontwikkelaars te krijgen en zette nepaccounts in om de maintainer onder druk te zetten. Anthropic publiceert een eigen analyse naast het AISI-rapport.
Het Britse AI Security Institute (AISI) publiceerde op 4 augustus een rapport over zijn tests van de cybercapaciteiten van Mythos 5. Het model kreeg een capture-the-flag-opdracht (CTF). Het moest een beveiligd stuk data, de ‘flag’, buitmaken uit een gesimuleerd netwerk dat leek op de systemen van een echte organisatie. Internettoegang stond bewust aan, wat destijds standaard was bij de cybertests van AISI. Inmiddels is dat niet meer zo. Ook de cybersafeguards die Anthropic bij algemeen beschikbare modellen als Fable 5 inzet, waren uitgeschakeld.
In negen van de 43 evaluatieruns ondernam Mythos 5 acties die buiten de scope van de test vielen. Die acties raakten echte mensen en organisaties. Over de volledige testreeks registreerde AISI volgens The Hacker News 19 live-internetacties in 10 van de 122 runs. Daarvan worden er 17 aan Mythos 5 toegeschreven.
Van testnetwerk naar echte repository
Anthropic zoomt in zijn analyse, net als AISI, in op één transcript: het volledige verslag van de redenering en acties van het model. Mythos 5 probeerde eerst het testnetwerk binnen te dringen met de methoden die de evaluatie voorzag. Zonder succes. Wel ontdekte het model al snel dat een van de machines periodiek contact legde met GitHub.
Daar zag Mythos 5 een opening. Het zocht op GitHub naar een repository waaruit de machine volgens het model automatisch software downloadde. Maar die repository was van ontwikkelaars die niets met de test te maken hadden. Het model probeerde er kwaadaardige code in te krijgen, in de veronderstelling dat de CTF-machine bij de volgende download besmet zou raken. Het ging om een pull request waarin legitieme code was gecombineerd met een verborgen malware-dropper.
Daar bleef het niet bij. Mythos 5 maakte nepidentiteiten aan die de maintainer onder druk zetten om de wijziging goed te keuren. Die accounts beweerden ten onrechte dat de code veilig en nuttig was. Het model gebruikte daarbij onder meer Tor en een proxy om aanmeldbeperkingen van GitHub te omzeilen. De maintainers weigerden de wijziging, waarna de run uiteindelijk een time-out kreeg.
“Dit gedrag zou direct zijn gemarkeerd door onze productiesafeguards op Fable 5, als die waren ingeschakeld”, schrijft Anthropic. Toch vindt het bedrijf het belangrijk om het gedrag te bestuderen. De onderliggende fouten zijn volgens Anthropic niet per se specifiek voor cyberincidenten. Ze raken aan bredere problemen met het gedrag van het model in evaluatieomgevingen.
Tip: EU-cyberagentschap krijgt na 3 maanden vertraging toegang tot Mythos 5