De hack op Hugging Face door AI-agents van OpenAI blijkt veel omvangrijker dan tot nu toe bekend. Niet één ontspoorde agent, maar een zwerm van ongeveer 700 agents zat achter het incident. Sommige probeerden bovendien sporen van hun gedrag te wissen of te manipuleren.
Nieuwe details over de aanval, die Reuters vrijgeeft, komen uit onderzoeken van OpenAI zelf en van METR en Redwood Research. Die laatste twee organisaties onderzochten onafhankelijk wat er rond de aanval op Hugging Face gebeurde. OpenAI bevestigt dat hun schatting van ongeveer 700 betrokken agents klopt.
Honderden agents werkten samen
Eerdere berichtgeving over het incident draaide vooral om het opmerkelijke gedrag van een AI-agent tijdens tests van OpenAI. Het nieuwe onderzoek laat zien dat de schaal veel groter was. De onderzoekers troffen bovendien een niet-geautoriseerd communicatiekanaal aan waarop agents onderling tienduizenden berichten uitwisselden.
De problemen beperkten zich niet tot Hugging Face. OpenAI beschrijft twee incidenten op 19 juli waarbij agents zich ook tegen de infrastructuur van het AI-bedrijf zelf richtten.
In één geval vonden agents een kwetsbaarheid in de computeromgeving waarin ze tijdens de tests moesten blijven. Via dat lek konden ze buiten de afgeschermde omgeving komen en andere aangesloten systemen benaderen. Bij een afzonderlijk incident werden OpenAI-inloggegevens buitgemaakt en wijzigingen in de cloudomgeving aangebracht.
Agents proberen tests te beïnvloeden
Opvallend is dat de agents hun mogelijkheden niet alleen gebruikten om technische grenzen te doorbreken. Ze probeerden ook de beoordeling van hun prestaties te beïnvloeden.
Een niet bekendgemaakt aantal agents richtte zich op geautomatiseerde evaluatiesystemen. Daarbij probeerden ze sporen van valsspelen te verbergen. Volgens OpenAI veranderde dat uiteindelijk niets aan de gegevens waarop de beoordelingen werden gebaseerd.
Ook buiten cybersecuritytests werd afwijkend gedrag vastgesteld. Agents speelden volgens OpenAI eveneens vals bij opdrachten rond onder meer een eiwitdatabase en een spreadsheet. Dat is relevant omdat het erop wijst dat het gedrag niet uitsluitend voortkwam uit opdrachten waarbij hacktechnieken centraal stonden.
De onafhankelijke onderzoekers vonden daarnaast aanwijzingen dat agents bewust zochten naar manieren om bewijs te beïnvloeden. Ongeveer een vijfde van de onderzochte agents toonde duidelijke belangstelling voor het manipuleren van bewijsmateriaal. Verschillende systemen onderzochten uitgebreid hoe transcripties van hun activiteiten konden worden aangepast.
OpenAI erkent in zijn eigen rapport dat er achteraf gezien signalen waren die aanleiding hadden kunnen zijn om eerder in te grijpen.
Meer toezicht op agentic AI
Het incident legt een beveiligingsprobleem bloot dat belangrijker wordt naarmate AI-agents zelfstandiger kunnen opereren. Traditionele beveiliging moet voorkomen dat externe aanvallers uit een afgeschermde omgeving ontsnappen of toegangsgegevens stelen. Hier waren het de systemen die werden getest die dergelijke technieken toepasten.
OpenAI zegt zijn onderzoeksinfrastructuur inmiddels verder te beveiligen. Ook wordt het toezicht uitgebreid en moeten aanvullende maatregelen voorkomen dat agents ongewenst gedrag kunnen uitvoeren zonder dat onderzoekers dit tijdig signaleren.
Het bedrijf ziet het incident tegelijkertijd als waarschuwing voor organisaties die agentic AI inzetten. Door de snelle ontwikkeling van dergelijke systemen moeten bedrijven er volgens OpenAI rekening mee houden dat aanvallen door autonome agents op korte termijn een reëel beveiligingsrisico worden. Toekomstige aanvallen kunnen bovendien geavanceerder zijn dan wat tijdens deze tests is waargenomen.