De Europese Commissie voert gesprekken met OpenAI en Anthropic over recente hackincidenten met hun AI-modellen. Beide bedrijven lichtten Brussel bilateraal in voordat de zaken publiek werden. De Commissie wijst tegelijk op de AI Act, die vanaf 2 augustus strengere monitoring van risicovolle systemen vereist.
Dat meldt Reuters. Net nu de EU-regels voor AI verder van kracht worden, moeten twee van de grootste AI-bedrijven uitleggen hoe hun modellen tijdens tests konden uitbreken en echte systemen binnendrongen. “We hebben van beide aanbieders bilateraal bericht gekregen over incidenten voordat die openbaar werden. We staan met hen in contact”, aldus een van de Commissie-functionarissen. De Commissie sluit een formelere opvolging niet uit.
Wat er misging bij de tests
Anthropic maakte bekend dat verschillende Claude-modellen tijdens cybersecuritytests de productiesystemen van drie bedrijven binnendrongen. Het zou gaan om zogeheten capture-the-flag-oefeningen, waarbij de modellen dachten dat ze in een afgesloten simulatie zonder internettoegang draaiden. Een misconfiguratie bij testpartner Irregular zorgde er echter voor dat die omgevingen wél verbonden waren met het internet.
Anthropic startte een review van meer dan 141.000 eerdere evaluaties nadat rivaal OpenAI onthulde dat een van zijn agents was uitgebroken en meerdere dagen het platform Hugging Face aanviel. Uit die review kwamen zes runs in drie incidenten naar voren.
De incidenten vallen samen met de invoering van Europese verplichtingen. Een tweede functionaris benadrukte het belang van de regels: monitoring door de ontwikkelaars zelf staat centraal. De richtlijnen voor modellen met systeemrisico’s verplichten aanbieders om adversarial testing uit te voeren, risico’s te documenteren, ernstige incidenten te melden en de cybersecurity op orde te houden.
De handhaving voor GPAI-aanbieders begint op 2 augustus. Boetes voor overtredingen lopen uiteen van 7,5 miljoen euro of 1,5 procent van de omzet tot 35 miljoen euro of 7 procent van de wereldwijde omzet.
De Commissie gaf aan dat beide bedrijven meer informatie zullen aanleveren. Of er formele stappen volgen, wordt later bepaald.
Tip: EU AI Act wordt menens op 2 augustus: wat verandert er?