Microsoft-CEO Satya Nadella (foto) bepleit een fundamenteel andere aanpak van enterprise AI-security. Nu steeds meer autonome modellen toegang verkrijgen tot gevoelige data en kritische systeem, moeten organisaties die modellen beschouwen al potentiële interne bedreigingen en niet als betrouwbare technologie.
In een bericht op X stelt Nadella dat traditionele benaderingen van software security niet langer volstaan. Traditionele software maakte het voor ontwikkelaars mogelijk om bepaald gedrag te herleiden tot specifieke codepaden. Met geavanceerde AI-modellen ontbreekt deze mate van transparantie. Hun output kan niet betrouwbaar toegeschreven worden aan specifieke trainingsdata, of aan de configuratie van het model.
Ondanks deze onzekerheid rollen organisaties inmiddels AI-agents uit die in staat zijn vertrouwelijke informatie te benaderen en acties ondernemen zonder menselijke controle. Garanties van de AI-providers kunnen niet de eigen verantwoordelijkheid van organisaties vervangen als het gaat om de controle van de systemen.
Intelligentie scheiden van bevoegdheden
Nadella stelt voor intelligentie van AI-modellen te scheiden van de bevoegdheid om te handelen. Toegangsrechten, operationele grenzen en security-maatregelen moeten losstaan van de AI-modellen zelf.
Dit brengt met zich mee, dat het ai-model gescheiden moet worden van de software die de activiteiten en de acties van agents aanstuurt. Die aanpak bouwt verder op gevestigde principes binnen cyber security, inclusief het ‘least-privilege’-principe, identity management en het loggen van activiteiten. Nadella bepleit dat deze praktijk moet worden uitgebreid naar AI-systemen, onafhankelijk van de vraag of dat proprietary of open-weight modellen zijn.
Nadella vraagt zich ook af of AI zichzelf op een betrouwbare manier kan controleren. Een bepaald AI-model gebruiken om een ander model te monitoren, kan de security verhogen, maar het kan ook leiden tot ondoorzichtige besluitvorming. Zelfs inzicht in het denkproces van een model volstaat niet, omdat de uitleg niet per se de interne besluitvorming weergeeft.
Externe controles en noodstoppen
Nadella presenteert verschillende vereisten voor het veilig inzetten van AI. Organisaties moeten voorkomen afhankelijk te zijn van één model voor kritieke beslissingen. Ze moeten logs bijhouden van de acties van modellen en ze moeten systemen continu testen op aanvallen en onverwacht gedrag.
Onafhankelijke controle is van het grootste belang. Modellen mogen niet zowel hun eigen acties, als het bewijsmateriaal voor de controle daarvan beheren. Ondernemingen moeten er ook rekening mee houden, dat modellen gecompromitteerd kunnen worden. Geautoriseerd personeel moet in staat zijn de uitvoering van een taak van een agent te onderbreken of af te breken.
De belangrijkste conclusie van Nadella is dat het meest betrouwbare AI-systeem niet per se het meest betrouwbare model zal zijn, maar juist het systeem dat ons gebiedt het zo min mogelijk te vertrouwen.