Het was de zomer waarin AI-agents op hol sloegen. Een verbazingwekkend aantal organisaties werd getroffen door agents die draaiden op AI-modellen die nog in de trainings- of testfase zaten bij de frontier labs. OpenAI alleen al bracht meer dan 100 organisaties op de hoogte bracht. Tijdens GTC Berlijn benadrukte Nvidia-CEO Jensen Huang hoe zijn bedrijf de AI-geest weer in de fles probeert te krijgen.
De kern van dit initiatief is het Open Agent Safety Platform, dat op 28 september werd gelanceerd. Het bestaat uit de OpenShell-software-runtime en Sentry, een waakhond op hardwareniveau. In een reactie op een vraag van Techzine legde Huang uit dat OpenShell specifiek “precies de incidenten zal voorkomen waarover jij en ik het hebben”. Dit ambitieuze doel draait om een fijnmazigere controlelaag dan de huidige methoden, die in de praktijk eigenlijk alleen geschikt waren voor klassieke applicaties zonder eigen ‘wil’.
Het doorbreken van de inperking
Een punt dat vaak wordt aangevoerd met betrekking tot de Hugging Face-hack door OpenAI-agents en de vele andere voorbeelden, is dat kwaadwilligheid, voor zover AI daar überhaupt toe in staat is, grotendeels ontbrak. Agents kregen taken toegewezen zoals onderzoek en cybersecurity-benchmarks en vonden manieren om hun inperking te omzeilen; in het geval van OpenAI waren de securitymaatregelen opzettelijk versoepeld voor testdoeleinden. Huang legde uit dat de huidige inperking in wezen neerkomt op een virtual machine met statische rechten. Een agent krijgt toegang tot een bestand, een map, een netwerk of het gehele internet. In plaats daarvan “moet je uiterst gedetailleerde beleidsregels voor [een] agent hebben”, aldus Huang.
Cruciaal is dat men verifieerbaar bewijs nodig heeft dat de inperking werkt zoals bedoeld. “Dat heet formele verificatie”, legt de CEO van Nvidia uit. Dit draait om het wiskundig bewijzen dat een systeem aan zijn specificaties voldoet, in plaats van te vertrouwen op voorbeeldgevallen. In OpenShell controleert een policy prover de regels die een agent voorstelt en markeert risicovolle nieuwe toegang voor menselijke beoordeling. Een extra grenscontrole doet wat de naam suggereert: het bewijst dat een beleid een agent nooit meer bereik toekent dan een vooraf geconfigureerd maximum.
Dieper ingaan
De aanpak van Nvidia vloeit voort uit zijn uitgebreide hardware-assortiment. Naast de GPU’s maakt het referentieontwerp gebruik van Nvidia’s Vera-CPU’s, waarop OpenShell is afgestemd, en de BlueField-4 DPU’s, waarop Sentry draait. Sentry draait los van de machine waarop de agent wordt uitgevoerd en kan een agent binnen milliseconden in quarantaine plaatsen als deze zijn grens overschrijdt. Deze hardwarelaag is optioneel: OpenShell kan op zichzelf worden geïmplementeerd en draait ook op Arm- en Intel-chips. Maar je kunt je afvragen waarom juist Nvidia zo veel waarde hecht aan AI-veikigheid. Is het immers niet aan de AI-labs om hun eigen werk te controleren?
Anthropic heeft OpenShell al geïntegreerd in zijn Claude Managed Agents, en Huang prijst de inspanningen van de AI-labs om het beter te doen. Hij legt uit dat “veiligheid vandaag de dag het belangrijkste discussiepunt en gespreksonderwerp is binnen AI, en dat het grotendeels te maken heeft met het waarborgen van een veilig insluitingssysteem voor de agent.”
Hoewel OpenShell de inbreuken door AI-agents wellicht had kunnen voorkomen of beperken, wijst Huang terecht op een fundamenteler probleem: sommige agents werden simpelweg nooit gemonitord. Reuters meldde dat OpenAI een week lang niet had opgemerkt dat een van zijn agents Hugging Face had gehackt, terwijl een inbreuk door een agent op een Australisch Medicare-portaal op 18 juni pas op 11 augustus door OpenAI werd opgemerkt.
Optimistisch ondanks vertraging
Een vraag van Time lokte een nogal pittige reactie uit bij Huang. Verschillende leiders van AI-labs, waaronder Anthropic-CEO Dario Amodei hebben opgeroepen tot manieren om AI-ontwikkeling af te remmen. Een wettelijk afgedwongen en gecoördineerde vertraging is absoluut niet wat de Nvidia-topman voor ogen heeft. “Dat is belachelijk”, merkte hij op. “Ik wil er gewoon zeker van zijn dat we hier als volwassenen handelen.” Er worden sectorbrede normen, standaarden en audits ontwikkeld, aldus Huang, maar als een AI-lab, welk AI-lab dan ook, al weet dat zijn model schade veroorzaakt, moet het “gewoon stoppen”.
Huang stelt in plaats daarvan voor dat beleidsmakers zich moeten richten op de toepassingen die gebruikmaken van AI, in plaats van op de technologie als geheel. Europa neemt het voortouw bij het reguleren van de technologie, maar Huang waarschuwt dat het volledig afremmen van de sector ertoe zou leiden dat Europa “helemaal geen AI meer zou hebben”, wat volgens hem “het slechtste scenario zou zijn”.
Lees ook: Nvidia GTC Berlijn: op jacht naar Europese AI-fabrieken