Een incident bij softwarebedrijf PocketOS laat zien hoe dun de scheidslijn is tussen AI-assistentie en directe impact op productieomgevingen. Binnen enkele seconden werd een volledige database verwijderd, inclusief alle beschikbare back-ups, na een actie van een AI-coding agent die zonder expliciete opdracht ingreep.
Volgens oprichter Jer Crane werkte de agent via Cursor met een model van Anthropic aan een taak in een stagingomgeving. Een probleem met credentials leidde ertoe dat de agent zelf een oplossing probeerde te implementeren, vertelt hij aan Computing. Daarbij werd een API-token gebruikt die bedoeld was voor een beperkte functie, maar in de praktijk brede rechten gaf binnen de infrastructuur van Railway. Dat is een cloudplatform waarmee ontwikkelaars applicaties kunnen deployen en beheren zonder zelf servers te hoeven inrichten.
Met één API-call werd een opslagvolume verwijderd. Er was geen aanvullende verificatie, geen bevestigingsstap en geen scheiding tussen omgevingen op het niveau van deze actie. Omdat back-ups op hetzelfde volume waren opgeslagen, verdwenen die gelijktijdig. Het meest recente herstelpunt bleek maanden oud.
De AI-agent gaf achteraf zelf aan dat het aannames had gedaan zonder verificatie, dat het een destructieve handeling uitvoerde zonder expliciet verzoek en dat het onvoldoende inzicht had in de impact van de actie. Daarmee wordt een structureel probleem zichtbaar: de veiligheidsregels die in prompts en configuraties worden meegegeven, functioneren niet als afdwingbare controlemechanismen.
Opvallend is dat het hier geen uitzonderlijke setup betreft. De gebruikte tooling geldt als gangbaar binnen ontwikkelomgevingen en wordt actief gepositioneerd voor professioneel gebruik. Daarmee verschuift de discussie van incident naar systeemniveau.
AI negeert eigen veiligheidskaders
De impact was direct operationeel. PocketOS levert software aan verhuurbedrijven die afhankelijk zijn van actuele data voor reserveringen en klantbeheer. Na het incident ontbraken recente boekingen en klantgegevens, wat leidde tot verstoringen die uren aanhielden en handmatige reconstructie vereisten. Data van de afgelopen maanden bleek niet volledig te herstellen.
Het incident maakt duidelijk dat risico’s zich niet beperken tot het gedrag van de AI-agent zelf. De onderliggende infrastructuur speelt een even grote rol. API’s die zonder aanvullende controles destructieve acties toestaan, tokens zonder fijnmazige rechtenstructuur en back-ups die niet losstaan van productiegegevens vergroten de impact van fouten of autonome beslissingen aanzienlijk.
Voor organisaties die AI-agents koppelen aan productieomgevingen betekent dit dat traditionele aannames over veiligheid niet langer volstaan. Instructies op modelniveau bieden geen garantie. Zonder afdwingbare beperkingen op API- en infrastructuurniveau ontstaat een situatie waarin één actie, bedoeld als correctie, kan escaleren tot dataverlies op grote schaal.