De snelheid van softwareontwikkeling is nog nooit zo hoog geweest. Dit wordt momenteel voor een groot deel aangewakkerd door de race om agentfuncties toe te passen. Dit gebeurt met name onder de oppervlakte in de codebase van de ontwikkelaar. Ook de UI gaat op de schop voor eindgebruikers door AI-features. Met nieuwe AI-modellen, data pipelines en tools voor automation om mee te jongleren, hebben we een soort AI-workflow-koorddans gecreëerd. Wat gebeurt er nu?
De vragen die we ons moeten stellen zijn: hoe kunnen we deze nieuwe essentiële schakel naar intelligentere applicaties oversteken. En hoe doen we dat zonder dat ze omvallen? Of, om de vraag in meer technische termen te stellen, hoe kunnen ontwikkelaars snel handelen zonder het vertrouwen op te offeren, nu er steeds meer spanning ontstaat rondom AI-workflows?
Het gebruik van AI om de levering te versnellen kan helpen om een deadline te halen. Maar het kan net zo gemakkelijk de betrouwbaarheid in gevaar brengen, kwetsbaarheden introduceren of misbruik mogelijk maken. Problemen die veel moeilijker op te lossen zijn als de systemen eenmaal in productie zijn. Dat is de koorddans die moderne software- en AI-teams uitvoeren; snelheid is essentieel, maar vertrouwen is niet onderhandelbaar.
De verschuiving in de workflows van ontwikkelaars en AI
Paul Davis, field CISO bij JFrog, denkt dat hij enkele waardevolle antwoorden heeft om te delen op dit gebied. Hij herinnert ons eraan dat de manier waarop we software bouwen de afgelopen tien jaar drastisch is veranderd.
“Van ontwikkelaars en datawetenschappers wordt nu verwacht dat ze verantwoordelijkheid nemen voor de kwaliteit, veiligheid en resultaten gedurende de hele lifecycle. Dit in plaats van projecten door te geven aan een apart team voor testen en validatie. Tegelijkertijd hebben platformengineering en ML-praktijken teams meer autonomie gegeven. Hierdoor kunnen ze zelf de tools gebruiken die ze nodig hebben om efficiënt te bouwen, trainen en implementeren”, legt Davis uit.
Hij merkt op dat deze autonomie ook de blootstelling vergroot. Dat is met name door de opkomst van ‘schadow AI’, waarbij AI-tools en -modellen worden geïmplementeerd zonder toezicht van IT. Dit laat zien hoe gemakkelijk onbeheerde AI governance kan omzeilen en ongecontroleerde risico’s kan introduceren voor data, code en infrastructuur. Zelfs teams die net beginnen met het verkennen van AI-gedreven ontwikkeling staan onder druk om snel te handelen, soms zonder de juiste vangrails.
“Dit is het duidelijkst te zien in AI-pipelines, waar modellen bijna continu worden bewaard, gevalideerd en opnieuw ingezet. De verleiding is altijd groot om snel te handelen, maar als je dat doet zonder waarborgen, kan dat ernstige gevolgen hebben”, aldus Davis.
Wanneer snelheid het vertrouwen ondermijnt
Recente opvallende incidenten in de software-industrie laten volgens JFrog zien hoe schadelijk het kan zijn om snelheid boven vertrouwen te stellen. In één geval bracht een wereldwijd securitybedrijf een foutieve contentupdate uit die miljoenen machines wereldwijd deed crashen. Hierdoor ging miljarden aan marktwaarde verloren gingen en rechtszaken werden aangespannen. In een ander geval zorgden overhaaste en niet-geteste updates van een ander bedrijf ervoor dat klanten met defecte apparaten en verloren gegevens achterbleven. Dit kostte uiteindelijk de CEO zijn baan en een half miljard dollar aan waardeverlies voor het bedrijf.
“Dezelfde risico’s gelden voor AI. Een gecompromitteerd model kan worden gemanipuleerd om kwaadaardig te werken. Vergiftigde trainingsgegevens kunnen voorspellingen op subtiele wijze manipuleren. Vijandige inputs kunnen kritieke verkeerde classificaties veroorzaken. En zelfs gangbare open-source modelformaten kunnen worden misbruikt om willekeurige code uit te voeren wanneer ze worden geladen. Als het vertrouwen eenmaal verloren is, kost het jaren en aanzienlijke investeringen om dat weer op te bouwen”, verduidelijkt Davis.
De software- (en AI-)fabriek
Davis heeft veel ervaring op dit gebied en raadt aan om softwareontwikkeling te zien als een fabriek.
- Ontwikkelaars en datawetenschappers staan aan de productielijn en bouwen functies en trainingsmodellen.
- Platform engineering-, DevOps- en ML-teams fungeren als fabrieksmanagers en zorgen ervoor dat het proces soepel verloopt. CISO’s, CIO’s en governance-leiders fungeren als toezichthouders, stellen de normen vast en zorgen voor naleving.
“Geen enkele groep kan in zijn eentje vertrouwen garanderen. Als ontwikkelaars te snel handelen zonder kwaliteitscontroles, als managers geen vangrails bieden of als toezichthouders onvoldoende inzicht hebben in de naleving, wankelt het hele systeem. In AI-workflows kan deze storing betekenen dat niemand kan zeggen welke dataset een model heeft getraind, wie de implementatie ervan heeft goedgekeurd of hoe de output ervan in de productie wordt gecontroleerd”, aldus Davis.
De uitdagingen van AI-gestuurde workflows
Maar het evenwicht tussen snelheid en vertrouwen is veel gemakkelijker gezegd dan gedaan. Organisaties hebben moeite om eigendom op grote schaal te beheren. Met duizenden applicaties, diensten en modellen in beweging, wordt het bijhouden van verantwoordelijkheden al snel een handmatig en foutgevoelig proces. Shadow AI versnelt dit probleem. Dit komt doordat AI-assets zonder zichtbaarheid wijzigingen aanbrengen en de kans op onbeheerde risico’s toeneemt.
Als hij nadenkt over wat er vandaag de dag binnen organisaties gebeurt, wijst Davis op de manier waarop kwetsbaarheden in de lifecycle van modellen de zaken nog ingewikkelder maken. Hij merkt op dat achterdeurtjes in modellen, kwaadaardige datasets, vijandige aanvallen en kwetsbare afhankelijkheden allemaal ernstige risico’s met zich meebrengen. Dit is vooral voor de hand liggend door het wijdverbreide gebruik van open-source modellen en openbare registers waar gecompromitteerde artefacten gemakkelijk kunnen worden geïntroduceerd. Deze bedreigingen kunnen voorspellingen stilletjes manipuleren, geautomatiseerde beslissingen beïnvloeden of aanvallers in staat stellen willekeurige code uit te voeren.
“Implementatiezwakheden voegen nog een extra risicolaag toe. Zwakke authenticatie, onvolwassen ML-tools en verkeerd geconfigureerde containers kunnen aanvallers niet alleen toegang geven tot het model zelf, maar ook tot omliggende systemen en gegevens. Aangezien veel AI-workloads afhankelijk zijn van gedeelde infrastructuur, kan een enkele verkeerde configuratie escaleren tot een veel grotere inbreuk”, aldus Davis.
Compliance en traceerbaarheid voegen nog een extra laag van complexiteit toe. Beleid is zinloos zonder bewijs, en specifiek voor AI moeten organisaties kunnen aantonen met welke dataset een model is getraind, welke validatietests het heeft doorstaan en hoe het gedrag ervan in de loop van de tijd is veranderd. Te vaak wordt dat bewijs handmatig verzameld via screenshots of rapporten, wat traag, onbetrouwbaar en onmogelijk schaalbaar is.
Dit alles wordt nog verergerd door fragmentatie van metadata. Informatie die verspreid is over notebooks, pijplijnen, registers, cloudplatforms en containersystemen maakt het moeilijk om een coherent beeld te krijgen van hoe een model is ontwikkeld en geïmplementeerd. Tijdens een incident kan zelfs het beantwoorden van basisvragen zoals “Wie heeft dit model getraind?” of “Welke dataset is gebruikt?” dagen in beslag nemen, tijd die organisaties zich niet kunnen veroorloven te verliezen.
Vertrouwen opbouwen zonder vertraging
“Ondanks deze uitdagingen is het voor organisaties mogelijk om een evenwicht te vinden tussen snelheid en betrouwbaarheid. De sleutel is om AI en softwareontwikkeling te behandelen als onderdeel van een geïntegreerd registratiesysteem, dat eigendom, beveiligingscontroles en nalevingsbewijs gedurende de hele lifecycle verenigt. Dit omvat validatie van afhankelijkheden en artefacten om ervoor te zorgen dat modellen, datasets en containers afkomstig zijn van betrouwbare bronnen en worden gescand op kwaadaardig gedrag, waardoor een van de meest voorkomende vectoren voor compromittering wordt geëlimineerd”, aldus Davis.
Het automatiseren van het verzamelen van bewijs en het gebruik van digitaal ondertekende, fraudebestendige records vervangt de onbetrouwbare handmatige rapportage die teams vertraagt en inconsistentie veroorzaakt. Even belangrijk is het inbouwen van zowel proactieve als reactieve beveiligingscontroles, of het blokkeren van onveilige modellen vóór de release, terwijl de geïmplementeerde modellen continu worden gecontroleerd op afwijkingen, anomalieën of verdacht gedrag dat kan duiden op compromittering of degradatie.
Ten slotte vereist het waarborgen van de integriteit in de hele pijplijn het ondertekenen van artefacten en het toepassen van promotiepoortjes, zodat elk onderdeel dat in productie komt precies hetzelfde is als het goedgekeurde onderdeel, zonder dat er onderweg gemanipuleerd kan worden. Het belangrijkste is dat samenwerking de norm is geworden.
“Ontwikkelaars, datawetenschappers, platformingenieurs en beveiligingsteams delen allemaal de verantwoordelijkheid voor het handhaven van zowel snelheid als vertrouwen, en wanneer elke groep met gedeelde zichtbaarheid en afstemming werkt, kunnen organisaties snel innoveren zonder afbreuk te doen aan de betrouwbaarheid of veiligheid”, aldus hij.
Leveren met vertrouwen en snelheid
Davis concludeert dat de huidige AI- en software pipelines snelheid vereisen, maar niet ten koste van vertrouwen. Naarmate AI een onderdeel wordt van de kritieke infrastructuur van de wereld, nemen de kosten van fouten drastisch toe.
De organisaties die zullen floreren, zijn die welke vertrouwen als een troef beschouwen en dit net zo bewust in elke ontwikkelingsfase inbouwen als nieuwe functies of modellen. Het vinden van een evenwicht tussen snelheid en vertrouwen is niet langer alleen een technische uitdaging, maar een zakelijke noodzaak.