De snelle opmars van AI zorgt voor een nieuwe werkelijkheid. Waar infrastructuur jarenlang vooral een stabiele basis moest bieden voor traditionele workloads, vragen AI-toepassingen om schaalbaarheid, flexibiliteit en een nauwe verwevenheid met data en applicaties. Organisaties kunnen daardoor niet langer vasthouden aan vertrouwde modellen en tooling. De AI-golf dwingt hen kritisch te kijken naar hoe hun infrastructuur vandaag is ingericht en hoe die er morgen uit moet zien. We verdiepen ons in deze AI-infrastructuur tijdens een rondetafelgesprek met experts van AWS, NetApp, Nutanix, Pure Storage, Red Hat en SUSE.
In het vorige artikel dat we publiceerden naar aanleiding van de rondetafel, werd duidelijk dat AI pas werkt als de infrastructuur klopt. En dan gaat het om de volle breedte van de infrastructuur: van compute en storage tot governance en security. Bestaande IT-fundamenten moeten worden aangepast of zelfs opnieuw worden opgebouwd. Dit om AI mogelijk te maken en om het duurzaam en verantwoord te kunnen opschalen. Daarbij lopen technische en organisatorische uitdagingen vaak door elkaar heen.
Hoe gaan organisaties om met die noodzaak tot herziening? Welke knelpunten komen ze tegen in de praktijk? Wat betekent de groei van AI voor hun keuzes rond cloud, on-prem en hybride modellen? En hoe zorgen ze ervoor dat infrastructuur geen rem wordt op innovatie, maar juist een katalysator voor AI-gedreven groei?
Tussen on-prem en cloud
Bij veel organisaties draait de cloud-discussie rondom AI nog om de keuze tussen on-prem en public cloud. Maar volgens Marco Bal van Pure Storage is dat een te simplistische tweedeling. “Er zit eigenlijk nog iets tussenin”, stelt hij. “Naast hyperscalers als AWS, Azure en Google ontstaan er steeds meer AI-fabrieken en gespecialiseerde dienstverleners die AI-infrastructuur aanbieden als dienst, zonder dat data naar de grote public clouds hoeft.” Voor bedrijven die om compliance- of databeheersredenen geen gebruik willen maken van public cloud, maar wel flexibiliteit zoeken, zijn dit waardevolle alternatieven.
Bal ziet dat de AI-golf de multicloudstrategie verder verdiept. Niet alleen worden workloads verspreid over meerdere platforms, maar er ontstaan ook nieuwe vormen tussen volledig beheerde SaaS-diensten en volledig eigen infrastructuur. Welke vorm het best past, hangt uiteindelijk af van de usecase. “Het draait om flexibiliteit: kun je je infrastructuur snel schalen en aanpassen aan veranderende eisen vanuit de business?” Wie die ruimte weet in te bouwen, maakt van infrastructuur een aanjager in plaats van een beperking.
Efficiëntie vraagt om nieuwe denkwijze
Ricardo van Velzen van Nutanix deelt een prikkelende gedachte tijdens de rondetafeldiscussie, over de fundamentele manier waarop organisaties omgaan met data en rekenkracht. “We praten voortdurend over het verplaatsen van data, maar waarom draaien we die discussie nooit om? Waarom verplaatsen we eigenlijk data, en niet de CPU?” vraagt Van Velzen zich hardop af. Zijn punt: het verplaatsen van CPU-capaciteit naar waar de data zich bevindt kan efficiënter zijn dan andersom.
Deze denkwijze nodigt uit tot een heroverweging van bestaande infrastructuurmodellen. In plaats van grote hoeveelheden data tussen systemen te verplaatsen, wat vaak traag, duur en onpraktisch is, kan het slimmer zijn om rekenkracht dichter bij de data te brengen. Dat sluit goed aan bij de groeiende behoefte aan flexibiliteit en schaalbaarheid die AI-toepassingen stellen. Zo’n aanpak kan helpen om latency en netwerkbelasting te verminderen, alsmede sneller en efficiënter te innoveren.
Door CPU en rekenkracht flexibel in te zetten, kunnen bedrijven infrastructuren bouwen die beter aansluiten op de dynamiek van AI-projecten. Het vraagt wel om een paradigmaverschuiving binnen IT-teams, waarbij traditionele concepten losgelaten worden en men bereid is om nieuwe manieren van werken te omarmen.
AI vraagt om herontwerp van architecturen
Aan tafel deelt Eric Lajoie van SUSE een concreet praktijkvoorbeeld van hoe AI-infrastructuur in werkelijkheid vaak complexer uitpakt dan in een vendor-blueprint. Hij verwijst naar een project waarin een organisatie een GPU-as-a-service-omgeving opbouwde, gebaseerd op de Nvidia AI Enterprise-architectuur. Daarbij werd gebruikgemaakt van een zogeheten inner en outer storage ring, waarbij NVMe-opslag in een geïsoleerd netwerk werd gescheiden van een bredere datalake. Wat in eerste instantie als best practice gold, bleek in de praktijk een belangrijke tekortkoming te hebben. Externe partijen konden hun data namelijk niet eenvoudig inbrengen. Er was in deze praktijksituatie geen manier om data vanuit een publieke SaaS-omgeving of van andere tenants in die storage-infrastructuur te krijgen.
Volgens Lajoie ligt daar een belangrijke les voor organisaties die AI-infrastructuur opbouwen. Volg niet blindelings een blueprint, maar houd rekening met de volledige datastroom, ook van buitenaf. Daarbij speelt niet alleen netwerkarchitectuur een rol, maar ook de keuze voor storageprotocollen, QoS-scheiding tussen verschillende lagen en compatibiliteit met Kubernetes-gebaseerde stacks. Veel organisaties komen er pas tijdens de implementatie achter dat sommige opslagleveranciers kernelmodules vereisen, terwijl moderne besturingssystemen vaak read-only zijn. Dat kan serieuze impact hebben op de prestaties, zeker als modellen op S3-opslag draaien. “Soms moeten klanten dan teruggrijpen op NFS voor high performance storage, simpelweg omdat S3 niet goed presteert met hun OS”, legt Lajoie uit.
Het zijn precies dit soort infrastructuurdetails die cruciaal zijn voor succesvolle AI-implementaties. Volgens Lajoie moeten organisaties leren denken in datastromen, onafhankelijk van de vraag of ze nu in een public cloud of on-prem omgeving werken. Ook air-gapped infrastructuren hebben manieren nodig om data veilig en efficiënt binnen te halen, benadrukt hij. AI vraagt dus ook om een doordacht storage-ecosysteem waarin schaalbaarheid, compatibiliteit en connectiviteit vanaf dag één zijn meegenomen.
Zicht op databewegingen
Ook Pascal de Wild van NetApp ziet dat veel AI-uitdagingen uiteindelijk terug te voeren zijn op hoe organisaties omgaan met hun data. Of het nu gaat om training, inferencing of het ophalen van inzichten: data en rekenkracht moeten dicht bij elkaar staan. “De datapaden en databewegingen zijn cruciaal”, stelt De Wild. “Je wilt niet al je on-prem data zomaar naar AWS kopiëren. Het gaat erom dat precies die data beschikbaar is op het juiste moment, op de juiste plek.” Dat vraagt om heldere afspraken tussen verschillende infrastructuurpartners, maar ook om een nauwkeurig databeleid binnen de organisatie zelf.
Volgens De Wild is het classificeren van datasets daarin een noodzakelijke eerste stap. Hij deelt het voorbeeld van een HR-dataset. Zo’n dataset kan enkel in de cloud als je zeker weet welke data erin zit en wat ermee mag gebeuren. Voor succesvolle AI-implementaties is het essentieel dat organisaties vooraf bepalen welke data geschikt is voor welke infrastructuurlaag en welke data om compliance- of privacyredenen binnen de landsgrenzen of on-prem moet blijven. Zonder die inzichten dreigt het risico dat data onnodig wordt verplaatst, met hoge kosten en risico’s als gevolg.
Generatieve AI vraagt om andere infrastructuurkeuzes
Felipe Chies van AWS wijst erop dat generatieve AI wezenlijk verschilt van klassieke AI-workloads zoals computer vision of statistische analyses. “Bij computer vision werk je met getallen, metrics, en kun je exact bepalen of iets klopt. Maar bij GenAI werk je met taal, menselijke voorkeuren en semantiek. Twee antwoorden kunnen hetzelfde betekenen, maar totaal anders geformuleerd zijn”, aldus Chies. Dat maakt het beoordelen van output en modelkwaliteit een stuk complexer, zeker als bedrijven hun eigen toon of communicatiestijl willen handhaven.
Om dat in goede banen te leiden, zijn in de optiek van Chies geavanceerde evaluatietools en modelvergelijkingsmechanismen nodig. Hij noemt als voorbeeld de evaluatiemogelijkheden die AWS biedt binnen Bedrock. Daarmee kan je toetsen of een model hallucineert door antwoorden te ‘grounden’ in feiten. Klanten kunnen zo automatisch meerdere antwoorden vergelijken, modellen testen en snel overstappen op nieuwe versies zodra die beschikbaar zijn. Dat maakt het mogelijk om in hoog tempo te evolueren.
AI-agents zijn collega’s, dus behandel ze ook zo
Een interessante trend die veel bedrijven in de gaten houden als het aankomt op het inrichten van de AI-infrastructuur zit hem in agentic AI. Volgens Ruud Zwakenberg van Red Hat is er een parallel tussen deze AI-agents en menselijke werknemers, als het aankomt op hoe ze in de infrastructuur functioneren. “Een AI-agent is in feite een nieuwe collega. Het is een kenniswerker, maar dan kunstmatig”, stelt hij. Net als bij echte werknemers die klantcontact hebben, denk aan een bankmedewerker, geldt dat je als organisatie verantwoordelijk bent voor wat er namens jou gezegd wordt. Zo’n AI-agent moet dus getraind worden, je wilt niet dat die zomaar alles zegt tegen een klant. En alles wat je zegt, kan tegen je gebruikt worden.
Volgens Zwakenberg betekent dit dat AI-systemen niet alleen technisch goed ingebed moeten zijn, maar ook organisatorisch. AI-agenten die communiceren met klanten moeten net als mensen gemonitord worden, om fouten of ongepaste antwoorden te signaleren. Je moet zo’n agent beschouwen als een medewerker, benadrukt Zwakenberg. Dat betekent dat je de agent moet opleiden, begeleiden en bijsturen waar nodig. En je moet zorgen dat deze opereert binnen de kaders van je merk, beleid en compliance-regels.
Dat vraagt om duidelijke governance rondom AI. Wie is verantwoordelijk, hoe borg je kwaliteit en hoe grijp je in als het misgaat? Zwakenberg pleit voor een aanpak waarin AI niet wordt gezien als een externe black box, maar als een integraal onderdeel van de organisatie. Uiteindelijk draait het erom dat je vertrouwen kunt hebben in wat de AI namens jou doet. Dat bereik je in de ogen van Zwakenberg alleen als je het net zo serieus organiseert als je andere klantkanalen.
Van techniek naar vertrouwen
De rode draad in alle bijdragen aan tafel is duidelijk. AI-infrastructuur is geen kwestie van simpelweg meer rekenkracht of opslagcapaciteit. Het vraagt om doordachte keuzes, afgestemd op de aard van de data, de dynamiek van workloads en de eisen van de organisatie. Daarbij reikt de impact van AI veel verder dan de IT-afdeling. Het raakt governance, beleid en zelfs aan hoe bedrijven hun identiteit en klantrelaties vormgeven.
Wie AI serieus wil inzetten, kan het zich niet veroorloven om technologie los te zien van context. Juist in de combinatie van slimme infrastructuur, robuuste datafundamenten én duidelijke kaders voor verantwoordelijkheid ligt de sleutel tot duurzame AI-innovatie.
Dit was het tweede verhaal binnen onze AI-infrastructuur-reeks. In het volgende artikel bespreken we dat AI volwassen keuzes van bedrijven vraagt.