Data-efficiëntie is de nieuwe manier van opschalen

Data-efficiëntie is de nieuwe manier van opschalen

Stel je voor: een internationaal opererend logistiek bedrijf zit midden in de voorbereidingen op het drukste seizoen van het jaar. Het AI-model dat wordt gebruikt om vraag te voorspellen, waarop een groot deel van de planning is gebaseerd, gebruikt 40% meer rekenkracht dan verwacht. Over drie weken begint de piekperiode en op korte termijn extra infrastructuur toevoegen is niet meer haalbaar.

Het bedrijf moet daarom de capaciteit die er al is beter benutten. Het besluit om met intelligente datareductie en het opnieuw verdelen van workloads, binnen twee weken, 38% van de bestaande storagecapaciteit vrij te maken – zonder nieuwe hardware en zonder vertraging. De nieuwe piekperiode kan volgens planning worden opgevangen.

Het voorbeeld illustreert precies het soort uitdaging waar traditionele infrastructuurbenaderingen minder goed werken en maakt het belang van een efficiënte infrastructuur duidelijk. Hierbij geldt dat efficiëntie niet langer alleen draait om kostenbesparingen, maar vooral om het vrijmaken van capaciteit voor AI.

Alleen hardware toevoegen is niet langer voldoende

Lange tijd volgde het opschalen van enterprise-infrastructuur een eenvoudige logica: als de vraag toeneemt, voeg je capaciteit toe. Meer servers, meer datacentercapaciteit en meer investeringen. Groei betekende in veel gevallen simpelweg het aanschaffen van meer infrastructuur.

Deze aanpak loopt nu tegen steeds meer beperkingen aan: 

  1. Nieuwe capaciteit is niet altijd meteen beschikbaar

Extra hardware toevoegen kan tijd kosten en vraagt om planning. Als organisaties voor groei in capaciteit afhankelijk zijn van nieuwe infrastructuur, kan dat de snelheid waarmee nieuwe AI-toepassingen worden uitgerold vertragen. Het wordt daarom belangrijker om bestaande capaciteit beter te benutten.

  1. Energiecapaciteit staat onder druk

Veel datacenters naderen de grenzen van de beschikbare energiecapaciteit. Ook in Nederland vormt dit een groeiende uitdaging: in een groot deel van het land is het elektriciteitsnet zo goed als vol, waardoor bedrijven niet altijd direct een nieuwe of zwaardere aansluiting kunnen krijgen. Maar ook elders spelen beperkingen rond energievoorziening, regelgeving en beschikbare datacentercapaciteit een rol. Het toevoegen van nieuwe fysieke infrastructuur draait daardoor niet langer alleen om kosten. 

  1. AI-workloads gedragen zich anders dan traditionele workloads

Traditionele infrastructuur is vaak ingericht op een relatief voorspelbare en constante vraag. AI-inference en training zijn juist dynamisch, kennen sterke pieken en kunnen om veel resources vragen. Statische provisioning is daar niet altijd op ingericht. Een AI-omgeving vraagt daarom om een andere manier van plannen en beheren.

Efficiëntie als strategisch instrument

Bij efficiëntie denken sommige IT-verantwoordelijken in eerste instantie aan automatisering en kostenbesparingen, maar bij AI speelt er echter meer. Efficiëntie kan capaciteit vrijmaken die vervolgens direct voor andere toepassingen beschikbaar komt. Hierbij drie zaken die daarbij in de praktijk belangrijk zijn: 

  1. Datareductie die daadwerkelijk capaciteit vrijmaakt

Moderne deduplicatie en compressie kunnen, wanneer ze slim worden toegepast op verschillende type workloads, de benodigde vraag naar storagecapaciteit aanzienlijk verkleinen. De capaciteit die hierdoor vrijkomt, kan vervolgens worden ingezet voor AI-pipelines, analytics-workloads of nieuwe toepassingen.

  1. Workload orchestration die realtime reageert

Statische toewijzing van resources waarbij infrastructuur wordt ingericht op piekbelasting en capaciteit op momenten zonder piekbelasting grotendeels ongebruikt blijft, is inefficiënt voor dynamische AI-workloads. Met ‘orchestration’ die resources op basis van de actuele vraag verdeelt, kan de bestaande infrastructuur veel effectiever worden benut.

  1. Vereenvoudiging die structurele complexiteit vermindert

Elke onnodige stap in een data pipeline, elke overbodige storage tier en elke workload die op de verkeerde infrastructuur draait, kan extra latency en risico op storingen veroorzaken. Een vereenvoudigde infrastructuur verlaagt daarom niet alleen de kosten, maar vermindert ook het aantal onderdelen dat onder hoge belasting problemen kan veroorzaken.

Hoe benut je de bestaande capaciteit?

Efficiënter omgaan met infrastructuur begint niet bij één specifieke technologie, maar bij de manier waarop capaciteit wordt gemonitord, aangestuurd en gepland. Voor het beter benutten van bestaande infrastructuur zijn drie dingen belangrijk:

  1. Inzicht in het daadwerkelijke gebruik

Je kunt niet optimaliseren wat je niet ziet. De meeste organisaties beschikken over infrastructuurmonitoring, maar dat betekent niet automatisch dat ze ook inzicht hebben in waar capaciteit onbenut blijft, waar workloads niet optimaal zijn verdeeld en waar mogelijkheden voor datareductie liggen. Daarvoor is realtime operationeel inzicht nodig.

  1. Software-defined control

Optimalisatie op schaal vraagt om automatisering. Handmatige optimalisatie kan verbeteringen opleveren, maar intelligente en continue orchestration maakt het mogelijk om resources structureel efficiënter in te zetten.

  1. De bereidheid om eerst naar optimalisatie te kijken 

De gebruikelijke reactie op een tekort aan capaciteit is vaak om infrastructuur uit te breiden. Door eerst te onderzoeken hoeveel capaciteit binnen de bestaande omgeving kan worden vrijgemaakt, kunnen organisaties mogelijk sneller ruimte creëren voor nieuwe workloads. Dat vraagt niet alleen om technische aanpassingen, maar ook om een andere manier van denken over capaciteitsplanning.

Bestaande infrastructuur moet worden behandeld als een belangrijke asset

AI zorgt ervoor dat de vraag naar storage en rekenkracht snel kan veranderen. Organisaties die succesvol met die volatiliteit omgaan, zijn organisaties die hun bestaande infrastructuur maximaal benutten en flexibel hun assets kunnen inzetten. De belangrijkste stap is daarom om nu al inzicht te krijgen in hoeveel ruimte er binnen de bestaande infrastructuur beschikbaar is, hoe die beter kan worden benut en waar meer flexibiliteit nodig is.

Dit is een ingezonden bijdrage van Everpure. Via deze link vind je meer informatie over de mogelijkheden van het bedrijf.