AI moet helpen om complexe taken eenvoudiger te maken en eenvoudige taken weg te nemen. Dat voordeel blijft echter theorie als je niet een uitgedacht plan hebt. Welke software is nodig? Hoe bereid je je bedrijfsdata voor op AI? Waarop draaien die AI-workloads? Op deze vragen en meer biedt ASUS als antwoord de AI Factory, een “holistisch AI-ecosysteem”. Wat houdt dat in?
Het probleem van AI-adoptie is dat organisaties niet weten waar ze moeten beginnen, ook al zitten ze zelf op een goudmijn aan data. Om dat goud te delven is er een systeem nodig dat het verwerkt en aan het eind ook iets oplevert. De ASUS AI Factory moet op basis van hardware, software en allerlei opties inspelen op elke soort organisatie, van klein naar groot en van sector tot sector. Vanzelfsprekend is zo’n optelsom modulair en in schaal verschillend. We duiken hieronder in alle componenten van ASUS’ AI Factory, van NVIDIA-gedreven servers tot AI-modellen voor elke toepassing.
Wat doet een AI Factory?
Het prille begin van een volwassen AI-aanpak richt zich op data. Bedrijven hebben een manier nodig om data te verzamelen, AI-modellen te trainen en om deze in te zetten. Tijdens elke stap is er monitoring nodig en aan het eind zijn AI-inzichten vereist om waarde te genereren. Denk aan het verbeteren van simulaties in de maakindustrie op basis van werkelijke metingen of het draaien van AI-agents die automatisch securityupdates uitvoeren. AI Factories kunnen automatisch de vereiste data verzamelen, opschonen en transformeren voor AI-inzet. Dit gebeurt on-premises bij de aanschaf van NVIDIA-gedreven ASUS-systemen, waarover later meer. Vervolgens schakelen zij over tot het bouwen en trainen van de AI-modellen, waarbij IT-teams worden bijgestaan door de software om geschikte LLM’s te creëren voor hun doeleinden.
Binnen grote bedrijven is het trainen van eigen AI-modellen een kostbaar iets. De veilige inzet van data en de gewenste resultaten van AI-training zijn enkel te behalen met een geïntegreerd systeem. Veel werk wordt weggenomen door vendoren als NVIDIA en ASUS. NVIDIA heeft via technische kennis en integraties met partners een eenvoudig te opereren systeem bedacht dat op verschillende schalen AI bereikbaar maakt. Denk aan AI POD’s, schaalbare en geoptimaliseerde serverracks voor het trainen en draaien van AI. Ze combineren software, servers, networking en security om van een complex karwei een eenvoudig stappenplan te maken. Bedrijven richten zich op de data die ze willen gebruiken en de schaal waarop men AI hoopt uit te voeren. Een ASUS AI POD bestaat uit volle rackscale systemen zoals de XA GB721-E2 op basis van de NVIDIA GB300 NVL72. Dit combineert 72 NVIDIA Blackwell Ultra GPU’s met 36 NVIDIA Grace CPU’s en de nieuwste generatie NVIDIA NVLink. Ze kunnen enkelvoudig of in grote groepen neergezet worden en gedragen zich effectief als één systeem. Onderhuids is dit mogelijk door networking via ConnectX-8 SuperNIC’s en BlueField-3 DPU’s. Geavanceerde liquid cooling garandeert dat de prestaties consistent zijn en de systemen betrouwbaar opereren.
Niet elk bedrijf heeft deze schaal nodig; het dagelijks draaien van AI kan ook via enkele servers. Denk hierbij aan de ASUS ESC8000A-E13P, dat in 4U-formaat op veel locaties inzetbaar is. Een enkele server bestaat hierbij uit AMD EPYC 9005-processoren met 192 Zen 5c-cores, maar zij gelden veelal als de verkeersleiders voor het AI-verkeer op de NVIDIA GPU’s. NVIDIA H200 GPU’s of NVIDIA RTX PRO 6000 Blackwell Server Edition-chips zijn in achtvoud te draaien op een enkele ASUS-server. Dankzij de schaalbaarheid van NVIDIA-chips en de geïntegreerde networking is het mogelijk om meerdere servers aan elkaar te koppelen voor een nog krachtigere AI-output.
Tokens naar succes
Na aanschaf blijken systemen als deze van ASUS erg eenvoudig te onderhouden. Het ’toolless’ ontwerp maakt het mogelijk om downtime tot een minimum te beperken bij installatie en wijzigingen in de serverracks. Om te voorkomen dat handwerk vereist is bij eventuele problemen, kunnen IT’ers veel troubleshooting en configuratie regelen via het ASUS Control Center, de managementsuite die samen met Root-of-Trust op hardwareniveau de veiligheid moet garanderen.
De effectiviteit van AI-systemen als bovenstaande worden gemeten in tokens. Dit zijn de fragmenten van woorden en datapunten om outputs te genereren. Ze worden gegenereerd vanuit de trainingsdata en delen AI-workloads op in stukjes. Elke LLM genereert tokens op een snelheid die afhankelijk is van de hardware, naast het specifieke ontwerp. Een systeem zoals de ASUS AI POD en de 4U AI-server is onvergelijkbaar met reguliere servers en pc’s, die niet in staat zijn om op een praktische snelheid daadkrachtige AI-workloads te draaien.
Grote context windows, lage latency en LLM’s voorzien van hoogwaardige data zijn weinig waard als ze niet veel tokens per seconde draaien. Dokters komen sneller tot medische inzichten, fabriekswerkers krijgen sneller verfijnde prototypes en securitypersoneel ontvangen snellere alerts van agents als de hardware onderhuids sterk is. Dat is, zoals hierboven beschreven is, niet alles. Het AI-proces begint bij organisaties zelf, zij bezitten de data waarop AI te bouwen is.
Lees ook: AMD en ASUS brengen nieuwe lijn ExpertBook P3 Copilot+ pc’s op de markt