Bijna niemand meet het eigen AI-verbruik. Het overgrote merendeel van organisaties is met de technologie op weg gegaan, maar slechts een tiende houdt actief rekening met de energiekosten die met AI gepaard gaan.
Onderzoek in opdracht van SambaNova wijst uit dat organisaties onvoorbereid zijn voor de naderende explosie aan energieverbruik door AI. Rodrigo Liang, CEO van SambaNova Systems wijst op het gevaar dat deze blinde vlek met zich meedraagt: “Zonder een proactieve benadering van efficiëntere AI-hardware en energieverbruik, vooral met het oog op de toenemende vraag van AI-workflows, lopen we het risico dat we de vooruitgang die AI belooft te leveren, ondermijnen. Tegen 2027 verwacht ik dat meer dan 90 procent van de leiders zich zorgen zal maken over de energie-eisen van AI en het verbruik zal monitoren als een KPI die corporate boards nauwlettend zullen volgen.”
Energiekosten niet gevoeld
Bedrijfsleiders hebben overwegend (70 procent) wel door dat het trainen van AI-modellen enorm veel energie kost. Net wat minder respondenten (60 procent) weten dat hetzelfde geldt voor AI-inferencing, zij het in mindere mate. Slechts 13 procent van organisaties die met AI aan de slag zijn gegaan, meet hoeveel energie men verbruikt.
Deze cijfers zijn onverrassend. Veel organisaties vertrouwen op een API-prijsmodel om LLM’s van OpenAI, Anthropic of anderen te raadplegen. Hierdoor is de voornaamste zorg één gericht op de kosten. Die zijn momenteel nog sterk gesubsidieerd; AI-bedrijven draaien doorgaans grote verliezen. Zelfs het immens populaire OpenAI heeft miljardeninvesteringen nodig om boven water te blijven. Maar voor organisaties is dit een abstractielaag te ver. Zij kijken niet naar de exacte energiekosten, want ze kunnen daar enkel schattingen van maken. Dat is een gevolg van de manier waarop GenAI momenteel geconsumeerd wordt.
Het is echter duidelijk dat organisaties zich zorgen maken over de energiekosten die hiermee gepaard gaan. Vooral nu agentic AI in opkomst is, erkent 56 procent van de respondenten dat energie-efficiëntie een cruciale rol zal spelen in toekomstige strategische planning. Bovendien verwacht 37 procent een toenemende druk van belanghebbenden om de energie-efficiëntie van AI te verbeteren; nog eens 42 procent verwacht dat een dergelijke druk binnenkort zal ontstaan.
Waar het SambaNova-onderzoek de zere plek op legt, is dat het huidige paradigma niet lang stand zal houden. GPU-gedreven GenAI-workloads hebben sinds ChatGPT de verbeelding van leidinggevenden wereldwijd veroverd. Door de reusachtige schaal die LLM’s vereisen, zijn er maar een paar industriespelers die het kapitaal en de infrastructuur hebben om AI-training te huisvesten. Kleinere modellen, domeinspecifieke doeleinden en lokale inferencing zijn stappen in de goede richting, maar zullen niet allemaal op GPU’s kunnen draaien.
Op zoek naar het alternatief
SambaNova spreekt over een gebrek aan “infrastructurele paraatheid” voor AI-adoptie. De proactieve benadering die Liang van SambaNova benoemt, is gericht op een alternatief voor GPU-acceleratie. GenAI draaien kan ook op andere acceleratoren die efficiënter omgaan met de miljarden parameters en trainingsdata. Hiervoor heeft SambaNova de RDU (Reconfigurable Dataflow Unit) in het leven geroepen. In plaats van tientallen gigabytes aan on-chip geheugen bezit deze AI-chip terabytes om zo meerdere LLM’s tegelijk te bewaren.
SambaNova is niet de enige die staat te trappelen om Nvidia’s GPU’s van de troon te stoten. Ook Cerebras, maker van levensgrote wafer-scale AI-chips, en Groq zijn op zoek naar een werkzaam alternatief. De vraag is of de eerder genoemde hyperscalers een dergelijke overstap zoeken (of in het geval van Google op de eigen TPU’s blijft vertrouwen) voordat de energiekosten van AI al over de schreef zijn gegaan.
Lees ook: Leidinggevenden hebben torenhoge verwachtingen van AI