Zoals verwacht presenteerde Nvidia tijdens CES 2025 een berg aan nieuwe GPU’s. Maar belangrijker, en mogelijk winstgevender, is een op Blackwell gebaseerde mini-pc voor 3.000 dollar. Wat is Nvidia van plan?
Het initiële rijtje aan Blackwell GPU’s voor desktop-pc’s is als volgt: bovenaan bevindt zich de RTX 5090 (1.999 dollar), op de voet gevolgd door de RTX 5080 (999 dollar), de RTX 5070 Ti (749 dollar) en de RTX 5070 (549 dollar). Ze zouden aanzienlijk krachtiger zijn dan de RTX 4000-serie en lijken qua prijs mee te vallen.
Belangrijker is echter dat Nvidia het hier niet bij houdt. Blackwell werd vorig jaar tijdens Nvidia’s GTC-conferentie bovenal geïntroduceerd als zwaar geschut voor het datacenter. Aangezien de opbrengsten aldaar grofweg een negenvoud zijn van de omzet uit de consumentenmarkt, was die focus niet zo gek. Maar Blackwell kan ook naar beneden schalen en nog steeds uiterst nuttig zijn voor generatieve AI. Het kleine broertje van de reusachtige GB200 NVL72 Grace Blackwell Superchip suggereert namelijk een nieuwe kans voor Nvidia om de immense marktpositie verder te verstevigen.
Een AI-supercomputer op je bureau
‘Project Digits’ is de codenaam voor een nieuw product, gedeeltelijk gebaseerd op Blackwell. Het betreft een mini-pc van 3.000 dollar met 128 GB aan LPDDR5X-geheugen en een Nvidia GB10 Grace Blackwell Superchip. GB10 is, net als de immense GB200 voor datacenters, een combinatie van Grace-CPU’s op basis van de Arm-architectuur en Blackwell GPU-cores. Kortom: het is volledig Nvidia, van kop tot staart, als het om compute gaat. En het is wat indrukwekkender dan Nvidia’s eerdere Jetson Orin Nano bijvoorbeeld. Ter herinnering ging het hier om een piepklein Raspberry Pi-achtig apparaatje (dat meer TOPS biedt dan de meeste NPU’s in AI-pc’s).
Onder de streep kan Project Digits een LLM aan van 200 miljard parameters. Ofwel: Llama 3.1 405B is een stap te ver, maar de 70B-variant past met groot gemak. Nvidia maakt het mogelijk twee Project Digits-dozen te koppelen via ConnectX-networking, waardoor Meta’s grootste variant van Llama 3.1 opeens wel mogelijk wordt. Als de LLM’s van Anthropic open-source waren geweest, was het lokaal draaien van Claude 3.5 Sonnet hiermee dus mogelijk geweest op een enkele pc, aangezien deze LLM naar schatting 175 miljard parameters bevat.
Echter moeten modellen wel gereduceerd worden tot 4-bit, wat de accuratesse van de output vermindert. Hoe dat precies uitpakt, zal moeten blijken. Daarnaast is Project Digits nu nog een systeem bedoeld voor ontwikkelaars. Aan boord zit een speciale variant van Ubuntu Linux om optimaal gebruik te maken van de onderhuidse architectuur. Gebruiksvriendelijk zal deze mini-pc dus naar verwachting niet zijn.
Maar we zien hierin een beweegreden voor Nvidia om verder dan Project Digits te denken. Wat als het bedrijf een tussenvorm bedenkt tussen de miniscule Jetson Orin Nano en deze nieuwe “AI-supercomputer op je bureau”? Dan zouden organisaties, en niet eens al te grote, zowaar hun eigen lokale inferencing-doosje kunnen hebben met genoeg potentie om zinnige outputs te krijgen.
Wat kan een AI-pc?
De belofte richting organisaties om op die manier met AI aan de slag te gaan, is er al. AI-pc’s zijn overal, zo wordt gesuggereerd. AMD, Intel en Qualcomm leveren tegenwoordig Windows Copilot+-systemen met een eigen NPU, veelal een sterke CPU en naar keuze een GPU met extra AI-vermogen. Er is veel te doen over de precieze TOPS, ofwel Tensor Operations Per Second, die laten zien hoe krachtig de AI-vaardigheden van een specifiek product zijn. Doorgaans hebben we het over TOPS van een paar honderd. Wie echter een van de nieuwste Nvidia-GPU’s in een doodgewone desktop zou plaatsen, komt op duizelingwekkend hogere getallen: de RTX 5090 levert 3.352 TOPS, de 5080 1.801, de 5070 Ti 1.406 en de 5070 988. Hoewel de precieze specificaties van Project Digits nog niet bekend zijn, moeten we ervan uit gaan dat de TOPS eerder in dat laatste rijtje passen, dan dat ze lijken op wat er in AI-pc’s zit.
Maar TOPS zijn helemaal niet de ultieme meetlat voor GenAI. Wat je werkelijk op een systeem kunt draaien, is veel relevanter. Daarover is nog altijd allerminst duidelijkheid als het om de reeks aan AI-pc’s gaat vandaag de dag. Nvidia zorgt voor verandering op dit vlak met Project Digits. Het legt haarfijn uit wat wel werkt op de hardware en wat niet, iets dat een stuk vaker voorkomt bij producten gericht op developers dan als men consumenten wil paaien.
Wel is er nog veel onbekend. Wat is bijvoorbeeld de bandbreedte van het geheugen? Hoeveel TOPS zijn hier aanwezig (we zijn toch benieuwd)? En zijn er eventueel nadelen zoals een restrictief OS dat alle Nvidia-tooling optimaliseert en niks anders tolereert? Dergelijke zaken moeten nog uitgezocht worden. Maar een aanzet voor een machine om GenAI-workloads on-prem binnen handbereik te krijgen, is Project Digits zeker.