DeepSeek is naar verluidt vastgelopen bij de ontwikkeling van zijn toekomstige R2-model, omdat het bedrijf geen toegang heeft tot voldoende GPU’s van Nvidia, aldus een rapport.
The Information citeert twee anonieme bronnen die bekend zijn met de inspanningen van DeepSeek. Zij zeggen dat het bedrijf al maanden werkt aan het aankomende R2-model, maar dat CEO Liang Wengfeng er nog niet tevreden over is. Het bedrijf kan de mogelijkheden van het model echter niet verbeteren met het beperkte aantal GPU’s waarover het beschikt.
DeepSeek verwierf eerder dit jaar bekendheid toen het zijn oorspronkelijke redeneermodel R1 uitbracht. Dat bleek opgewassen tegen de meest geavanceerde modellen van Amerikaanse bedrijven zoals OpenAI, Anthropic en Meta Platforms. Dit, terwijl het tegen een fractie van de kosten was gebouwd.
Volgens The Information trainde DeepSeek R1 op een cluster van 50.000 Hopper-GPU’s, waaronder ongeveer 10.000 H100’s, 10.000 H800’s en ongeveer 30.000 zwakkere H20-GPU’s, die speciaal voor de Chinese markt zijn ontwikkeld.
Heimelijke leveringen
Chinese bedrijven mochten de H100- of H800-GPU’s nooit legaal aanschaffen. Er wordt aangenomen dat sommige daarvan heimelijk aan DeepSeek zijn geleverd door investeerder High-Flyer Capital Management, terwijl andere zijn verkregen via schijnbedrijven die toegang hebben tot publieke cloudinfrastructuurdiensten. De H20-GPU’s werden legaal verkregen, maar zijn inmiddels moeilijk te verkrijgen vanwege nieuwe Amerikaanse sancties die hun export naar China verbieden.
Een deel van het probleem is dat veel van de H20-GPU’s in China al in gebruik zijn bij klanten van DeepSeek. The Information meldt dat het R1-model breed is aangenomen door Chinese bedrijven en overheidsinstanties. De meeste organisaties draaien het op H20-GPU’s in de cloud. Daardoor is er geen capaciteit meer beschikbaar voor DeepSeek om zijn nieuwste model te trainen.
Het tekort aan H20-GPU’s veroorzaakt naar verluidt al problemen voor R1. Dit beperkt de manier waarop Chinese bedrijven het kunnen gebruiken. Als het R2-model een aanzienlijke verbetering is ten opzichte van R1, verwachten insiders dat de vraag naar het model groter zal zijn dan Chinese cloudinfrastructuren aankunnen. Dit blijkt uit gesprekken van The Information met DeepSeek-medewerkers.
Exportregels beperken bandbreedte
De H20-processor is vergelijkbaar met de H100-GPU die Nvidia verkoopt aan westerse bedrijven. De bandbreedte en connectiviteit ervan zijn beperkt om te voldoen aan eerdere exportregels naar China. Toch besloot de regering van president Donald Trump dat zelfs deze afgezwakte chip te krachtig is om naar een geopolitieke rivaal te exporteren, en legde in april nieuwe beperkingen op.
Die beslissing verstoorde de plannen van Chinese AI-ontwikkelaars. Hoewel er enkele binnenlandse alternatieven zijn, zoals de Ascend 910B-chipset van Huawei, zijn die nog minder krachtig dan de H20. Ook ondersteunen ze Nvidia’s CUDA-softwarestack niet. Dat is een programmeerarchitectuur die wordt gebruikt om toepassingen en AI-modellen te optimaliseren voor Nvidia-GPU’s. Dat is problematisch, omdat vrijwel alle Chinese AI-ontwikkelaars vermoedelijk gebruikmaken van de CUDA-software.
The Information meldt dat DeepSeek’s R1- en R2-modellen ook zijn geoptimaliseerd voor Nvidia-chips, en dat het onvermogen om deze te verkrijgen een grote tegenslag kan zijn in de poging om gelijke tred te houden met Amerikaanse concurrenten.