Elon Musk heeft aangekondigd dat zijn AI-ontwikkelbedrijf xAI in de herfst van 2025 een ‘Gigafactory of compute’ supercomputer wil lanceren. De supercomputer wordt ontwikkeld in samenwerking met Oracle.
Volgens de excentrieke techondernemer is de supercomputer nodig om de volgende versie van het Grok-LLM van xAI te ontwikkelen. Elon Musk heeft berekend dat voor het trainen en draaien van dit nieuwe LLM maar liefst 100.000 GPU’s nodig zijn, schrijft The Information. Het Grok 2 LLM van xAI wordt getraind op 20.000 GPU’s.
In de logica van Elon Musk is het daarom handig om in plaats van deze apart aan te schaffen, ze te verenigen in een allesomvattende supercomputer of een ‘Gigafactory of compute’. Hij zal zelf persoonlijk leiding geven aan het bouwtraject, dat in de herfst van 2025 moet zijn voltooid.
Nvidia H100 GPU’s
De te gebruiken GPU’s binnen de xAI-supercomputer zijn Nvidia H100 GPU’s. Gecombineerd zouden de GPU’s maar liefst vier keer zo groot zijn als de huidige grootste GPU-clusters die nu bestaan. Bijvoorbeeld de GPU-clusters die Meta gebruikt voor de ontwikkeling van zijn Llama LLM’s.
De nieuwe supercomputer wordt ontwikkeld in samenwerking met Oracle. Waar deze samenwerking precies uit bestaat, is niet bekend. Zowel Oracle als xAI hebben nog niet gereageerd op de geruchten over de nieuwe supercomputer.
6 miljard dollar in Series B-ronde
xAI zelf timmert ook steeds meer aan de weg als AI-ontwikkelaar en is druk bezig de druk op andere grote ontwikkelaars, zoals OpenAI en Google, op te voeren. Onlangs wist de ontwikkelaar in een Series B-investeringsronde 6 miljard dollar te verzamelen.
Investeerders in deze ronde waren Valor Equity Partners, Vy Capital, Andreessen Horowitz, Sequoia Capital en Fidelity Management & Research Company. Daarnaast namen ook opvallend Prins Alwaleed Bin Talal en Kingdom Holding uit Saoedi-Arabië deel aan deze investeringsronde.
Het opgehaalde kapitaal zal volgens xAI worden gebruikt om de eerste AI-modellen op de markt te brengen, een geavanceerde infrastructuur op te bouwen en het onderzoek naar toekomstige technologieën te versnellen. Of xAI met de geavanceerde infrastructuur doelt op de te ontwikkelen supercomputer, is niet bekend.
Lees ook: Chatbot Grok-1.5 van Elon Musk volgende week beschikbaar