ByteDance zet de volgende stap in de wereldwijde AI-race. Het Chinese technologiebedrijf ontwikkelt een model met mogelijk maximaal 10 biljoen parameters. Daarmee wil het niet alleen de grootste Chinese AI-modellen voorbij streven. Maar het wil ook de strijd aangaan met de meest geavanceerde systemen van Anthropic.
Volgens de Financial Times bevindt het project zich nog in de pre-trainingsfase. Die duurt naar verwachting drie tot zes maanden, waarna het model verder wordt verfijnd voordat het eventueel wordt uitgebracht. De uiteindelijke omvang staat nog niet vast, maar bronnen rond het project spreken over maximaal 10 biljoen parameters.
Daarmee zou het model ruim drie keer groter worden dan Kimi K3 van Moonshot AI. Kimi K3, met 2,8 biljoen parameters, geldt momenteel als het grootste AI-model dat in China is uitgebracht. De Financial Times merkt op dat Anthropic geen officiële cijfers publiceert. Maar binnen de sector wordt geschat dat Mythos 5 ongeveer 8 biljoen parameters telt. Fable 5 heeft er circa 5 biljoen.
Chinese AI-race versnelt
De ontwikkeling illustreert hoe snel Chinese AI-bedrijven terrein winnen op hun Amerikaanse concurrenten. Modellen van onder meer Moonshot en Alibaba laten volgens recente benchmarks steeds betere prestaties zien. Daardoor behoren zij inmiddels tot de wereldtop. Op sommige onderdelen hoeven zij alleen Anthropic’s Fable 5 voor zich te dulden.
Meerdere Chinese AI-labs werken inmiddels aan modellen in de orde van grootte van Fable 5. Maar ByteDance zou het verst willen gaan door een model te bouwen dat ook qua schaal kan wedijveren met Anthropic’s grootste systemen.
Hoewel het aantal parameters geen directe maat is voor de kwaliteit van een AI-model, geeft het wel een indicatie van de potentiële capaciteit. Zaken als de kwaliteit van de trainingsdata, de gebruikte architectuur en de trainingsmethode blijven minstens zo bepalend voor de uiteindelijke prestaties.
ByteDance heeft de afgelopen jaren fors geïnvesteerd in AI-infrastructuur. Het bedrijf breidde zijn netwerk van datacenters uit. Daarnaast nam het duizenden onderzoekers aan en investeerde het zwaar in cloudplatform Volcano Engine. Daarmee worden AI-diensten aan zakelijke klanten geleverd. Verder werkt het concern ook aan eigen AI-chips.
Het AI-onderzoek wordt uitgevoerd door het Seed-team, onder leiding van voormalig Google DeepMind-onderzoeker Wu Yonghui. Deze organisatie telt inmiddels ongeveer 2.000 medewerkers, waaronder AI-onderzoekers, infrastructuuringenieurs, dataspecialisten en vertalers.
ByteDance houdt zijn AI-ontwikkeling relatief gesloten. Waar veel Chinese concurrenten open modellen publiceren, kiest het concern ervoor zijn belangrijkste modellen intern te houden. Wel behoort videomodel SeeDance inmiddels tot de internationale top. Tegelijkertijd is chatbot Doubao met circa 324 miljoen maandelijkse gebruikers de populairste AI-assistent van China.
Onafhankelijke ontwikkeling
Een opvallend aspect van de strategie is dat ByteDance bewust afziet van modeldistillatie. Modeldistillatie houdt in dat kleinere modellen worden getraind op basis van bestaande grote AI-modellen. In plaats daarvan kiest het bedrijf voor een volledig zelfstandig ontwikkeltraject. Die aanpak kost meer tijd. Toch moet deze aanpak uiteindelijk een concurrerender model opleveren.
Die koers wordt rechtstreeks ondersteund door oprichter Zhang Yiming. Tijdens een interne bijeenkomst riep hij het Seed-team op zich te richten op “AI-modellen van wereldklasse” en zich niet te veel zorgen te maken over een eventuele tijdelijke achterstand. Volgens Zhang kan alleen een volledig onafhankelijk ontwikkeld model uiteindelijk de concurrentie overtreffen.