GenAI is aan het democratiseren. Het Chinese DeepSeek-R1 is voor iedereen beschikbaar en maakt ‘redenerende’ AI-vaardigheden gratis. De hegemonie van gesloten Amerikaanse AI-spelers wordt nog verder onder druk gezet door het Franse Mistral AI, dat met Mistral Small 3 indrukwekkende resultaten behaalt.
Mistral Small 3 wordt uitgebracht onder de Apache 2.0-licentie, dat gebruikers (bijna) een vrijbrief geeft om volop te experimenteren met het nieuwe model. Met 24 miljard parameters (24B) is het een stuk kleiner dan Alibaba’s Qwen 2.5 32B en Llama 3.3 70B, waardoor het sneller lokaal te draaien is en toch volgens menselijke evaluaties niet voor deze modellen onderdoet. De benchmarkresultaten onderstrepen dit, hoewel deze statistieken (net als bij DeepSeek-R1) niet alles zeggen.
Wel verwacht Mistral dat er wat meer werk nodig is dan bij de nieuwe open-source AI-superster DeepSeek-R1. De geleverde checkpoints, een Mistral Small-variant met training en een die instruction-tuned is, vereisen voor verschillende toepassingen dus nog wat extra werk, zoals redeneren. Het zal vermoedelijk niet lang duren voordat iemand Mistral Small 3 laat leren van de outputs van DeepSeek-R1, een proces dat distillatie wordt genoemd.
Wel echt klein?
Met 24 miljard parameters is Mistral Small 3 te draaien op een enkele Nvidia RTX 4090 of een Macbook met 32GB aan RAM. Wie genoegen neemt met pakweg 2 tokens per seconde, kan overigens ook met 32GB aan DRAM op Windows of Linux aan de slag in combinatie met een GPU. Een lokale AI-oplossing zoals Ollama pikt vervolgens automatisch de hardware die het kan gebruiken.
Écht klein is deze ‘small language model’ echter niet. Mistral zelf debuteerde in 2023 met Mistral 7B, dat op nagenoeg elke moderne pc in rap tempo te draaien is. Veel AI-modellen zitten rond een balanceerpunt van 12 à 14 miljard parameters, zoals Microsoft’s Phi-4. Hiermee kunnen ze voor een model met een dergelijk formaat opvallend goed presteren. Wie GenAI in een embedded omgeving wil draaien, komt wellicht zelfs terecht bij piepkleine modellen als Gemma 2B van Google of Qwen 2.5 0.5B. Alles is relatief, maar het is duidelijk dat Mistral tegenwoordig onder ‘klein’ verstaat wat werkbaar is op een enigszins krachtige pc zonder van internettoegang afhankelijk te zijn.
Nu AI-bedrijven wat meer praktijkervaring hebben met AI, blijkt dat het formaat niet de belangrijkste factor is voor hoogstaande outputs. Zo benadrukken zowel Mistral AI als Microsoft dat hun kleine modellen voorzien zijn van bijzonder hoogwaardige trainingsdata. “Garbage in, garbage out” gaat hierin zeker op. Kijk maar naar de doorgaans grote Gemini-modellen die in de mist gaan bij zoekresultaten doordat het zonder problemen een sarcastische Reddit-post overneemt.
Waar een klein model als Mistral Small naar op zoek is, is het mimimaliseren van de ‘perplexity’ van het model. Met andere woorden: het moet zo zeker mogelijk zijn van het volgende woord dat gegenereerd moet worden. Dit kan door een kleiner model te distilleren met een groter model als ‘leermeester’, waarin Mistral Small bijvoorbeeld van Mistral Large oppikt hoe het zich naar een zinnig antwoord redeneert (zogeheten ‘soft targets‘). Dit lijkt de laatste tijd steeds beter te lukken, met de distillaties van DeepSeek voor kleinere Alibaba Qwen- en Meta Llama-modellen als krachtige voorbeelden hiervan.
Lees/luister ook: Chinees LLM DeepSeek-R1 zorgt voor AI-paniek
Mistral AI volop in beweging
Als we verder kijken dan alleen de specificaties, zal Mistral Small 3 vooral in West-Europa in de smaak vallen. Immers twijfelt het model geen moment om voor China penibele zaken als Taiwan of de Oeigoeren te bespreken. Daarnaast spreekt Small 3 duidelijk beter andere talen dan bijvoorbeeld DeepSeek-R1, iets dat niet zo verwonderlijk is gezien het feit dat Mistral AI zelf Frans is. Mocht er een BLEU-test worden losgelaten op alle kleinere modellen (feitelijk een toets voor machinevertalingen), dan mogen we verwachten dat Mistral Small 3 aan kop gaat of vlakbij de top zit.
Desondanks is Mistral Small 3 prima te combineren met de lessen die DeepSeek-R1 de AI-wereld geleerd heeft. In de officiële aankondiging van het model vertelt Mistral dat het model mooi aansluit op R1 binnen het open-source ecosysteem. Een dergelijke uitwisseling van academische bevindingen is iets wat Mistral-CEO Arthur Mensch al langer aanstipt als cruciaal voor de progressie van GenAI. Hij doet dat als bekende in het werkveld. De CEO werkte eerst als onderzoeker voor Google DeepMind, zijn mede-oprichters voor Facebook.
Inmiddels bereidt Mistral AI een beursgang voor. Het bedrijf is ‘niet te koop‘, aldus Mensch, en wil uitbreiden in het eigen Europa, Oost-Azië en de VS. Medio 2024 was het bedrijf gewaardeerd op 5,8 miljard euro met onder meer Nvidia, Cisco en Samsung als investeerders. Het is al een pionier gebleken als het om AI-innovaties gaat. Zo was Mistral er vroeg bij met het Mixture-of-Experts principe, dat een kritieke basis vormde voor DeepSeek-R1’s efficiëntie. Hiermee activeren namelijk niet alle parameters in een model bij een vraag, maar enkel de delen ervan die een zinnige output kunnen genereren op basis van de input.
Open-source: niet de toekomst, maar nu
De DeepSeek-release heeft veel losgemaakt. Wall Street sloeg even op hol omdat alle gigantische AI-uitgaven opeens minder nodig leken te zijn dan voorheen: waarom miljarden spenderen als je met een paar miljoenen een state-of-the-art model ontwikkelt? Zo simpel ligt het niet, want nog steeds is OpenAI’s o1 doorgaans in de praktijk beter. Daarbovenop zal het Stargate-project in de VS zorgen voor minder latency, nog krachtigere LLM’s en in potentie een grotere AI-voorsprong van de grote Amerikaanse techconcerns.
Toch hoeft het niet zo te zijn. Het Amerikaanse Meta is de vreemde eend in de bijt met gratis te draaien open-weights Llama-modellen, terwijl DeepSeek, Mistral, Alibaba en vele andere partijen al grofweg twee jaar hun werk delen met de open-source gemeenschap. Frappant genoeg zijn zij niet eens de spelbrekers van de gesloten AI-bedrijven elders, weet Mensch.
Tot 2020 was er namelijk vrijwel onbeperkte toegang tot de mijlpalen van AI-labs wereldwijd, stelt de Mistral-CEO. Hij wijt dit kantelpunt aan het feit dat sommige bedrijven doorhadden dat er op korte termijn geld te verdienen viel met GenAI. Eind 2022 sloeg OpenAI toe met ChatGPT, dat zeker na de release van GPT-4 begin 2023 een grote stap vooruit was op de concurrentie. Dit ondanks het feit dat de onderliggende technologie nog steeds niet naar behoren werkt, vindt Mensch. Mogelijk is er nu, begin 2025, wéér een kantelpunt: moet iedereen weer open en bloot gaan met hun AI-onderzoek?
“Het is een cyclus die we hebben gezien tussen openheid en een gesloten aard die we ook al bij software hebben gezien”, meent Mensch. Sterker nog, we zien het nog steeds: menig open-source project is de afgelopen jaren getransformeerd tot een ‘source-available’ oplossing, zoals Red Hat Enterprise Linux en als recent voorbeeld de Fluent Assertions library. Op AI-gebied acht Mensch het te vroeg om op die manier de innovatie te stremmen.
Lees ook: Lokale AI is stap dichterbij door Mistral-NeMo 12B