Opnieuw is destillatie, het trainen van AI-modellen op de outputs van andere modellen, breed in het nieuws. Anthropic stelt dat Alibaba de grootste ‘aanval’ ooit heeft gepleegd in deze categorie. 28,8 miljoen gesprekken via 25.000 ‘frauduleuze’ accounts zouden massaal de AI-outputs van Claude hebben doorgesijpeld naar de Chinese techreus. Waarom is destillatie zo effectief? En is het alarmisme van Anthropic terecht?
Een beknopte voorgeschiedenis: destillatie, ook wel compressie, is al twintig jaar in principe bekend. ML-expert Rich Caruana en zijn team ontdekten in 2006 dat een klein classificatiemodel kon leren van de datasetlabels die een groter model had geproduceerd. Grondleggers van moderne AI zoals Geoffrey Hinton kwamen in 2015 vervolgens met het idee van een ’teacher’- en ‘student’-model, waarbij diepere patronen in het ‘denken’ van dit grotere model te kopiëren waren door de student in kwestie. De effectiviteit hiervan bewees zich later: DistilBERT, een taalmodel dat Hugging Face-onderzoekers op basis van Google’s BERT hadden gebouwd, was 40 procent kleiner dan diens grote broertje maar behaalde 97 procent van de prestaties ervan – én het was 60 procent sneller.
Moderne destillatie
De positieve karakterisering van destillatie hield lang stand. Sterker nog, in oktober 2024 moedigde OpenAI developers aan om de leidende LLM’s van het AI-lab te destilleren via de API. De blog leest als een bizar alternatief universum anno 2026. Het was namelijk juist OpenAI dat, samen met Anthropic, het ‘gevaar’ van modeldestillatie heeft geponeerd.
Een paar maanden later, in januari 2025, bleek het succes van destillatie andermaal. DeepSeek-R1, een ‘redenerende’ versie van het Chinese DeepSeek-V3, vertoonde gedrag dat sterk op dat van OpenAI’s destijds baanbrekende o1-model leek. Het leidde tot immense twijfels onder investeerders: wat als geavanceerde AI gemeengoed wordt, en spotgoedkoop?
DeepSeek-R1 zelf bleek daarnaast uiterst nuttig vóór destillatie. Piepkleine AI-modellen, soms slechts 1,5 miljard parameters groot, konden opeens verbluffend goed presteren voor minimale rekenkracht. Daar waar ooit GPT-2, ook met 1,5 miljard parameters maar uitgebracht in 2019, niet meer dan een geinig experiment was, was dit formaat plotseling effectief geworden voor echt werk.
Anti-destillatie
De ommekeer had zich voltrokken. Om de gigantische AI-investeringen rendabel te maken, moeten AI-labs als Anthropic en OpenAI een zekere ‘moat’ opbouwen. Ze moeten producten kunnen bieden die puur door het vereiste kapitaal niet na te bouwen zijn. Maar de Chinese AI-spelers, van DeepSeek tot Moonshot AI, MiniMax en nu Alibaba, werken die poging tegen.
In februari van dit jaar stelde Anthropic dat drie Chinese labs met 24.000 accounts via 16 miljoen prompts Claude bestookten met destillatiepogingen. Nu volgt de claim van datzelfde Anthropic dat Alibaba een ‘adversarial distillation campaign’ met een ongeëvenaarde schaal heeft uitgevoerd.
Dat wil niet zeggen dat de campagne per se succesvol is. De meest recente LLM’s hebben detectiemechanismes tegen destillatie. Maar in plaats van een directe blokkade of een accountban, helpt Claude zijn maker op heimelijke wijze. Fable 5 verhult bij een destillatiepoging hoe het ‘echt’ tot een antwoord komt en is expres onbehulpzaam. Dit is bovenop het feit dat Anthropic, OpenAI en Google hun redeneerstappen niet meer volledig weergeven; deze tokens zijn te waardevolle informatie en nu dus een ‘black box’.
Het nut van destillatie houdt stand
Niet elk AI-model wordt op dezelfde wijze geconstrueerd. Toch is het concept van destillatie zeer aantrekkelijk voor de AI-modelmakers. Na het bouwen van Mythos en Fable kan Anthropic deze enorme LLM’s reduceren tot een Opus, Sonnet of Haiku. Zo biedt het meer vaardigheden dan voorheen met dezelfde rekenkracht als voorheen.
Tevens is destillatie uiterst nuttig voor open-source AI. Een schaal van LLM’s die te draaien zijn op 8 GPU’s, 2 GPU’s, 1 GPU of binnen de RAM van een reguliere pc is voor de hand liggend voor de praktische, brede inzet van AI. De meest complexe taken blijven geschikt voor de grootste modellen, maar deze kunnen waar nodig delegeren naar kleinere. Dit wordt vrijwel zeker het paradigma waarbinnen AI-adoptie volwassen wordt.
Conclusie: een instabiele patstelling
De Amerikaanse AI-spelers zien dat hun marges bedreigd zullen blijven door open-source concurrenten. Destillatie, zelfs als het moeilijker gaat dan eerder en daarmee rommeliger verloopt, is een blijvend fenomeen. De Chinese bedrijven overtreden de gebruikersvoorwaarden van de AI-API’s door te destilleren en gebruiken hiervoor accounts die ‘frauduleus’ zijn, of op zijn minst nep. Maar het is niet meer dan dat. “Adversarial distillation” is, in tegenstelling tot veel cybergevaren, enkel een probleem voor de AI-vendoren op de korte termijn.
Op de langere termijn kan destillatie ervoor zorgen dat AI-labs nooit het geld terugverdienen dat ze nu met de miljarden dollars investeren. Dat kan zeer negatieve gevolgen hebben voor de wereldeconomie, aangezien de welvaartsgroei van met name de VS geconcentreerd is tot de grote techspelers die de AI-uitbouw realiseren. Als die uitbouw nooit rendabel wordt, kan de veelbesproken AI-bubbel barsten.
Dat wil niet zeggen dat we per se al te veel sympathie moeten opbouwen voor Anthropic, OpenAI en Google. Zij hebben, zoals keer op keer geconstateerd, zonder pardon het volledige internet opgeslokt voor hun eigen gewin. Dat gaat niet zonder slag of stoot; er lopen nog steeds rechtszaken om te bepalen of deze massale AI-training wel juridisch verdedigbare producten heeft opgeleverd.
Desondanks is de geest uit de fles, en AI-modellen zijn niet meer weg te denken. Het frappante is echter dat juist die gedestilleerde modellen gegarandeerd rond blijven hangen, zelfs als het ondenkbare gebeurt en geavanceerde AI stil komt te liggen. Als de grote drie Amerikaanse AI-modelbouwers vast blijven haken tot een bepaald LLM-prestatieniveau, blijven de Chinese concurrenten terrein winnen. Zolang dat met open-weight modellen gebeurt die destillatie benutten, garandeert het dat AI als technologie bereikbaar blijft.
Lees ook: Claude Fable 5 en Mythos 5 geblokkeerd: is AI nu te gevaarlijk?