Google introduceert Gemini 4 Carbon, een nieuw frontier-model dat hoog scoort op benchmarks voor het vinden, exploiteren en patchen van kwetsbaarheden. Het model gaat eerst naar een selecte groep cyberexperts. Ontwikkelaars en bedrijven moeten nog even wachten.
Carbon volgt slechts twee weken na Gemini 4 Argon. Op versie 5.0 van de Artificial Analysis Intelligence Index staat Carbon met een score van 59 bovenaan. Op WebDev Arena stijgt het model 89 Elo-punten, goed voor een vierde plek met 1768 punten. Google mikt vooral op langdurige agentic workflows. Interne teams zagen Carbon dagenlang doorwerken aan complexe taken, zoals het opsporen en patchen van subtiele bugs in grote codebases en low-level systemen.
Vinden, valideren, verhelpen
Het zwaartepunt ligt bij security. Op SEC-bench Pro, dat meet hoe goed een model echte kwetsbaarheden vindt, haalt Carbon 88,2 procent. Op exploitbenchmark ExploitGym is dat 54,8 procent, op Collinears CWE-bench voor patches 71,0 procent. De externe tests zijn wel zonder guardrails uitgevoerd.
Ook intern zijn de cijfers fors. Carbon genereert volgens Google ruim twee keer zo vaak succesvol veilige code als Argon. Het Chrome-team rapporteerde dat Carbon meer dan tien keer beter presteerde dan een groot frontier-model van een ander lab bij het maken van hoogwaardige patches. Welk lab dat is, vermeldt Google niet. Daarnaast ziet Wiz, het cloudsecurityplatform van Google, Carbon bovenaan staan op benchmarks voor web penetration testing.
Minder valsspelen, meer eerlijkheid
Google werkte daarnaast aan alignment. Op Terminal-Bench 4.0 daalde het aantal geslaagde valspogingen naar 0,0 procent, met nog maar 0,4 procent pogingen. In live codeeromgevingen namen ernstige misalignment-waarschuwingen met bijna 80 procent af. Onderbouwde claims doet Carbon vaker. Het aantal onondersteunde beweringen halveert ongeveer ten opzichte van Argon. Overreach daalde met 26 procent, under-service met 29 procent. En op de Indirect Prompt Injection-benchmark van Gray Swan slaagde geen enkele aanval, tegenover 0,7 procent bij Argon.
Google neemt deel aan het vrijwillige proces van de Amerikaanse overheid om modellen vóór release te testen. Deze week krijgt een deel van de cyberverdedigers toegang, waarna via het Fairwind Program geleidelijk meer vertrouwde partners volgen. Pas daarna komt Carbon naar ontwikkelaars, bedrijven en consumenten.
De introductieprijs is gelijk aan die van Argon: 2 dollar per miljoen input-tokens en 10 dollar per miljoen output-tokens. Cached input-tokens krijgen 95 procent korting.