Hoe komen organisaties erachter waar de kwetsbaarheden in de codebase zitten van de software die ze gebruiken? Cisco zegt dat het met de nieuwe Antares-modellen extra mogelijkheden biedt om kwetsbaarheden sneller te kunnen vinden. Dit kan dankzij de keuze voor Small Language Models (SLM’s) ook nog eens op een manier die financieel aantrekkelijk is. Vanaf vandaag zijn de eerste twee modellen binnen de Antares-familie beschikbaar op Hugging Face. Een derde komt er snel aan.
Cisco is al geruime tijd aan de weg aan het timmeren als het gaat om het beveiligen van AI. Het relatief nieuwe bedrijfsonderdeel dat luistert naar de naam Foundation AI houdt zich daar onder andere mee bezig. Bij de oprichting van Foundation AI werd dan ook meteen een opensource security-model in de markt gezet. Dat noemde het toen het “Security AI Reasoning Model”. In de tussentijd heeft Cisco hier ook nog de Cisco Foundry Security Spec aan toegevoegd. Dit is een open framework waarmee je AI feitelijk in toom moet kunnen houden binnen je organisatie.
Twee grote problemen…
De Antares-modellen die Cisco vandaag aankondigt, kun je zien als een doorontwikkeling van de ambities van Foundation AI. Vergeleken met het model van vorig jaar, dat 8 miljard parameters had, zijn de nieuwe modellen een stuk kleiner. Antares-350M en Antares-1B hebben op basis van de naam respectievelijk 350 miljoen en 1 miljard parameters. Antares-3B, dat binnenkort beschikbaar komt, zou 3 miljard parameters moeten hebben. Dat zijn zonder meer SLM’s te noemen.
Als het gaat om het vinden van kwetsbaarheden in code, zijn er tenminste twee grote problemen waar security-analisten en organisaties tegenaan lopen. Het eerste probleem is dat security-analisten simpelweg overspoeld worden met code die ze niet kennen, naamgevingen die onduidelijk zijn en ga zo maar door. Repo’s zijn groot en documentatie is lastig centraal te vinden. Het tweede probleem is dat een LLM weliswaar veel kan vinden, maar erg prijzig is. Dat is niet wenselijk als je enorme hoeveelheden code moet inspecteren.
…Antares lost ze op, zegt Cisco
De Antares-modellen van Cisco lossen bovenstaande problemen op, volgens het bedrijf zelf. Het heeft de SLM’s krachtig genoeg weten te maken dat ze de kwetsbaarheden kunnen vinden. Foundation AI heeft ervoor gezorgd dat voor deze specifieke use-case een klein model kan zoeken, reflecteren, strategieën aan kan passen en zelfs kan beslissen om te stoppen met een specifieke route als het nergens heengaat, om het vervolgens op een andere manier te proberen.
Voor een toch behoorlijk complex proces als het vinden van kwetsbaarheden in enorme hoeveelheden code, op basis van heel veel input, is dus volgens Cisco geen groot model nodig. Het is er naar eigen zeggen in geslaagd om de SLM’s strategieën aan te leren die effectief zijn. Het idee is dat de Antares-modellen werken zoals een security-analist zou werken. Het model begint met een omschrijving van de kwetsbaarheid, zoekt relevante patronen in de code en gaat zo stukje bij beetje verder. Nieuwe inzichten nemen de modellen ook mee tijdens het onderzoek.
Het uiteindelijke resultaat is een lijst met bestanden die beter bekeken moeten worden. De Antares-modellen rangschikken deze lijst ook meteen. Het geeft ook aan hoe het tot de lijst met kwetsbaarheden is gekomen.
Nieuwe benchmark
Het feit dat de Antares-modellen zo klein zijn en zo’n duidelijke focus hebben, betekent dat het lastig is om de prestaties ervan te vergelijken met andere oplossingen in de benchmarks die er tot nu toe waren. De Antares-modellen doen namelijk maar één ding: met een beperkte context zoeken naar bestanden die een kwetsbaarheid kunnen bevatten. Dat is het. Ze houden zich niet bezig met het genereren van patches, om een voorbeeld te noemen.
Om toch de prestaties van de Antares-modellen af te kunnen zetten tegen die van andere modellen, moest er dus een nieuwe benchmark komen. Die heet de Vulnerability Localization Benchmark. De resultaten zie je hieronder. Gek genoeg staat het Antares-3B-model op het lijntje van modellen met 2 miljard parameters, wat gezien de naam niet de verwachting is. Wellicht is dat een foutje.
Antares is extra laag, maar ook open-weight
Op meerdere plekken in de officiële blog die Cisco Foundation AI publiceert bij de aankondiging van de Antares-modellen geeft het aan dat Antares in principe geen vervanging is van bestaande tooling. Alle andere tools die gebruikt worden om te controleren of software veilig is, blijven hun rol spelen. Antares moet ervoor zorgen dat op basis van de informatie die beschikbaar is over kwetsbaarheden, bijvoorbeeld vanuit Common Weakness Enumeration (CWE)-lijsten, snel en gedegen inzicht verkregen kan worden.
Het feit dat de Antares-modellen open-weight zijn, past in hoe Cisco met Foundation AI de markt opgaat. Foundation AI is eerst en vooral een R&D-onderdeel van het bedrijf. Het moet zich vooral bezighouden met het onderzoeken en ontwikkelen van baanbrekende zaken rondom AI. Vanuit het perspectief van cybersecurity wil Cisco dit naar eigen zeggen doen voor de hele security community, niet alleen voor zichzelf. Vandaar dat Antares-modellen open-weight zijn. Je kunt het vergelijken met de al eerder aangehaalde Foundry Security Spec. Dat is enkele maanden geleden opensource gemaakt.
Bredere benadering klinkt goed
Uiteindelijk wordt de markt als geheel beter van wat Cisco probeert te doen met deze nieuwe modellen en meer in het algemeen met de opensource-benadering rondom AI. Natuurlijk straalt het goed af op Cisco dat het dingen voor niets lijkt te doen voor de community. Daar zal het ongetwijfeld ooit ergens voordeel uit kunnen halen. Maar onderaan de streep is het ontwikkelen van een gedeelde basis voor AI, in dit geval met name hoe AI in te zetten om organisaties beter te beveiligen, gewoon een goed idee.
Als de Antares-modellen doen wat ze beloven en ze weten de kosten ook daadwerkelijk laag te houden, dan voegen ze sowieso iets toe aan de markt van AI-modellen. Het is alleen wel een enorme niche waarin deze modellen opereren, getuige ook de benchmark die er speciaal voor opgezet moest worden. Dat is natuurlijk logisch voor SLM’s. Die zijn doorgaans getraind op een zeer specifieke taak. Maar dit soort SLM’s moeten uiteindelijk wel onderdeel zijn van een groter geheel. Anders wordt het op een andere manier onoverzichtelijk voor security-analisten. Dat is ook prima mogelijk overigens. Het belangrijkste nu is dat de nieuwe modellen er zijn en mensen ermee aan de slag kunnen om te kijken of ze ook echt zo goed zijn als Cisco zegt dat ze zijn.
Lees ook: Post-Mythos security is ook nog heel erg pre-Mythos security