Tijdens de allereerste LlamaCon heeft Meta verschillende aankondigingen gedaan en nieuwe tools gepresenteerd om de Llama-modellen toegankelijker te maken voor ontwikkelaars. De belangrijkste aankondiging was de introductie van de Llama API, die nu als een beperkte gratis preview beschikbaar is voor ontwikkelaars.
Met de Llama API kunnen ontwikkelaars verschillende Llama-modellen uitproberen, waaronder de recent gelanceerde Llama 4 Scout en Llama 4 Maverick. De API biedt eenvoudige creatie van API-sleutels en lichte TypeScript- en Python-SDK’s. Om de overstap van toepassingen die op OpenAI zijn gebaseerd gemakkelijker te maken, is de Llama API compatibel met de OpenAI SDK.
Aanzienlijke versnelling dankzij samenwerkingen
Meta werkt samen met Cerebras en Groq om hogere inference-snelheden te realiseren voor de Llama API. Cerebras stelt dat hun Llama 4-model binnen de API tot achttien keer sneller tokens kan genereren dan traditionele GPU-oplossingen van onder andere NVIDIA. Volgens benchmarks van de site Artificial Analysis behaalde de oplossing van Cerebras meer dan 2.600 tokens per seconde voor Llama 4 Scout, terwijl ChatGPT rond de 130 tokens per seconde bleef en DeepSeek ongeveer 25 tokens per seconde haalde.
Andrew Feldman, CEO en medeoprichter van Cerebras, gaf aan dat Cerebras trots is om de Llama API de snelste inference-API ter wereld te maken. Volgens hem hebben ontwikkelaars die real-time en agent-based applicaties bouwen vooral snelheid nodig. Dankzij Cerebras kunnen zij AI-systemen ontwikkelen die voor traditionele GPU-gebaseerde oplossingen buiten bereik blijven.
Ontwikkelaars die geïnteresseerd zijn in deze extreem snelle Llama 4-inference, kunnen binnen de Llama API Cerebras selecteren als modeloptie. Llama 4 Scout is ook beschikbaar via Groq, maar draait daar op ongeveer 460 tokens per seconde — zo’n zes keer trager dan bij Cerebras, maar nog steeds vier keer sneller dan bij andere GPU-gebaseerde oplossingen.
Llama Defenders Program
Meta presenteerde tijdens LlamaCon ook nieuwe Llama Protection Tools en kondigde het Llama Defenders Program aan, waarmee geselecteerde partners toegang krijgen tot AI-gestuurde tools waarmee ze de beveiliging van hun systemen kunnen evalueren en zichzelf kunnen beschermen tegen potentiële bedreigingen.