Het open-source project llm-d heeft versie 1.0 bereikt. De release richt zich op het dagelijks beheer van AI-inference in productie: multi-tenancy, updates zonder downtime en serving die rekening houdt met agents. Het project valt inmiddels onder de CNCF en telt meer dan 500 contributors.
llm-d werd in 2025 opgericht door Red Hat, IBM, Google Cloud, CoreWeave en Nvidia. Het is een Kubernetes-native framework voor gedistribueerde inference van LLM’s. Bij de start positioneerde Red Hat het project als manier om vLLM verder te laten schalen dan één server. llm-d is zelf geen modelserver. Het verdeelt verzoeken over vLLM- of SGLang-instances in een GPU-cluster. Sinds dit voorjaar wordt het project beheerd door de Cloud Native Computing Foundation.
Een aantal functies zat al langer in llm-d, zoals prefix-cache- en load-aware routing, KV-cache-offloading, prefill/decode-disaggregatie en wide expert parallelism. Met versie 1.0 verschuift de nadruk naar de zogenoemde Day 2-operations, het werk dat begint zodra inference eenmaal in productie draait.
Wat is er nieuw?
De eerste vernieuwing is multi-tenant quality of service. Flow control op basis van prioriteit en fairness voorkomt dat latency-gevoelige verzoeken en pieken in agentverkeer elkaar verdringen op dezelfde infrastructuur. Daarnaast is er high availability voor de router, met een hot standby en rolling updates. Prefill- en decode-replicas worden voortaan beheerd als één logische eenheid, die ook in één keer wordt geüpgraded.
Ook komt er een stabiele v1-configuratie-API. En voor agents is er sessie-aware routing: gesprekken met meerdere beurten blijven dicht bij hun gecachete context. Ondersteuning voor de Responses API moet ervoor zorgen dat context minder vaak opnieuw berekend hoeft te worden.
Volgens CNCF-CTO Chris Aniszczyk wordt AI-inference “snel een kernworkload binnen cloud native”. Hij noemt de release “een belangrijke stap” om open-source inference operationeel volwassener te maken.
De projectleden noemen twee voorbeelden. IBM Research gebruikte llm-d met open modellen voor onderzoek naar hardware voor quantum error correction. Dat was 11,5 keer goedkoper dan een configuratie die volledig uit propriëtaire onderdelen bestond. De prefix-cache hit rate kwam uit op ongeveer 98 procent, tegen zo’n 0,11 dollar per miljoen tokens.
In een benchmark draaide het mixture-of-experts-model GLM 5.2, met zo’n 753 miljard parameters, op veelgebruikte NVIDIA-GPU’s. Op het hoogtepunt kwamen er meer dan 6,6 miljoen output-tokens per minuut uit, voor maximaal 3.000 coding agents tegelijk en zonder preemptions. Tegen de huidige huurprijzen in de cloud was dat per token 5 tot 10 keer goedkoper dan vergelijkbare commerciële API’s.