Alles wat er is te vinden overtag: vLLM.
llm-d 1.0 maakt gedistribueerde AI-inference klaar voor productie
Het open-source project llm-d heeft versie 1.0 bereikt. De release richt zich op het dagelijks beheer van AI-...
Tag: vLLM
Tijdlijn
Red Hat AI 3.5 richt zich op governance en gedeelde GPU’s
Red Hat AI 3.5 draait om veiligheidsverificatie vooraf, multi-tenancy op gedeelde GPU-infrastructuur en obser...
Topartikel
Red Hat ontsluit de toekomst met Model-as-a-Service en AgentOps
Tijdens Red Hat Summit is "unlock what's next" het overkoepelende thema. Daar kunnen uiteraard zaken als virt...
llm-d sluit zich aan bij CNCF
llm-d is officieel opgenomen als CNCF Sandbox-project. Daarmee staat het project onder beheer van de Linux Fo...
Red Hat lanceert AI Enterprise voor hybride AI-deployments
Red Hat introduceert Red Hat AI Enterprise, een geïntegreerd platform voor het implementeren en beheren van ...
Red Hat OpenShift 4.20: AI, post-quantum en bredere VM-support
Red Hat heeft versie 4.20 van OpenShift uitgebracht. De oplossing krijgt nieuwe AI-tooling, post-quantum encr...
Topartikel
Red Hat legt fundament voor AI-inferencing: Server en llm-d project
Op de jaarlijkse Red Hat Summit gaat het dit jaar veel over AI-inferencing. Het open source-bedrijf ziet een ...
Microsoft breidt AKS uit met RAG-functionaliteit en vLLM-ondersteuning
Microsoft kondigt tijdens KubeCon aan dat het Retrieval Augmented Generation (RAG) ondersteunt in KAITO op Az...