Red Hat en Nvidia breiden hun samenwerking rond Red Hat AI Factory with Nvidia uit. Ze werken samen aan de OpenShell Reference Architecture voor beter beveiligde AI-agents, presenteren een gezamenlijk referentieontwerp voor inference en beloven Day 0-ondersteuning voor Nvidia Vera Rubin.
Volgens John Fanelli, VP Enterprise Software bij Nvidia, hoort een agent niet zelf zijn grenzen te bewaken. “Die controles horen buiten de agent, in de runtime en de infrastructuur daaronder”, zegt hij.
Daarom werken beide bedrijven aan de OpenShell Reference Architecture. OpenShell is een open-source sandbox-runtime voor agents. Red Hat en Nvidia horen bij de belangrijkste contributors.
Hoe werkt dat in de praktijk? Elke agent draait geïsoleerd in een eigen sandbox, zonder directe netwerktoegang. Een agent krijgt alleen toegang als het beleid dat expliciet toestaat (deny-by-default). Credentials worden buiten de agent beheerd. Daarnaast controleert een policy prover of voorgestelde permissies binnen de grenzen blijven die de organisatie heeft ingesteld. Red Hat wil OpenShell uiteindelijk als native functionaliteit in Red Hat AI en AI Factory integreren.
Inference onder controle
Agents zorgen voor veel inference-verkeer. Daarom presenteren de bedrijven een gezamenlijk referentieontwerp, gebaseerd op het Nvidia Inference Hub-ontwerp. Het combineert MaaS-toegangsbeheer en een AI Gateway met vLLM, llm-d, Nvidia Dynamo, NIM-microservices en GPU-orchestratie. Organisaties krijgen self-service modeldiscovery, fijnmazig toegangsbeleid, rate limiting en het bijhouden van entitlements op basis van abonnementen. Toegangsbeheer staat los van de uitvoering, zodat quotabeheer en kostentoerekening mogelijk zijn.
Ook de nieuwste Nemotron-modellen, waaronder Nemotron 3.5 Super VL, worden volledig ondersteund in vLLM en AI Factory. Met de LLM compressor van Red Hat zijn FP8- en DSpark speculative decoding-checkpoints voor dat model gemaakt. Volgens de bedrijven verlaagt dat de inference-latency flink, terwijl de nauwkeurigheid behouden blijft.
Vera Rubin en Vera-CPU’s
Op het gebied van hardware belooft Red Hat Day 0-ondersteuning voor komende Nvidia-architecturen, waaronder Vera Rubin. Red Hat Enterprise Linux for Nvidia ondersteunt nu ook Vera-CPU’s. Nvidia positioneert Vera als dé CPU voor agents, met volgens het bedrijf twee keer snellere agentic CPU-prestaties. Agentic workloads vragen om continue reasoning-loops, tool-orchestratie en sandbox-uitvoering. Vera moet daarvoor snellere sandbox-prestaties en meer geheugenbandbreedte bieden dan traditionele processors.
De gezamenlijke use cases, referentieontwerpen en agentic-mogelijkheden zijn beschikbaar via partners als Cisco, Dell Technologies en Lenovo.