Tijdens Red Hat Summit is “unlock what’s next” het overkoepelende thema. Daar kunnen uiteraard zaken als virtualisatie en hybrid cloud aan gekoppeld worden, maar zeker ook AI. Op artificial intelligence-vlak drukt het open source-bedrijf steeds verder het gaspedaal in en dat resulteert nu in Red Hat AI 3.4. De nieuwe versie moet de kloof dichten tussen experimenten met AI en het op schaal inzetten in productie.
Red Hat-CEO Matt Hicks stelt tijdens de keynote dat AI het grootste technologische omslagpunt ooit is. Hij ziet het als een grotere verandering dan open source, Linux en de public cloud. Dit vanwege het feit dat AI de traditionele IT overstijgt en de gehele business raakt. Bij voorgaande disruptieve technologische vooruitgangen was het met name een IT-ding.
Steeds als een dergelijke technologische verandering zich voordoet, laait de discussie op of bedrijven alles opnieuw moeten bouwen om competitief te blijven. Hicks is daar duidelijk over: dat is niet de realiteit. “Bij elk voorgaand keerpunt, ongeacht de wens of de energie die is gestoken in de poging om alles opnieuw op te bouwen, is er voor enterprises altijd een evenwicht overgebleven.” Dat evenwicht is waar bedrijven op uitkomen, wat er ook wordt geprobeerd.
Red Hat wil met zijn platforms precies dat evenwicht faciliteren. Bedrijven moeten AI maximaal kunnen benutten, terwijl wat hun bedrijf vandaag draaiende houdt gewoon blijft functioneren. Daar moet Red Hat AI 3.4 een troef in zijn, door zowel ontwikkelaars die modellen bouwen als infrastructuurbeheerders die ze draaien te ondersteunen, twee groepen die in de praktijk nog regelmatig langs elkaar heen werken.
Model-as-a-Service als centraal element
Binnen de release neemt Model-as-a-Service (MaaS) een belangrijke rol in. Via de Red Hat AI Gateway krijgen platformbeheerders een centrale, beveiligde interface om modeltoegang te regelen, gebruik bij te houden en beleidsregels af te dwingen. Ontwikkelaars benaderen modellen via standaard OpenAI-compatibele API’s, zodat ze niet voor elke omgeving een andere aanpak nodig hebben. Unified governance geldt daarmee voor zowel interne als externe modellen.
Onder de motorkap drijft vLLM de inferencing aan, waar Red Hat veel expertise in heeft vanwege het eerdere aantrekken van Neural Magic. Dit wordt aangevuld met het gedistribueerde inferencing framework llm-d voor schaalbare inzet in Kubernetes-omgevingen. Nieuw in deze release is ook de algemene beschikbaarheid van speculative decoding. Volgens Red Hat verhoogt deze techniek de antwoordsnelheid met een factor twee tot drie, bij minimale kwaliteitsafname. Daarmee dalen ook de kosten per interactie. Bovendien ondersteunt vLLM nu CPU-gebaseerde infrastructuur, wat een optie biedt voor kleinere taalmodellen.
Tip: Chris Wright: AI heeft model, accelerator en cloudflexibiliteit nodig
Agents beheren van ontwikkeling tot productie
AI-agents zijn de drijvende kracht achter de groeiende vraag naar inferencingcapaciteit. Red Hat speelt daarop in met een nieuwe AgentOps-toolkit die agents beheert door de hele levenscyclus. Daarin zitten onder meer geïntegreerde tracing van LLM-calls, tool calls en reasoningstappen, plus cryptografisch identiteitsbeheer via SPIFFE/SPIRE. Dat laatste vervangt statische, hardgecodeerde sleutels door kortlevende tokens en koppelt elke actie aan een geverifieerde identiteit.
Voor het beheer van tools door agents introduceert Red Hat een MCP-servercatalogus en bijbehorende MCP-gateway. Die bieden beheerde toegang tot MCP-gebaseerde tools bij runtime. De nieuwe tracing-mogelijkheden zijn gebouwd op MLflow, dat met versie 3.4 algemeen beschikbaar wordt als kernonderdeel van het platform. MLflow verzorgt ook experiment tracking en artifact management voor zowel generatieve als voorspellende AI-toepassingen.
Naast tracing brengt Red Hat een Evaluation Hub. Dit is een framework-agnostische control plane voor het evalueren van LLM’s, AI-applicaties en agents op kwaliteit, nauwkeurigheid en risico. Daarmee vervangt het gefragmenteerde testmethoden door één geïntegreerde aanpak.
Geautomatiseerde veiligheidstest en promptbeheer
Voor veiligheidsvalidatie integreert Red Hat geautomatiseerde red teaming rechtstreeks in de ontwikkelcyclus. De technologie achter deze functie komt van Chatterbox Labs, dat Red Hat eerder overnam. Het platform gebruikt Garak om modellen en agentic systemen te scannen op risico’s als jailbreaks, prompt injections en bias. Voor runtime-beveiliging is er aanvullend Nvidia NeMo Guardrails.
Een ander nieuw element is Prompt Lab en Registry. Dit is een centrale opslagplaats voor prompts als volwaardige data-assets. Zowel ontwikkelaars als beheerders hebben daarmee één bron van waarheid voor de inputs die modellen en agents aansturen.
Uitbreiding samenwerking met Nvidia
Red Hat verdiept ook zijn samenwerking met Nvidia. De Red Hat AI Factory with Nvidia, eerder dit jaar aangekondigd als geïntegreerde oplossing die Red Hat AI Enterprise combineert met Nvidia AI Enterprise, krijgt nieuwe mogelijkheden. Hierbij springt de aansluiting bij OpenShell in het oog, een open source-project dat Nvidia oprichtte om agents een sandboxed runtime te geven. Red Hat is als bijdrager aan dit project betrokken bij het standaardiseren van agentbeheer in hybride cloudomgevingen.
Daarnaast is Red Hat Enterprise Linux for Nvidia 26.01 nu algemeen beschikbaar, met day-zero ondersteuning voor Nvidia Blackwell. Beide bedrijven werken al aan ondersteuning voor de aankomende Nvidia Vera Rubin-architectuur. Ook Nvidia Run:ai, nu onderdeel van Nvidia AI Enterprise, is beschikbaar voor klanten van de AI Factory.
Voor het versnellen van implementatie bieden Red Hat en Nvidia gezamenlijk gevalideerde blueprints en AI quickstarts aan. Die richten zich op use cases als Model-as-a-Service, Enterprise RAG & RAFT en semantisch zoeken op bedrijfsdata.
“Het agentic tijdperk vertegenwoordigt een evolutie van ons platform: van het draaien van traditionele applicaties naar het aandrijven van intelligente, autonome systemen”, concludeert Joe Fernandes, vice president en general manager van de AI Business Unit bij Red Hat. “Wij definiëren de open standaard voor de wijze waarop de enterprise AI toepast.”
Red Hat AI 3.4 en de bijgewerkte Red Hat AI Factory with Nvidia zijn later deze maand beschikbaar.
Tip: Red Hat legt fundament voor AI-inferencing: Server en llm-d project