Aan ambitie geen gebrek bij Red Hat. Het bedrijf biedt een reeks tools voor modeltraining, Red Hat Enterprise Linux AI en Red Hat OpenShift AI, allemaal om open enterprise AI mogelijk te maken. In gesprek met Jeff Lo, Vice President Portfolio Marketing & Learning, gaan we dieper in op de mogelijkheden.
Open enterprise AI is wat Red Hat betreft dé manier om als bedrijf je artificial intelligence-strategie op de juiste manier in te richten. Bedrijven zoeken precies nu naar manieren om de business te verbeteren met AI. Toch is AI niet een volledig op zichzelf staand event, stelt Lo. We moeten het eerder zien als een evolutie van eerdere innovaties, zoals de cloud. Daar heeft een open benadering zich bewezen. Dat kan grotendeels doorgetrokken worden naar AI. Het betekent open-source, aanpasbaarheid voor iedere infrastructuuromgeving, een sterk ecosysteem en de mogelijkheid om met verschillende systemen te integreren.
Open-source moet voor modellen vanzelfsprekend zijn
Red Hat kan bij de AI-boom vertrouwen op zijn ervaring, die teruggaat tot de jaren ’90, toen het met een Linux-distributie naam en faam maakte. Het ging de strijd aan met propriëtaire software om open source naar het datacenter te brengen. Toen al werd duidelijk dat Red Hat een open benadering voor het maken van software als de gewenste werkwijze ziet. Met alle nieuwe techgolven – cloud, edge, hybrid cloud – is deze open source-filosofie overeind gebleven. Nu gaan we dan ook op weg naar open enterprise AI.
We moeten hierbij de kanttekening maken dat volledig open in het AI-tijdperk makkelijker is gezegd dan gedaan. Sommige modellen presenteren zich in de basis als open. De werkelijkheid laat echter anders zien. Ze zijn weliswaar gratis te downloaden, maar het is vervolgens onmogelijk om de herkomst van de trainingsdata te achterhalen en om de prestaties te tweaken. “We willen open source-gelicentieerde modellen even gebruikelijk maken als software. Dan is alles open en beschikbaar, en werken communities er samen aan,” aldus Lo.
Welke modellen werken?
Zoals we dit artikel ook openen heeft Red Hat stevige capaciteiten ter beschikking om die open enterprise AI mogelijk te maken. Voor bedrijven is het echter niet zomaar duidelijk hoe ze AI precies moeten aanvliegen. Dit heeft te maken met verschillende uitdagingen die Lo waarneemt. Ten eerste weten bedrijven vaak niet welk model ze moeten kiezen. Aanvankelijk leek een LLM de logische keuze vanwege het capabele karakter dat ze toonden. Tegelijkertijd lijkt het implementeren van tientallen of honderden modellen ook een interessante optie, want dan is er een geschikt AI-model beschikbaar voor elk specifiek scenario. Die laatste keuze krijgt eigenlijk de voorkeur in eerdere IT-scenario’s: van softwareoplossingen, databases en clouds omarmden grote bedrijven meerdere opties. Dit vanwege uiteenlopende reden, waaronder kosten, beheersbaarheid, flexibiliteit en data privacy.
Naast de last van het vinden van de juiste modellen, worden bedrijven geconfronteerd met het financiële plaatje. Hoe ga je ervoor zorgen dat de kosten beheersbaar blijven? Een krachtig model realiseer je met veel data, training, verfijning en optimalisering. Allemaal onderdelen waarvoor resources en manuren nodig zijn. Je kunt dan proberen te begroten hoeveel een enkel model gaat kosten, maar blijf je binnen dat budget? En staat die investering in verhouding tot de efficiëntiewinst die het model oplevert? Een manier om deze obstakels weg te nemen is door te kiezen voor kleinere modellen.
Als derde is er nog een finale afweging bij het invullen van de AI-strategie: het vinden van eenvoudige tools die breed in de organisatie te gebruiken zijn. Leveranciers van data- en AI-platformen zoeken voortdurend manieren om op die wens in te spelen. Deze wens komt voort uit het feit dat bedrijven simpelweg over onvoldoende data scientists beschikken om genoeg modellen te ontwikkelen en trainen en data te cureren. Een mogelijke oplossing is dan het leveren van simpele tools die de business users kunnen gebruiken. Zij beschikken bovendien over kennis van hun domein, waardoor ze weten welke data belangrijk is voor het model.
AI in bedrijfsvoering
Om deze uitdagingen aan te pakken, heeft Red Hat compleet nieuwe technologie geïntroduceerd en het bestaande aanbod uitgebreid. Dat eerste is het geval bij InstructLab, een door Red Hat geïnitieerd project dat in mei het levenslicht zag. Het doel? Krachtige modellen met een kleinere voetafdruk in de handen brengen van meer medewerkers. Zij werken binnen InstructLab samen aan het trainen van een model. Belangrijk bij InstructLab is dat het een bedrijf de eigen data laat gebruiken en het model in de eigen private omgeving laat draaien. Een garantie voor veiligheid en controle over de data. Dit alles op een dermate eenvoudige manier dat je voor het trainen van modellen geen jarenlange scholing als data scientist nodig hebt. Uit ervaring met een eerdere korte demo kunnen we ook stellen dat de omgeving vrij eenvoudig werkt.
Tip: Wat is het nieuwe AI-project Red Hat InstructLab?
De kleinere modellen die met InstructLab zijn gebouwd, kunnen ervoor zorgen dat de bedrijfsvoering efficiënter wordt, maar er is ook vraag naar off-the-shelf LLM’s. Hiervoor heeft Red Hat aangeklopt bij moederorganisatie IBM. Van oudsher worden de mainframes van IBM veel gebruikt voor AI-workloads, wat er mede toe heeft geleid dat de onderzoeksafdeling veel onderzoek doet naar AI. Hieruit ontstond de Granite-familie van LLM’s. Inmiddels biedt Red Hat Granite volop aan volgens de open source-filosofie. Dat wil zeggen, inzicht in waar de data vandaan komt, hoe het model gebouwd is en een open licentiestructuur. Via Hugging Face en GitHub zijn deze off-the-shelf modellen beschikbaar.
De kern: RHEL, OpenShift en Ansible
Red Hat ondersteunt de infrastructuur van bedrijven eigenlijk standaard met drie kernproducten: RHEL (Linux), OpenShift (Kubernetes/containers) en Ansible (automation). Deze drie producten blijven ook in het AI-verhaal een eenheid vormen. Red Hat ziet namelijk AI als een applicatie die je grotendeels hetzelfde moet behandelen als software en waarvoor de principes nagenoeg gelijk zijn. Met andere woorden, draai een model waar je wil, schaal op en af wanneer gewenst en draai workloads van derden.
Lo ziet RHEL AI hierin als de makkelijkste opstap richting het starten met generatieve AI. De speciale RHEL-versie werkt met de Granite-LLM’s en InstructLab, door deze tools middels een image op een server te draaien. Op die manier is gebruik te maken van de bedrijfsdata die zich in het datacenter of de cloud bevindt. RHEL AI werkt optimaal door samenwerkingen met Nvidia, Intel en AMD. Ook aan de serverkant zijn er opties op maat. De grote drie – Dell, HPE en Lenovo – genieten ondersteuning.
Wil je AI-applicaties deployen en schalen, dan komt al snel OpenShift AI in beeld. OpenShift AI komt met RHEL AI, waardoor het makkelijk is AI-workloads te deployen in hybride- en multicloudomgevingen. Er zijn ook opties voor het beheren van de gecontaineriseerde workloads. Daarnaast komt het met een MLOps-platform waarin opties voor modelbeheer en automatisering te vinden zijn. Denk hierbij aan componenten voor modelontwikkeling, monitoring en geautomatiseerde training.
Om de infrastructuur echt af te maken voor AI, is wat Red Hat betreft het Ansible Automation Platform nog cruciaal als consistente basis voor automation en samenwerking in een organisatie. Naarmate het aantal AI-applicaties in de infrastructuur groeit, neemt ook het aantal gegenereerde events en inzichten toe. Wil je daarop blijven reageren, dan is enterprise-wide automation haast onmisbaar. Door playbooks te schrijven met Ansible Automation Platform, kunnen de juiste acties automatisch in gang gezet worden.
Tip: Event-Driven Ansible gaat nieuw automatiseringstijdperk in gang zetten
Op weg naar brede adoptie
Voorafgaand aan ons gesprek met Lo woonden we ook een presentatie bij van het Amerikaanse kinderziekenhuis Boston Children’s Hospital. De presentatie van Dr. Rudolph Pienaar, Technical Director, Fetal and Neuroimaging and Development Science Centre, maakte goed duidelijk hoe open AI toepasbaar is. De radiologieafdeling van het ziekenhuis maakt hersenscans van jonge patiënten. Het kan al een uitdaging op zich zijn om goede röntgenfoto’s te krijgen van kinderen, zeker bij baby’s waarvan de bewegingen onvoorspelbaar zijn. Doktoren moeten echter een stil beeld hebben om de allerbeste diagnose te kunnen stellen. Met de ambitie om de beeldkwaliteit en accuraatheid van beeldinterpretatie te verbeteren, ging het ziekenhuis met AI op zoek naar innovaties.
Softwaretools voor het verbeteren van de beeldkwaliteit van medische beelden bestaan al lange tijd, maar zijn omslachtig in gebruik en kunnen veel tijd in beslag nemen. Het ziekenhuis besloot te onderzoeken of AI kon worden gebruikt om dit proces te versnellen. In feite is AI hier heel goed in. Als je iets hebt dat al bestaat, kan AI het nauwkeurig nabootsen en vaak verloopt deze nabootsing veel sneller. Met een intern onderzoeksteam bouwde het ziekenhuis een nieuw platform genaamd ChRIS dat deze AI-apps en andere apps kan uitvoeren. ChRIS draait bovenop Red Hat OpenShift, waardoor deze apps efficiënter kunnen worden uitgevoerd. Een AI-app op ChRIS/OpenShift kan bijvoorbeeld automatisch naar röntgenfoto’s van kinderen kijken om datapunten te vinden die wijzen op een mogelijke afwijking of juist signaleren dat alles in orde is. Wanneer zo’n model getraind is op duizenden of honderdduizenden foto’s en datapunten, weet het precies hoe het een bijna foutloze diagnose moet stellen.
AI-apps zijn belangrijk, maar het platform waarop ze draaien is net zo belangrijk. Boston Children’s Hospital heeft daarom de ambitie om zowel het ChRIS-platform op Red Hat OpenShift als alle AI-apps die erop draaien naar meer ziekenhuizen te brengen. Een open aanpak die past bij Red Hat. Het techbedrijf faciliteert graag dergelijke sociale projecten, hoewel het open karakter ook iets is dat een bredere impact kan hebben in meer commerciële situaties. Red Hat heeft hiervoor in ieder geval de basis gelegd. Het is nu aan bedrijven om open enterprise AI verder te omarmen.