F5 heeft zijn AI Gateway in early access opengesteld voor een beperkt aantal klanten. Dit is een gecontaineriseerde toolset ontworpen om de interacties te stroomlijnen tussen LLM’s, de API’s die er toegang toe geven en de apps die er gebruik van maken. Ook voegt AI Gateway een dosis security toe. Doel is de AI-adoptie door enterprise-organisaties op gang houden.
Een recent rapport van F5 trapt de open deur in dat steeds meer bedrijven AI in hun werkprocessen integreren. Het gaat om 75 procent van de onderzochte organisaties, om precies te zijn. Die gaan op termijn allemaal op zoek naar manieren om AI-workloads sneller, efficiënter, doelmatiger, kosteneffectiever en veiliger te draaien. F5 denkt daar met zijn AI Gateway op in te spelen.
Het nieuwe product belooft verbeterde datakwaliteit, observability en bescherming tegen dreigingen door GPU-kostenbeheer te monitoren, evenals systeemresponsiviteit en compliance-vereisten te managen. Het integreert met F5’s bestaande portfolio van oplossingen voor het optimaliseren, beveiligen en schalen van (cloud-native) applicaties.
Belangrijkste dreigingen geneutraliseerd
Zo voorziet De F5 AI Gateway in geautomatiseerde compliance-controles tegen de tien belangrijkste dreigingen die zijn gedefinieerd door OWASP, het Open Web Application Security Project. Dat garandeert dat applicaties die gebouwd zijn met LLM’s voldoen aan kritieke security-standaarden. Deze feature vereenvoudigt het aanpakken van kwetsbaarheden en beschermt tegen de meest voorkomende dreigingen, zoals injection-aanvallen, kapotte authenticatie en onveilige blootstelling van data.
Een andere belangrijke functie is semantic caching, dat herhaalde of vergelijkbare opdrachten op intelligente wijze beheert door deze op te slaan. Omdat het antwoord op een nieuwe, maar gelijkaardige taak niet vanaf nul hoeft te worden bedacht, vermindert deze functie de werkbelasting voor het LLM van dienst. Dat zorg voor snellere responstijden en minder benodigde rekenkracht.
Betrouwbaar draaien van zware lasten
Daarnaast komt AI Gateway met gestroomlijnde API-integratie, dat de vaak complexe verbindingen die nodig zijn om AI-modellen effectief in te zetten vereenvoudigt. Deze integraties stellen developers in staat zich te richten op het bouwen van geavanceerde functionaliteiten (waar hun bedrijf als het goed is z’n geld mee verdient) in plaats van het doorgronden van de fijne kneepjes van de onderliggende infrastructuur.
Tot slot zorgen load balancing and rate limiting voor het betrouwbaar draaien van zware lasten. Zo blijven services in de lucht, zijn vertragingen tot een minimum beperkt en houdt de klant in het algemeen dus een stabiel en efficiënt AI-ecosysteem draaiend.
In een behoefte voorzien
“LLM’s verhogen de productiviteit van bedrijven en de gebruikerservaring van hun klanten, maar vereisen tegelijk toezicht, grondige inspectie tijdens inference-taken en een robuuste beveiliging”, aldus Kunal Anand, Chief Innovation Officer van F5. Door de koppeling van deze nieuwe gateway met F5’s bestaande API-traffic management tools, hoopt het bedrijf aan precies deze behoeften te voldoen.
De AI Gateway werkt in zowel cloud- als datacenteromgevingen (én edge networks) en is compatibel met F5’s NGINX- en BIG-IP-platforms (respectievelijk een web server/load balancer en applicatie-delivery-platform). De schaalbaarheid ervan stelt klanten in staat hun securitybeleid on-the-fly aan te passen. Het product weet dus in principe om te gaan met toekomstige AI-activiteiten en de aanvullende compliance-vereisten die ook daar weer bij komen kijken.
Lees ook: Vier fasen naar observability: tot 2,6 keer meer rendement op investeringen