Google Cloud komt met uitgebreide updates voor zijn Vertex AI-portfolio, gericht op het verbeteren van bestaande modellen en het introduceren van nieuwe mogelijkheden. De meest in het oog springende update is de algemene beschikbaarheid van Gemini 1.5 Pro, een geavanceerd LLM met een context window van 2 miljoen tokens. Daarnaast komt text-to-image generator Imagen 3 beschikbaar in preview.
Gemini 1.5 Pro heeft een context window van 2 miljoen tokens, wat het geschikt maakt voor het verwerken van grote hoeveelheden data in één keer, of dat nu gaat om tekst, afbeeldingen of video. Denk aan enorme code-libraries, lange video’s of de omgekieperde boekenkast van een behoorlijke onderzoeksbibliotheek.
Ook de eenvoudiger variant Gemini 1.5 Flash komt algemeen beschikbaar. Dit model belooft een lage latency tegen aantrekkelijke kosten. Het biedt een context-window van 1 miljoen tokens en is volgens Google vooral geschikt voor praktische taken als chatbots in retail-omgevingen, het analyseren van documenten en het scannen van bescheiden repositories met data.
Volgens Google heeft Gemini 1.5 Flash een 60 keer grotere context window dan concurrent GPT 3.5 Turbo, een vergelijkbaar model. Het zou daarnaast 40 procent sneller zijn dan de OpenAI-rivaal bij een input van 10.000 karakters en vier keer goedkoper qua input.
Effectievere ‘grounding’ en input van derde partijen
Grounding op basis van door de klant geleverde context was natuurlijk al mogelijk, maar kan nu ook met specifieke informatie van bekende kennisleveranciers, zoals kredietbeoordelaar Moody’s, aandelenindex MSCI, Thomson Reuters en Zoominfo.
Wie Gemini juist wil grounden op basis van algemene, actuele informatie, kan terecht bij de integratie met Google Search. Die maakt het mogelijk specifieke, actuele info te voeren aan het gebruikte model, op basis van resultaten via de beroemde zoekmachine van het bedrijf. Door middel van de eveneens nieuwe High-Fidelity-modus voor grounding kunnen gebruikers bovendien de nauwkeurigheid vergroten bij dergelijke operaties. Deze laatste toevoeging betreft overigens nog een experimentele preview.
Google wil gebruikers van Vertex AI de nodige keuzevrijheid bieden. Wie liever gebruik maakt van het Claude 3.5 Sonnet-model van Anthropic dan van Google-modellen maar tóch in de Vertex AI-suite wil blijven, kan zijn hart ophalen. Het model is nu namelijk hierin te gebruiken. Later komen de Mistral AI-modellen Mistral Small, Mistral Large en Mistral Codestral naar de Vertex AI-stal.
Kleine broertje wordt groot
Een andere belangrijke upgrade betreft Gemma 2, het open-source broertje van Gemini gericht op developers. De nieuwe versie komt binnenkort beschikbaar in versies van 9 miljard (9B) en 27 miljard (27B) parameters. Deze schaalvergroting betekent dat het model complexere taken aankan en gedetailleerde en nauwkeuriger resultaten kan leveren, aldus Google.
Google komt daarnaast met Context Caching voor zowel Gemini 1.5 Pro als Flash, waarmee het mogelijk is veelgebruikte contexten in de cache op te slaan. Dit moet de kosten voor invoer van data verminderen en sneller antwoorden opleveren bij veelomvattende contexten. Kortom, grotere hoeveelheden data efficiënt verwerken en daarnaast geld besparen.
Tip: Google zinspeelt op volgende grote stap voor LLM’s met Infini-attention
Nog een manier om de steeds hoger oplopende kosten van AI-workloads beheersbaar te houden, betreft Provisioned Throughput. Dit is een manier om naar believen de workload-kraan verder open te draaien of juist iets minder, afhankelijk van de behoefte. Het betreft vooral een kostenbesparende techniek, die binnen de Google-omgeving alleen beschikbaar is voor de first-party modellen van het bedrijf.
Geavanceerde beeldgenerator
Zeker noemenswaardig in de berg aan aankondigingen van Google: beeldgenerator Imagen 3 komt beschikbaar in preview. Over deze feature hebben we al eerder geschreven. Imagen 3 is een text-to-image model dat fotorealistische afbeeldingen genereert op basis van gedetailleerde prompts. Het is daarbij overigens ook mogelijk afbeeldingen te genereren die eruit zien als schetsen, tekenfilms, pixel art of klei-animatie.
Google wijst uitdrukkelijk op de mogelijkheid om met Imagen 3 tekst in afbeeldingen te kunnen zetten, zoals inscripties op gebouwen of opdrukken op kleding. Daar ging het voorheen nog weleens mis met AI-tools, die niet goed wisten wat ze met zulke tekst aan moesten.