In zijn streven om een niche te veroveren in de markt voor enterprise-AI introduceert IBM een nieuwe familie van zijn Granite AI-modellen. Deze modellen bevatten experimentele redeneercapaciteiten, en mogelijkheden voor visuele verwerking.
Dit meldt SiliconANGLE. De nieuwe modellenfamilie omvat het vlaggenschipmodel Granite 3.2 Instruct, een tekstgebaseerd groot taalmodel. Dat is beschikbaar in 8B- en 2B-versies. IBM ontwierp dit model voor taken zoals samenvattingen, probleemoplossing en codegeneratie en optimaliseerde het om instructies te volgen.
Dit type model is bijzonder geschikt voor de ontwikkeling van AI-assistenten en -agenten. De fabrikant trainde beide varianten met chain of thought-redenering. Die is vergelijkbaar met andere toonaangevende modellen. IBM ontwierp ze echter om kleiner en efficiënter te zijn.
Een opvallend kenmerk van de modellen is dat men de redeneercapaciteiten programmeerbaar kan in- en uitschakelen. In plaats van aparte reasoning models uit te brengen, ontwikkelde IBM één model dat zowel een conversatiemodel als een redeneermodel is. Aangezien redenatie veel rekenkracht vereist levert het uitschakelen ervan tijdens runtime aanzienlijke energiebesparingen op.
Beloningssysteem voor LLM
Redeneermodellen analyseren problemen stap voor stap, een methode die in de industrie bekendstaat als chain of thought. Sinds de introductie van DeepSeeks R1 is de vraag naar dergelijke modellen sterk toegenomen. De meeste redeneermodellen scannen een volledige redeneerruimte om de beste logische route te vinden voordat ze een eindantwoord genereren. IBM ontwikkelde echter een innovatieve inferentietechniek die de rekenefficiëntie verbetert. Dit door een beloningssysteem toe te voegen.
Dit systeem gebruikt een extra beoordelingsmodel dat de LLM in real-time bijstuurt naar de meest waarschijnlijke correcte uitkomst. Dankzij een slimme zoektechniek, waarmee het systeem de volledige redeneerruimte doorzocht, kon IBM een kleiner en efficiënter redeneermodel ontwikkelen in vergelijking met R1, dat dit proces in één keer uitvoert.
IBM stelt dat Granite 3.2 8B kan concurreren met grotere modellen zoals Claude 3.5 Sonnet en OpenAI GPT-4o op wiskundige redeneertests zoals AIME2024 en MATH500.
Efficiënter beveiligingsmodel
Naast de redeneermodellen introduceerde IBM ook Granite Vision 3.2 2B. Dit is een multimodaal model met computer vision-functionaliteit, bedoeld om bedrijven te helpen bij visuele documentanalyse.
Granite Vision kan diverse visuele taken uitvoeren, maar blinkt vooral uit in documentverwerking. Veel visuele taalmodellen (VLM’s) zijn geoptimaliseerd voor algemene visietaken, maar scoren minder goed op optische tekenherkenning (OCR) en tekstextractie. IBM’s ingenieursteam besteedde daarom veel tijd aan de training van Vision 3.2 op unieke visuele kenmerken zoals lay-outs, lettertypen, diagrammen en infographics.
Daarnaast introduceerde IBM Granite Guardian 3.2. Dit is het nieuwste model in zijn reeks AI-beveiligingsmodellen, ontworpen om risico’s in prompts en reacties te detecteren. Dit model presteert vergelijkbaar met zijn voorganger (3.1), maar is sneller en goedkoper in gebruik.
Een belangrijke verbetering in Guardian 3.2 is de introductie van verbalized confidence, waarbij het model niet alleen een binaire ja of nee aangeeft, maar ook een vertrouwensniveau zoals hoog of laag. Dit helpt ontwikkelaars beter inschatten of ze een AI-uitkomst kunnen vertrouwen of afwijzen.
Naast de vernieuwde 8B-versie bracht IBM ook twee nieuwe modelgroottes uit. Namelijk een afgeslankte 5 miljard-parameter versie. Die levert bijna dezelfde prestaties als het origineel. En daarnaast Granite 3.2 3B-A800M, een model gebaseerd op de Mixture-of-Experts-techniek, dat slechts 800 miljoen van zijn 3 miljard parameters tegelijk activeert om kosten te verlagen zonder prestatieverlies.
Geavanceerde trendvoorspellingen
Tot slot introduceerde IBM een nieuw compact tijdreeksmodel. Dat is Granite Timeseries, oftewel Tiny Time Mixers. De nieuwste variant, Granite-Timeseries-TTM-R2.1, breidt de mogelijkheden uit met dagelijkse en wekelijkse prognoses tot wel twee jaar vooruit.
Tijdreeksmodellen zijn bijzonder nuttig voor het voorspellen van langetermijntrends in sectoren zoals financiën, economie, supply chain-management en seizoensgebonden voorraadplanning in de detailhandel.