Chipfabrikant Kioxia heeft een update van de AiSAQ-software uitgebracht. Deze vector search library moet organisaties meer flexibiliteit geven bij RAG-systemen. De nieuwe versie maakt het makkelijker om de balans te vinden tussen zoekprestaties en het aantal vectoren op SSD-opslag.
Met de nieuwe versie van AiSAQ kunnen organisaties hun RAG-systemen verfijnen voor doelgerichte workloads. Wie meer zoekprestaties (queries per seconde) wil, moet meer SSD-capaciteit per vector opofferen. Organisaties die juist het aantal vectoren willen maximaliseren, krijgen minder prestaties in ruil.
Deze afweging was voorheen rotsvast. Hierdoor kon niet elke applicatie optimaal draaien op de gebruikte opslag. RAG-systemen, waarbij LLM’s een kijkje kunnen nemen in recente of aanpasbare informatie, kunnen nu beter afgestemd worden op de specifieke eisen van verschillende toepassingen.
Kort gezegd maakt Retrieval-Augmented Generation (RAG) het mogelijk om AI-modellen niet opnieuw te hoeven trainen, maar wel up-to-date te houden. Dit voorkomt voortdurend torenhoge kosten om LLM’s te trainen of een gebrek aan aanpasbaarheid, omdat de modellen van grote AI-partijen al in steen gebeiteld zijn.
SSD-gebaseerde oplossing voor DRAM-beperkingen
Kioxia introduceerde AiSAQ (All-in-Storage ANNS with Product Quantization) in januari als antwoord op beperkingen van traditioneel geheugen. Het platform gebruikt een nieuwe ANNS-algoritme (Approximate Nearest Neighbor Search) dat geoptimaliseerd is voor SSD’s. Door indexdata niet langer in DRAM op te slaan, kunnen vector-databases veel groter worden. Immers is DRAM uiterst beperkt in opslag binnen computersystemen, terwijl de grotere opslagmedia trager werken en daardoor minder inzetbaar zijn voor AI. Daar wordt met AiSAQ verandering in gebracht.
Volgens CTO Axel Störmann van Kioxia Europe kunnen ontwikkelaars nu “de kracht van SSD’s benutten om schaalbare RAG-systemen flexibel en efficiënt te bouwen”. Het bedrijf baseert zich hierbij op open-source middelen, waardoor de voordelen van de Kioxia-innovaties breed gedeeld kunnen worden.
Bredere toepasbaarheid dan alleen RAG
De software werkt nu ook voor andere applicaties dan RAG-systemen, zoals offline semantische zoekopdrachten. Deze uitbreiding maakt AiSAQ geschikt voor meer organisaties die willen profiteren van SSD-gebaseerde vector-verwerking.
Kioxia ging in december naar de beurs en werd daarbij ingeschat op een waarde van ruim 5 miljard euro. Inmiddels is het bedrijf 1,37 biljoen yen waard, ofwel 8 miljard euro.