Open-source object storage-bedrijf MinIO heeft DataPod uitgebracht, een referentiearchitectuur voor het bouwen van data-infrastructuren die exascale AI en grootschalige data lake-workloads ondersteunen. Object storage is zeer geschikt voor AI omdat het typisch ongestructureerde data (die zich vaak in uitgebreide data lakes bevinden) manipuleert als afzonderlijke eenheden van de metadata, met een aangepaste identifier.
Een referentiearchitectuur is veelgebruikt bij nieuwe dataservices die zijn gebouwd met generatieve AI. Het fungeert als een gemeenschappelijke taal voor software engineers met aanbevolen structuren, integraties en optimale leveringsmethoden bij het bouwen van complexe projecten.
Nu intelligentieservices als paddenstoelen uit de grond schieten, is exascale AI een maatstaf voor ‘supercomputer’-prestaties die softwaresystemen omvat die ten minste één exaflop (exa floating point operations per seconde) kunnen verwerken voor AI-modelling en -analyse. Dat is veel opslag voor veel rekenkracht en daarom probeert MinIO aanspraak te maken op de feitelijke object storage-technologie voor AI.
Exabyte-niveaus
Naarmate deep learning-workloads binnen AI opschalen naar exabyte-niveaus, nemen de complexiteit en kosten van AI data-infrastructuur toe. Waarom? Omdat AI data-infrastructuur een hoge concurrency moet ondersteunen (meerdere of vele berekeningen moeten tegelijkertijd en real-time plaatsvinden) en gevarieerde Input/Output (I/O)-workloads moet kunnen verwerken in de verschillende fases waarin de AI-pipeline zich bevindt. Ze moeten ook een extreem hoge verwerkingscapaciteit kunnen leveren en lage latencies garanderen. Misschien wel de grootste uitdaging is het feit dat er op exascale-niveau geen model bestaat dat het mogelijk maakt om dit type data in de publieke cloud te houden, met de bijbehorende kosten voor data-toegang en egress.
“Terugkijkend was 2023 het jaar van experimenten met generatieve AI, maar in 2024 zullen bedrijven deze workflows in productie nemen, waarbij ze terugvallen op de fundamentele data-infrastructuur erachter”, zegt Anand Babu ‘AB’ Periasamy, medeoprichter en co-CEO bij MinIO. “We zien klanten hun storage-footprint vier tot tien keer vergroten om AI-initiatieven te ondersteunen, terwijl ze workloads terugbrengen naar de private cloud omdat de financiële rekensom dit verkiest – alles wat je in de publieke cloud doet, kun je ook in de private cloud doen, maar dan met een besparing van 60 tot 70 procent. MinIO DataPod biedt de roadmap voor het bouwen van een data-infrastructuur die naadloos meegroeit met AI-implementaties, terwijl de kosten binnen de perken blijven.”
Het lijkt duidelijk, high-end datamanagement en analytics zijn twee noodzakelijkheden om de meeste waarde uit bedrijfsdata te halen en bedrijven verzamelen en bewaren voortdurend data voor AI-toepassingen. MinIO is gebouwd om schaalbare analytics aan te drijven waardoor organisaties hun opslagcapaciteit on-demand kunnen uitbreiden.
Klantervaring: Microblink
“MinIO is essentieel voor Microblink,” zegt Filip Suste, platform team engineering manager bij Microblink, een bedrijf voor het scannen en verifiëren van documenten met hulp van AI. “Onze klanten wereldwijd vertrouwen op ons voor het hoogste niveau van gegevensbeveiliging en MinIO stelt ons in staat om dat te bieden met behoud van volledige controle over onze infrastructuur.”
Met de release van MinIO’s Enterprise Object Store eerder dit jaar, is de productset nu op maat gemaakt voor AI en machine learning, data lake-gebruik en database-workloads op grote schaal. Het platform zelf is in wezen softwaregedefinieerd en kan worden gebruikt voor elke infrastructuur in de cloud of on-premises. Nu AI-workloads een combinatie van hardware- en softwaregedefinieerde opslag vereisen, moet de nieuwe infrastructuur van MinIO infrastructuurbeheerders in staat stellen de benodigde kant-en-klare hardware op te zetten met de MinIO enterprise object store.
Tip! AWS-klanten krijgen toegang tot vector database van Amsterdamse Weaviate