AMD introduceert de Instinct MI350P PCIe card. Die moet het voor organisaties eenvoudiger maken om AI-workloads lokaal in bestaande datacenters te draaien zonder ingrijpende aanpassingen aan stroomvoorziening, koeling of rackinfrastructuur.
Volgens AMD richt de nieuwe hardware zich op organisaties die extra AI-rekenkracht nodig hebben, maar niet direct willen investeren in gespecialiseerde GPU-platforms waarvoor vaak aanpassingen aan datacenters nodig zijn. De fabrikant positioneert de MI350P PCIe card als een tussenstap tussen traditionele serverhardware en grootschalige AI-infrastructuur, bedoeld voor bedrijven die AI dichter bij hun eigen infrastructuur willen draaien vanwege kostenbeheersing, compliance-eisen of zorgen rond dataprivacy.
De MI350P PCIe card is ontworpen voor standaard luchtgekoelde servers en bestaande racks. Volgens AMD kunnen systemen worden uitgerust met maximaal acht kaarten voor inference-workloads en retrieval augmented generation (RAG)-toepassingen met kleine, middelgrote en grotere AI-modellen.
AMD claimt prestaties tot 2.299 teraflops en piekwaarden tot 4.600 TFLOPS bij gebruik van het MXFP4-precisieformaat. Daarnaast beschikt de kaart volgens het bedrijf over 144 GB HBM3E-geheugen met een geheugenbandbreedte tot 4 TB/s. De hardware ondersteunt meerdere AI-precisieformaten, waaronder FP8, MXFP8, MXFP4, INT8 en BF16. Daarbij maakt AMD gebruik van sparsity-ondersteuning om bepaalde AI-bewerkingen efficiënter uit te voeren en de doorvoer van workloads te verhogen.
Volgens AMD moeten de kaarten daarnaast helpen om het stroomverbruik en de koelbehoefte binnen bestaande datacenters beheersbaar te houden. Juist de energievraag van AI-infrastructuur vormt momenteel voor veel organisaties een obstakel bij verdere uitbreiding van AI-toepassingen.
AMD legt in de aankondiging de nadruk op software en interoperabiliteit. De kaarten ondersteunen onder meer Kubernetes GPU Operator, AMD Inference Microservices en AI-frameworks zoals PyTorch. Volgens AMD moeten organisaties daardoor inference-workloads kunnen migreren met minimale codewijzigingen.
Lagere operationele kosten
Daarnaast stelt AMD een open-source enterprise AI reference stack beschikbaar voor partners zonder licentiekosten. Volgens het bedrijf moet die aanpak helpen om operationele kosten te verlagen en organisaties minder afhankelijk te maken van gesloten softwareomgevingen of terugkerende licentiekosten. AMD zegt dat bedrijven hierdoor sneller AI-systemen on-premises kunnen implementeren zonder doorlopende kosten per token.
Een belangrijk onderdeel van de positionering van de MI350P PCIe card draait om ondersteuning voor verschillende precisieniveaus binnen AI-workloads. Lagere precisieformaten zoals MXFP4 en MXFP6 zijn volgens AMD vooral bedoeld om maximale prestaties te leveren bij inference, terwijl hogere precisies zoals INT8 en BF16 profiteren van sparsity-versnelling om efficiënter met geheugen en rekenkracht om te gaan.