Eerste MLPerf-benchmarkresultaten tonen Nvidia als winnaar

Nvidia levert de beste prestaties op het gebied van beeldclassificatie, objectdetectie, spraakherkenning, vertaling, aanbeveling en sentimentanalyse. Dit blijkt uit de eerste MLPerf-benchmarkresultaten, een nieuwe, objectieve meting voor tools die worden gebruikt om AI-workloads uit te voeren. 

De Amerikaanse chipfabrikant diende volgens berichtgeving van ZDNet geen resultaten in voor reinforcement learning, een zevende categorie in de benchmark-suite, omdat die techniek niet ten volle profiteert van GPU-versnelling, aldus Ian Buck, vice-president van accelerated computing bij Nvidia.

Nvidia was wel het enige bedrijf dat zich voor zes van de zeven benchmarks aanmeldde, iets wat volgens Buck de veelzijdigheid van het bedrijf aantoont: “Mensen willen één AI-platform inzetten om al deze verschillende soorten workloads te doen, om hun gegevens te begrijpen, of het nu afbeeldingen, spraak, tekst of aanbevelingssystemen zijn.”


Lees dit: Moore’s Law voorbij: is accelerated computing de toekomst?


MLPerf Benchmark is in samenwerking met bedrijven en universiteiten als Hardvard en Standford opgezet om ontwikkelaars en IT-teams informatie te geven die hen helpt om het bestaande aanbod te evalueren en toekomstige ontwikkelingen te focussen. De nieuw gepubliceerde resultaten hebben betrekking op het trainen van ML-modellen. De gemeten statistiek is de tijd die nodig is om een model te trainen tot een beoogd kwaliteitsniveau.

Op bijvoorbeeld het gebied van beeldherkenning had Nvidia een kleine 70 minuten nodig om de datasettraining met de DGX-2h uit te voeren. Iets waarbij Resnet-50 v1.5 werd toegepast op het Imagenet. Op schaal werd de trainingstijd met behulp van een DGX-1 cluster teruggebracht tot 6,3 minuten. Wat betreft taalvertaling, duurde het 6,2 minuten om het neurale Transformer-netwerk te  trainen met een DGX-systeem op schaal.

Google

Concurrent Google leverde resultaten in voor beeldclassificatie, objectdetectie en vertaling. Zo merkte de internetreus onder meer op dat het gebruik van 1/64e van een TPU v3 Pod een trainingstijd voor beeldherkenning opleverde van 60 minuten. Objectdetectie met de TPU v3 Pod duurde 17,8 minuten en de neurale machinevertaling nam 9,7 minuten in beslag.

Buck en anderen uit de industrie zijn blij met de recent opgezette MLPerf-benchmark. Tot nu was het naar eigen zeggen altijd moeilijk om verschillende AI-oplossingen objectief met elkaar te vergelijken. “AI is een rijk onderwerp met veel verschillende soorten netwerken, veel verschillende soorten use cases. MLPerf biedt bedrijven een gelijkwaardige basis om te laten zien wat hun platform kan doen en waarmaken, en dat juichen wij toe”, zegt Buck.

Gerelateerd:  Huawei opent aanval op Nvidia met full-stack AI-portfolio