IBM boost AI-training met nieuw 8-bit-trainingsmodel

IBM presenteert een nieuwe 8-bit precisie aanpak dat AI-computerkracht zal versterken tot aan de edge. Het streeft naar een nieuwe industriële standaard die AI-training twee tot vier keer boost. Tot slot werkt Big Blue aan een analoge chip die de accuraatheid verdubbelt en 33x minder energie verbruikt dan een digitale architectuur.

De afgelopen jaren heeft AI-hardware flinke stappen voorwaarts gezet. AI-computerkracht stijgt elk jaar 2,5x sinds specifieke hardware op de markt kwam in 2009. GPU’s zijn vandaag essentiële onderdelen voor deep learning, maar volgens IBM lopen we stilaan tegen de limieten wat GPU’s en software kunnen doen.

IBM claimt dat de volgende generatie AI-applicaties snellere responstijden vereisen en grotere AI-workloads en multimodale data over meerdere streams moet verwerken. IBM research werkt aan een oplossing om AI met de hardware mee te schalen.

8-bit

Big Blue werkt aan een reduced-precision aanpak. Initieel werden modellen getraind met 32-bit-precisie, maar enkele jaren geleden werd 16-bit de norm omdat de methode geen zichtbaar verlies in accuraatheid liet optekenen. Vandaag is 16-bit training en 8-bit inference de industriële standaard.

IBM schrijft in een paper welke uitdagingen het heeft ervaren om trainingsprecisie onder 16-bits te krijgen. De nieuwe 8-bit aanpak zou volgens IBM de volledige modelaccuraatheid bewaren over de belangrijkste AI-datasetcategorieën: beeld, spraak en tekst.

De nieuwe traint twee tot vier keer sneller dan 16-bitsystemen die vandaag in gebruik zijn. IBM verwacht dat 8-bit training een nieuwe industriële standaard wordt de komende jaren.

Wanneer je deze aanpak combineert met een eigen dataflow architectuur, kan één enkele chip gebruikt worden voor training en inference over een hele reeks van workloads en netwerken groot en klein. Dit opent de deuren naar energie-efficiënte AI-berekeningen in de edge.