MIT onderzoekers: Deep learning loopt tegen limiet in rekenkracht aan

We gaan tegen limieten in rekenkracht aanlopen met deep learning. Dat beweren onderzoekers van het Massachussets Institute of Technology, Underwood International College en University of Brasilia. Uit een recente studie blijkt dat vooruitgang in deep learning afhankelijk is van vooruitgang in rekenkracht. 

Voor blijvende vooruitgang in deep learning is er drastisch meer rekenkracht nodig. Om dit te verwezenlijken moeten bestaande technieken aangepast worden of moeten er nieuwe methodes ontwikkeld worden. 

“Het is geen toeval dat deep learning zoveel rekenkracht vereist. Dat is zo ontworpen. Dezelfde flexibiliteit maakt deep learning uitstekend om meerdere verschijnselen in kaart te brengen en modellen van experts te overtreffen. Het is alleen erg duur in computerkracht.” Zo schreven de onderzoekers van het MIT-onderzoeksrapport. 

Wetenschappers ontdekten dat de computerkracht die nodig is voor deep learning modellen sneller opschaalt dan de ondergrenzen uit de theorie. Deze bevindingen wijzen erop dat er wezenlijke verbeteringen mogelijk zijn.

Ontwikkelingen in machine learning

De afgelopen tijd zijn er al veel verschillende ontwikkelingen geweest om beter om te gaan met de enorme computerkracht die nodig is voor deep learning. Denk aan de opkomst van hardware accelerators zoals de tensor processing units van Google, field-programmable gate arrays (FPGA’s) en application-specific integrated circuits (ASIC’s). Daarnaast zijn er pogingen geweest om berekeningen te vereenvoudigen via network compression en acceleration-technieken. 

Dankzij deze eerdere ontwikkelingen is er al drastisch minder computerkracht nodig voor deep learning dan voorheen. Uit een studie van OpenAI blijkt dat de computerkracht die nodig is om een AI model te trainen naar dezelfde resultaten sinds 2012 elke 16 maanden is afgenomen met een factor van 2. 

De enorme honger naar rekenkracht van deep learning legt een limiet op de mate waarin de prestaties nog verder kunnen verbeteren in de huidige vorm. Dat geldt des te meer nu de verbeteringen in hardware steeds langzamer gaan. Door deze limieten kunnen we verwachten dat machine learning de komende tijd waarschijnlijk meer in de richting gaan van technieken die efficiënter omgaan met rekenkracht dan deep learning.