Onderzoekers van de Technische Universiteit Eindhoven (TU/e) hebben een neuromorfisch apparaat ontwikkeld (technologie die de werking van menselijke hersenen nabootst) dat on-chip-training kan uitvoeren. Dat zou het overbodig maken om AI-modellen eerst te trainen in een computeromgeving en ze daarna pas naar de chip over te brengen. De succesvolle proef zou kunnen leiden tot efficiëntere AI-chips, al zal de praktische toepassing nog even op zich laten wachten.
Onderzoekers Yoeri van de Burgt en Marco Fattori bestuderen de mogelijkheden om de werking van menselijke hersenen na te bootsen in (computer)omgevingen. Hersenen zijn bij uitstek gemaakt om nieuwe informatie op te slaan, te verwerken en te gebruiken. Het is dus niet verwonderlijk dat hier onderzoek naar gebeurt in het licht van AI-training.
Van de Burgt, universitair hoofddocent aan de faculteit Mechanical Engineering, vindt neuromorfische chips, hardware dus, een ‘veelbelovend alternatief’ voor softwarematige neurale netwerken die momenteel veel in gebruik zijn voor AI-training. Dergelijke neurale netwerkmodellen bestaan uit knooppunten waarvan de onderlinge sterkte wordt bepaald door een getal –het gewicht. Dat is vergelijkbaar met hoe in de hersenen neuronen (zenuwcellen) met elkaar zijn verbonden door synapsen die elektrische en chemische signalen doorgeven.
“Neurale netwerken kunnen helpen bij het oplossen van complexe problemen met grote hoeveelheden gegevens, maar naarmate de netwerken groter worden, brengen ze toenemende energiekosten en hardwarebeperkingen met zich mee”, aldus Van de Burgt in een artikel op de site van de TU/e.
Elektrische lading
De noodzaak AI-modellen eerst op een computer te trainen, maakt dit proces vaak omslachtig, tijdrovend en energie-inefficiënt. Ook het rechtstreeks trainen van AI op de hardware kent z’n beperkingen. Dat is vanwege de memory resistors die ‘onthouden’ hoeveel elektrische lading in het verleden door hen zijn heen gestroomd. Deze memristors moeten één voor één worden geprogrammeerd en vervolgens gecontroleerd op fouten vanwege hun onvoorspelbare (de term is stochastische) aard.
Van de Burg, die voor dit onderzoek samenwerkte met Marco Fattori van Electrical Engineering, wist echter een circuitontwerp te maken waarmee ze de huidige beperkingen omzeilen. Ze wisten een tweelaags neuraal netwerk te maken op basis van elektrochemische random-access memory (EC-RAM)-componenten gemaakt van organische materialen. De volgende stap is nu het toevoegen van meer lagen.
Meer lagen nodig voor praktische toepasbaarheid
Ter vergelijking: een LLM als GPT-4 heeft 120 lagen, Llama 3 heeft er 80. Die lagen zijn essentieel voor de complexiteit van een model. Voordat deze technologie volop kan worden ingezet voor het trainen van AI’s, moeten er dus nog de nodige lagen bij.
Het werk van Van de Burg en Fattori maakt deel uit van onderzoek geïnitieerd door Tim Stevens en Eveline van Doremaele. De resultaten ervan zijn verschenen in Science Advances. Van Doremaele promoveerde vorig jaar op een proefschrift over neuromorfische chips.
Lees ook: Cerebras, maker van levensgrote AI-chips, maakt zich op voor beursgang