‘Hey Google, doof de lichten’. Nu de energieprijzen torenhoog zijn, kunnen alle beetjes helpen om wat stroom te besparen. De verlichting niet nodeloos laten branden, is een kleine moeite. En door de opkomst van virtuele assistenten die via spraakherkenning een slimme lamp kunnen aansturen, kost het zelfs helemaal geen inspanning meer.
Maar werkt de artificiële intelligentie die nodig is om zo’n spraakcommando te begrijpen, zelf wel energiezuinig? “Nee’”, zegt Axel Nackaerts, programmamanager AI bij onderzoekscentrum imec. “Computers hebben veel berekeningen nodig om de menselijke taal te ontleden. Eerst moeten ze het stemgeluid omzetten in tekst en vervolgens in betekenisvolle informatie. Ik heb eens uitgerekend hoeveel energie dat vraagt: ongeveer evenveel als diezelfde lamp een uur te laten branden.”
Dat artificiële intelligentie zo veel energie vreet, komt voort uit een race tussen bedrijven die de accuraatheid van hun algoritmes zo hoog mogelijk willen opdrijven. Zowel voor het trainen als voor het uitvoeren van AI-algoritmes worden gigantische hoeveelheden data verwerkt. Die energiekost is vandaag onzichtbaar: de berekeningen worden niet bij ons thuis of op onze smartphone uitgevoerd, maar op servers in datacenters. Er wordt niet alleen energie verbruikt om te rekenen, maar ook voor koeling en om de data heen en terug te sturen.
Onderzoekers en bedrijven zoeken naar technieken om die datacenters energie-efficiënter te maken. “Maar we zouden nog meer energie kunnen besparen als we het over-en-weer-gestuur naar het datacenter wat vaker konden vermijden. Dat is niet alleen milieuvriendelijker, maar ook sneller, veiliger en privacyvriendelijker. Je hebt er zelfs geen internetverbinding voor nodig”, zegt Nackaerts.
Rekenen met een beperkt energiebudget
De berekeningen moeten dan rechtstreeks worden uitgevoerd op het toestel dat de data verzamelt. Dat toestel kan een smart speaker of mobiele telefoon zijn, maar evengoed een robotstofzuiger, een drone of een ander toestel dat op een batterij werkt. De energie die zo’n toestel verslindt om te rekenen, kan het niet gebruiken om te stofzuigen of te vliegen. Het ontwikkelen van energie-efficiënte AI-technieken wordt voor zulke toestellen dus cruciaal.
Efficiëntie is alles voor toestellen op batterijen. Hoe minder energie een robotstofzuiger nodig heeft om een traject te berekenen, hoe meer er overblijft om daadwerkelijk te stofzuigen.
De klassieke processor die we vandaag kennen is niet ontworpen om zware AI-berekeningen op een energiezuinige manier uit te voeren. Sinds de begindagen van het digitale computertijdperk is die processor gescheiden van het geheugen. De processor voert bewerkingen uit op data-elementjes die uit het geheugen worden opgehaald. Bij grote datasets duurt het soms zelfs langer om die data op te halen dan om de bewerking uit te voeren.
Die flessenhals vormt vooral een probleem bij AI-berekeningen, waarbij heel vaak grote vectoren en matrices moeten vermenigvuldigd worden. Elke deelbewerking wordt ook nog eens uitgevoerd met de precisie van een digitale computer. Allemaal opgeteld vraagt dat heel veel rekenwerk en dus veel energie.
AI-onderzoekers merkten de voorbije jaren op dat die hoge rekenprecisie niet altijd nodig is. “Bij sommige toepassingen hoef je niet elk data-elementje heel nauwkeurig te behandelen om tot een nauwkeurig eindresultaat te komen. Dat is bijvoorbeeld het geval voor beeldherkenning, waarbij je een groot aantal pixels moet verwerken. Een precisie van pakweg 6 bits kan dan al volstaan om het juiste object te herkennen”, zegt Marian Verhelst, professor micro-elektronica aan de KU Leuven en onderzoeksdirecteur bij imec.
'Analoge technologie is minder nauwkeurig, maar verbruikt ook honderd keer minder energie'
Die inzichten leiden tot een paradigmaverschuiving in het chipontwerp. De traditionele computerarchitectuur wordt vervangen door nieuwe ontwerpen waarbij de berekeningen rechtstreeks in het geheugen uitgevoerd worden. Daarbij wordt gebruik gemaakt van analoge technologie, die heel veel bewerkingen tegelijkertijd kan uitvoeren. “Die technologie is intrinsiek minder nauwkeurig, maar ze verbruikt wel ongeveer honderd keer minder energie”, zegt Verhelst.
Chips evolueren gestaag en in het chipontwerp ligt traditioneel een sterke focus op rekenprecisie. De introductie van analoge technologie - waarbij nulletjes en eentjes plots vervangen worden door continue signalen - lijkt dan een opmerkelijke sprong. “De naam ‘analoog’ heeft nog niet de beste bijklank, maar dat is voornamelijk psychologisch”, zegt Nackaerts. “Het idee dat algoritmes goed kunnen werken zonder dat alles exact uitgerekend wordt, moet nog in de geesten rijpen.”
Om het potentieel ervan te demonsteren, ontwikkelden onderzoekers van imec twee jaar geleden een analoge testchip. Die technologie zit vandaag nog niet in onze telefoon. Vele toestellen beschikken wel over een neural processing unit, een coprocessor gespecialiseerd in AI-berekeningen, maar die werkt nog volledig digitaal. Start-ups zoals het Amerikaanse Mythic en het Nederlandse Axelera willen daar nu verandering in brengen door energiezuinige chips op de markt te brengen die de berekeningen rechtstreeks in het geheugen kunnen uitvoeren.
Energiezuinige algoritmes
De ontwikkeling van energie-efficiënte hardware is maar één aspect in het verhaal. “Voer je er inefficiënte algoritmes op uit, dan ben je de energiewinst snel weer kwijt”, zegt Axel Nackaerts. "Daarom moeten we de algoritmes aanpassen aan de specificiteit van de hardware, en vice versa" . Als programmamanager AI vormt Nackaerts de brug tussen de hardware-ontwikkelingsgroepen en de imec-onderzoeksgroepen aan Vlaamse universiteiten die energie-efficiënte algoritmes ontwikkelen. “Door verschillende software-technieken te combineren halen we al een energiewinst van meer dan 90 procent. Maar we halen nog meer winst door die innovaties in hardware en software op elkaar af te stemmen.”
“We zien dat de variatie in de algoritmes sterk toeneemt,” klinkt het ook bij Marian Verhelst. “Dat vereist nieuwe hardware die verschillende soorten berekeningen op de meest energiezuinige manier kan uitvoeren. Voor bepaalde berekeningen, zoals convolutielagen in patroonherkenning, werkt de analoge processor extreem goed. Voor andere toepassingen, zoals het redeneren over die geobserveerde patronen, is daarnaast ook de rekenprecisie en programmeerbaarheid van een digitale processor vereist.”
'We zien de variatie in de algoritmes toenemen. Dat vereist nieuwe hardware die verschillende soorten berekeningen op de meest energiezuinige manier kan uitvoeren'
Om het beste van beide werelden te combineren, besloten imec en KU Leuven om een digitale en analoge coprocessor te combineren op één chip. De DIgital and ANalog Accelerator, kortweg DIANA, werd eind februari voorgesteld op ISSCC, een internationaal gerenommeerde conferentie rond elektronica. “Met deze hybride chip kunnen we ieder type berekening uitvoeren op de coprocessor die daar het meest voor geschikt is, onafhankelijk van de specifieke toepassing”, zegt Verhelst.
Slimme robots
De DIANA-chip opent een waaier aan nieuwe toepassingen in de industrie. “Denk aan een wagentje in een fabriek dat objecten grijpt met een robotarm”, zegt Nackaerts. "Die robot zal snel camerabeelden moeten kunnen verwerken om zich te kunnen oriënteren in zijn werkruimte. Tegelijk moet hij precieze berekeningen kunnen uitvoeren om de robotarm aan te sturen. Op de DIANA-chip worden die verschillende vormen van dataverwerking op de meest energie-efficiënte manier uitgevoerd.”
Onderzoekers van IDLab, een imec-onderzoeksgroep aan de UGent, leerden een robotarm verschillende objecten oppikken. Ze deden het de robot telkens een aantal keer voor, een techniek die few-shot learning wordt genoemd. Door een energie-efficiënt algoritme voor die techniek te ontwikkelen, leerde de robot de grijpbeweging aan met veel minder dataverbruik. Om nu ook de overblijvende data energiezuinig te verwerken, zullen de onderzoekers de DIANA-chip in de robotarm integreren. Het is een mooi voorbeeld van hoe innovaties in hardware en software elkaar kunnen versterken.
Dergelijk onderzoek wordt uitgevoerd binnen AI Flanders, een onderzoeksprogramma opgestart door de Vlaamse overheid waarbij onderzoekscentra en academische instellingen de krachten bundelen rond artificiële intelligentie. Met de unieke combinatie van energiezuinige algoritmes en hardware die hier ontwikkeld wordt, kunnen Vlaamse bedrijven hun voordeel doen.
'Naast nauwkeurigheid moet de AI-wereld ook duurzaamheid als een belangrijk criterium leren zien'
Rest de vraag nog of de ontwikkeling van die energie-efficiënte technieken uiteindelijk ook echt het totale energieverbruik zal laten dalen. Of wordt het voordeel tenietgedaan omdat de toepassingen steeds veeleisender worden? “Er zijn twee opties”, zegt Nackaerts. “Je doet evenveel berekeningen en verlaagt de energie of je doet meer berekeningen terwijl je evenveel energie verbruikt. In beide gevallen zijn energie-efficiënte AI-technieken nodig. Wat je niet mag doen, is het energieverbruik zomaar hoger laten worden, want dan ben je niet duurzaam bezig."
"We moeten ons dus nog veel meer de vraag durven te stellen: tegen welke ecologische kost willen we welk soort AI ontwikkelen?", besluit Nackaerts. "Naast nauwkeurigheid moet de AI-wereld ook duurzaamheid als een belangrijk criterium leren zien. En overheden zouden er eens over kunnen nadenken om een energielabel voor AI-systemen in te voeren.”
Lees meer over het Vlaams AI-onderzoeksprogramma
Dit artikel verscheen eerder als bijdrage in EOS Magazine
