Artificiële intelligentie steunt op het verwerken van grote hoeveelheden data. En dat vraagt steeds meer energie. Om het energieverbruik binnen de perken te houden, grijpen onderzoekers en bedrijven naar analoge berekeningen om de data te verwerken.
Marian Verhelst
professor micro-elektronica
KU Leuven
Axel Nackaerts
programmamanager AI
imec
‘Hey Google, doof de lichten’. Nu de energieprijzen torenhoog zijn, kunnen alle beetjes helpen om wat stroom te besparen. De verlichting niet nodeloos laten branden, is maar een kleine moeite. Door de opkomst van virtuele assistenten die via spraakherkenning een slimme lamp kunnen aansturen, kost het zelfs helemaal geen inspanning meer. Maar werkt de artificiële intelligentie die nodig is om zo’n spraakcommando te begrijpen, zelf wel energiezuinig? “Nee’”, zegt Axel Nackaerts, programmamanager AI bij onderzoekscentrum imec. “Computers hebben veel berekeningen nodig om de menselijke taal te ontleden. Het stemgeluid moet eerst omgezet worden in tekst en vervolgens in betekenisvolle informatie. Ik heb eens uitgerekend hoeveel energie dat vraagt: ongeveer evenveel als diezelfde lamp een uur te laten branden.”
Dat artificiële intelligentie zo veel energie vreet, komt voort uit een race tussen bedrijven die de accuraatheid van hun algoritmes zo hoog mogelijk willen opdrijven. Zowel voor het trainen als voor het uitvoeren van AI-algoritmes worden gigantische hoeveelheden data verwerkt. Die energiekost is vandaag onzichtbaar: de berekeningen worden niet bij ons thuis of op onze smartphone uitgevoerd, maar op servers in datacenters. Er wordt niet alleen energie verbruikt om te rekenen, maar ook voor koeling en om de data heen en terug te sturen.
Onderzoekers en bedrijven zoeken naar technieken om die datacenters energie-efficiënter te maken. “Maar we zouden nog meer energie kunnen besparen als we het over-en-weer-gestuur naar het datacenter wat vaker zouden kunnen vermijden. Dat is niet alleen milieuvriendelijker, maar ook sneller, veiliger en privacyvriendelijker. Je hebt er zelfs geen internetverbinding voor nodig”, zegt Nackaerts.
Rekenen met een beperkt energiebudget
De berekeningen moeten dan rechtstreeks uitgevoerd kunnen worden op het toestel dat de data verzamelt. Dat toestel kan een smart speaker of mobiele telefoon zijn, maar evengoed een robotstofzuiger, een drone of een ander toestel dat op een batterij werkt. Alle energie die zo’n toestel verslindt om te rekenen, kan het niet gebruiken om te stofzuigen of te vliegen. Het ontwikkelen van energie-efficiënte AI-technieken wordt voor zulke toestellen dus cruciaal.
De klassieke processor is niet ontworpen om zware AI-berekeningen op een energiezuinige manier uit te voeren. Sinds de begindagen van het digitale computertijdperk is die processor gescheiden van het geheugen. De processor voert bewerkingen uit op data-elementjes die uit het geheugen worden opgehaald. Bij grote datasets duurt het ophalen van de data soms nog langer dan het uitvoeren van de bewerking. Die flessenhals vormt vooral een probleem bij AI-berekeningen, waarbij heel vaak grote vectoren en matrices moeten vermenigvuldigd worden. Elke deelbewerking wordt ook nog eens uitgevoerd met de precisie van een digitale computer. Allemaal opgeteld vraagt dat heel veel rekenwerk en dus veel energie.
AI-onderzoekers merkten de voorbije jaren op dat die hoge rekenprecisie niet altijd nodig is. “Bij sommige toepassingen hoef je niet elk data-elementje heel nauwkeurig te behandelen om tot een nauwkeurig eindresultaat te komen. Dat is bijvoorbeeld het geval voor beeldherkenning, waarbij je een groot aantal pixels moet verwerken. Een precisie van pakweg 6 bits kan dan al volstaan om het juiste object te herkennen”, zegt Marian Verhelst, professor micro-elektronica aan de KU Leuven en onderzoeksdirecteur bij imec.
Die inzichten leiden tot een paradigmaverschuiving in het chipontwerp. De traditionele computerarchitectuur wordt vervangen door nieuwe ontwerpen waarbij de berekeningen rechtstreeks in het geheugen uitgevoerd worden. Daarbij wordt gebruik gemaakt van analoge technologie die heel veel bewerkingen tegelijkertijd kan uitvoeren. “Die technologie is intrinsiek minder nauwkeurig, maar verbruikt ongeveer honderd keer minder energie”, zegt Verhelst.
Het chipontwerp vertoont een eerder gestaag evolutiepatroon, met traditioneel een sterke focus op rekenprecisie. Dan lijkt de introductie van analoge technologie – waarbij nulletjes en eentjes plots vervangen worden door continue signalen – een opmerkelijke sprong. “De naam ‘analoog’ heeft nog niet de beste bijklank, maar dat is voornamelijk psychologisch”, zegt Nackaerts. “Het idee dat algoritmes goed kunnen werken zonder dat alles exact uitgerekend wordt, moet nog in de geesten rijpen.”
Om het potentieel ervan te demonsteren, ontwikkelden onderzoekers van imec twee jaar geleden een analoge testchip. Die technologie zit vandaag nog niet in onze telefoon. Vele toestellen beschikken wel over een neural processing unit, een coprocessor gespecialiseerd in AI-berekeningen, maar die werken nog volledig digitaal. Start-ups zoals het Amerikaanse Mythic en het Nederlandse Axelera willen daar nu verandering in brengen door een energiezuinige chips op de markt te brengen die de berekeningen rechtstreeks in het geheugen kunnen uitvoeren.
Energiezuinige algoritmes
De ontwikkeling van energie-efficiënte hardware is maar één aspect in het verhaal. “Voer je er inefficiënte algoritmes op uit, dan ben je de energiewinst snel weer kwijt. Het is belangrijk om de algoritmes aan te passen aan de specificiteit van de hardware en vice versa”, zegt Axel Nackaerts. Als programmamanager AI vormt hij de brug tussen de hardware-ontwikkelingsgroepen en de imec-onderzoeksgroepen aan Vlaamse universiteiten die energie-efficiënte algoritmes ontwikkelen. “Door verschillende software-technieken te combineren halen we al een energiewinst van meer dan 90 procent. Maar we halen nog meer winst door die innovaties in hardware en software op elkaar af te stemmen.”
“We zien dat de heterogeniteit in de algoritmes sterk toeneemt,” klinkt het ook bij Marian Verhelst. “Dat vereist nieuwe hardware die verschillende soorten berekeningen op de meest energiezuinige manier kan uitvoeren. Voor bepaalde berekeningen, zoals convolutielagen in patroonherkenning, werkt de analoge processor extreem goed. Voor andere toepassingen, zoals het redeneren over die geobserveerde patronen, is daarnaast ook de rekenprecisie en programmeerbaarheid van een digitale processor vereist.”
Om het beste van beide werelden te combineren, besloten imec en KU Leuven om een digitale en analoge coprocessor te combineren op één chip. De DIgital and ANalog Accelerator, kortweg DIANA, werd eind februari voorgesteld op ISSCC, een internationaal gerenommeerde conferentie rond elektronica. “Bijzonder aan deze hybride chip is dat we er ieder type berekening mee kunnen uitvoeren op de coprocessor die daar het meest voor geschikt is, onafhankelijk van de specifieke toepassing”, zegt Verhelst.
Slimme robots
De DIANA-chip opent daardoor een waaier aan nieuwe toepassingen in de industrie. “Denk bijvoorbeeld aan een wagentje in een fabriek dat objecten grijpt met een robotarm”, zegt Nackaerts. Die robot zal snel camerabeelden moeten kunnen verwerken om zich te kunnen oriënteren in zijn werkruimte, maar zal ook meer precieze berekeningen moeten kunnen uitvoeren om de robotarm aan te sturen. Op de DIANA-chip worden die verschillende vormen van dataverwerking op de meest energie-efficiënte manier uitgevoerd.”
Onderzoekers van IDLab, een imec-onderzoeksgroep aan de UGent, leerden een robotarm verschillende objecten oppikken. Ze deden het de robot telkens een aantal keer voor, een techniek die few-shot learning wordt genoemd. Door een energie-efficiënt algoritme voor few shot learning te ontwikkelen, leerde de robot de grijpbeweging aan met veel minder dataverbruik. Om nu ook de overblijvende data energiezuinig te verwerken, zullen de onderzoekers de DIANA-chip in de robotarm integreren. Het is een mooi voorbeeld van hoe innovaties in hardware en software elkaar kunnen versterken.
Dergelijk onderzoek wordt uitgevoerd binnen AI Flanders, een onderzoeksprogramma opgestart door de Vlaamse overheid waarbij onderzoekscentra en academische instellingen de krachten bundelen rond artificiële intelligentie. Met de unieke combinatie van energiezuinige algoritmes en hardware die hier in Vlaanderen ontwikkeld wordt, kunnen Vlaamse bedrijven hun voordeel doen.
Rest de vraag nog of de ontwikkeling van die energie-efficiënte technieken uiteindelijk ook echt het totale energieverbruik zal laten dalen. Of wordt het voordeel tenietgedaan omdat de toepassingen steeds veeleisender worden? “Er zijn twee opties”, zegt Nackaerts. “Je doet evenveel berekeningen en verlaagt de energie of je doet meer berekeningen terwijl je evenveel energie verbruikt. In beide gevallen zijn energie-efficiënte AI-technieken nodig. Wat je niet mag doen, is het energieverbruik zomaar hoger laten worden, want dan ben je niet duurzaam bezig. We moeten ons dus nog veel meer de vraag durven te stellen: tegen welke ecologische kost willen we welk soort AI ontwikkelen? Naast nauwkeurigheid moet de AI-wereld ook duurzaamheid als een belangrijk criterium leren zien. En overheden zouden er eens over kunnen nadenken om een energielabel voor AI-systemen in te voeren.”