Leert artificiële intelligentie ons om te gaan met groene energie?

"We treden vandaag nog in actie om Europa het eerste klimaatneutrale continent te maken tegen 2050!" Dat waren de bijna profetische woorden van Ursula von der Leyen, de eerste vrouwelijke commissievoorzitter van de Europese Unie. De nieuwe klimaatmaatregels winden er geen doekjes om: de integratie van hernieuwbare energie op het elektriciteitsnet zal een sleutelrol spelen in die groene (r)evolutie. U bent zich ongetwijfeld bewust van de achterliggende problematiek: de strijd tegen de opwarming van onze aarde. Maar weet u ook dat het integreren van hernieuwbare energie in het huidige elektriciteitsnetwerk niet altijd vanzelfsprekend is en zelfs zijn veiligheid in gedrang kan brengen? Wij zochten de oplossing in artificiële intelligentie en – opgepast spoileralert - bewezen  haar nut. Leest u vooral verder!

Zonnepanelen: zegen of vloek

Vandaag zijn vele elektriciteitsverbruikers op het laagspanningsnet, zoals u en ik, niet langer consumenten, maar prosumenten: ze consumeren niet alleen elektriciteit, maar zijn ook producent geworden door te investeren in zonnepanelen. Op zonnige namiddagen produceren deze zonnepanelen meer elektriciteit dan er op dat ogenblik plaatselijk verbruikt wordt. En net zoals het waterniveau stijgt in een waterreservoir, waar meer water wordt ingepompt dan afgenomen, zal zo ook het spanningsniveau stijgen op het plaatselijke elektriciteitsnetwerk. Een te grote hoeveelheid lokaal geïnjecteerde energie kan leiden tot een spanning ver boven de gewoonlijke 230 Volt, wat de normale werking van het net in gevaar brengt. Deze evolutie stelt de netbeheerder voor een uitdaging om de veilige werking te blijven garanderen.

Nul-op-de-meterhuizen: slimme oplossingen nodig

Ook in Nederland is men zich van deze problematiek bewust. In het ‘REnnovates’-project werden 249 sociale woningen gerenoveerd met als doel evenveel elektriciteit te produceren als te verbruiken. De elektriciteitsteller draait dan evenveel vooruit als achteruit: nul op de meter dus. Dit werd mede mogelijk gemaakt door het installeren van zonnepanelen. U voelt de bui al hangen: veel elektriciteit naar het netwerk op zonnige dagen, maar een te lage vraag om al die energie op te souperen. Zouden batterijen ons hulp kunnen bieden om dit overschot aan energie op te vangen?

Het doel van onze thesis was tweeledig: enerzijds via een simulatiemodel de ernst van deze situatie kwantificeren en anderzijds met een intelligente oplossing op de proppen komen. Intelligent, leest u, want de bijna onvoorspelbare verbruikspatronen van consumenten en het grillige productiepatroon van de zonnepanelen maken hiervan een erg complex probleem. Wij vonden soelaas in zelflerende controle-eenheden die op een slimme manier batterijen kunnen aansturen.

Deep reinforcement learning: een wedloop van straffen en belonen

Deep reinforcement learning is een methode binnen de artificiële intelligentie: een computer of controle-eenheid wordt zelflerend door gebruik te maken van een beloningsproces. Het idee is eenvoudig: de controle-eenheid, geplaatst in het elektriciteitsnet, wordt verplicht te interageren met zijn omgeving en acties te nemen, in dit geval batterijen opladen of ontladen. Het doel: geen enkele spanning ver laten afwijken van 230 Volt en zo overspanningen voorkomen. Dit gebeurt aan de hand van een beloningsfunctie: indien de actie geen overspanning kan voorkomen, worden minpunten toegekend; hoe hoger deze overspanning, hoe meer minpunten. Goede acties daarentegen worden beloond met een hogere scoring, waardoor dit gedrag bij de controle-eenheid gestimuleerd wordt op lange termijn. Ook de hond van Pavlov is hier niet onbekend mee.

De opgedane kennis wordt in elke iteratie opgeslagen in een neuraal netwerk. Bekijk dit als een digitaal stel hersenen dat de vertaalslag maakt van de geobserveerde toestand van het elektriciteitsnetwerk naar een afgewogen batterij-actie. Aan het begin van het leerproces wordt dit brein lukraak geïnitialiseerd en, net zoals een pasgeboren baby nog geen kennis van goed of slecht heeft,  zullen de geselecteerde acties vaak zelfs een averechts effect hebben. Door die foutieve acties af te straffen, groeit ‘ons kind’ geleidelijk op tot een volwassene die er quasi steeds in slaagt de juiste handeling te treffen.

Data-inefficiëntie: transfer learning

Wat had u gedacht: toch is er ook een keerzijde aan deze medaille. Om een goed prestatieniveau te bereiken, heeft de controle-eenheid een enorme hoeveelheid data nodig. In onze simulaties bleek ongeveer zestig jaar aan interactie met de omgeving nodig te zijn alvorens adequate resultaten te boeken. Dat is misschien leuk voor uw kleinkinderen, maar op korte termijn biedt dit geen oplossing.  We bestudeerden het concept van transfer learning om deze moeilijkheden te overkomen.

Eerst wordt het neuraal netwerk, dat digitale brein, getraind met een beschikbare dataset in een gesimuleerd, gelijkaardig elektriciteitsnetwerk voor meerdere virtuele jaren. Dit simulatieproces duurt geen zestig jaar, maar een verdienstelijke twee dagen op onze computers. Hierna wordt dat intelligente neurale netwerk overgedragen naar de echte controle-eenheid. Om de metafoor te vervolledigen: alvorens uw kind geboren wordt, zou u het in dit geval een stel hersenen meegeven dat reeds de kennis van een volledig leven bevat.

Een groot voordeel van het werken met neurale netwerken, is dat deze typisch goed zijn in generalisatie of veralgemening. Hierbij wordt zich een algemene strategie eigen gemaakt: een kind dat in een kledingwinkel terechtgewezen wordt op zijn luidruchtig gedrag, zal ook leren dat het niet op andere openbare plaatsen moet roepen. Deze leerstrategie komt ten goede bij transfer learning, wat ook zal blijken uit onze resultaten. Hoewel de gesimuleerde omgeving in de eerste fase geen exacte kopie is van de reële omgeving in de tweede fase, zal de controle-eenheid de opgedane kennis rond een ontlaad- en oplaadstrategie van de batterijen nog steeds kunnen toepassen. En dat zelfs in een verschillende omgeving met een complex en menselijk consumptiegedrag. Bedankt artificiële intelligentie!

Conclusie

In onze thesis wordt niet enkel aangetoond dat voornoemde modellen succesvol spanningsproblemen kunnen verhelpen door zichzelf complexe regelstrategieën eigen te maken; ook is er aangetoond dat de sterkste limitatie van deze methode, de grote data-inefficiëntie, verholpen kan worden door het overdragen van gesimuleerde ervaringen naar de werkelijke leeromgeving. De resultaten spreken voor zich: meer dan 98% van de overspanningsproblemen werden verholpen. We geloven dan ook sterk dat het toepassen van deze methode zijn steentje kan bijdragen in onze tocht naar een groenere toekomst.