In mijn kot blijven? Volgende keer anders aanpakken!
Dat de coronamaatregelen allesbehalve gezellig waren, moet niemand ons vertellen. Vandaar dat onderzoekers er druk mee bezig zijn om ons beter voor te bereiden op eventuele volgende epidemieën. En raad eens wat we hiervoor kunnen gebruiken? Artificiële intelligentie (AI) natuurlijk! AI is een fenomeen dat intussen niet meer weg te denken is uit onze maatschappij en ook hier kan het een verschil maken. We kunnen reinforcement learning gebruiken om na te denken hoe we onze epidemische maatregelen best kunnen inrichten. Reinforcement learning (RL) is een soort artificiële intelligentie die zijn aanpak gaat verbeteren en optimaliseren door herhaaldelijk acties uit te proberen en te evalueren. Dit soort AI werd beroemd dankzij AlphaGo dat de wereldkampioen in het spel Go wist te verslaan. RL biedt ook de mogelijkheid om rekening te houden met meerdere doelen tegelijk. Zo kunnen ze zowel de medische gevolgen van een epidemie beperken als de sociale impact van de maatregelen in evenwicht houden. Het gaat de verschillende doelen in de epidemie proberen te balanceren en afwisselend de nadruk leggen op andere objectieven. Achteraf zien we helder welke acties welk effect hadden en kiezen we de balans die het beste past. Zulke AI-systemen zijn dus een verademing voor beleidsmakers.
Een vrijwillige epidemie beginnen?
Om AI te laten zoeken welke maatregelen het beste zijn, moeten we natuurlijk een epidemie nabootsen: we maken dus gebruik van een simulatie. Dit zal aan de hand van de besmettelijkheid van het virus en de hoeveelheid sociale contacten tonen hoe een epidemie evolueert. Op dat moment kan een RL-algoritme gebruikt worden om te leren hoe verschillende sociale beperkingen de epidemie zullen beïnvloeden. Door middel van een simulatie te gebruiken kan het algoritme verschillende strategieën testen, terwijl beleidsmakers in werkelijkheid maar één aanpak kunnen uitproberen. Wanneer het algoritme klaar is, krijgen we een samenvatting van de best haalbare evenwichten tussen de doelstellingen: trajecten die je niet verder kunt verbeteren voor het ene doel zonder het andere te verslechteren. Dit geeft beleidsmakers de kans om zelf in te schatten wat de gewenste balans is.
"Sociale last beperken"
De hospitalisaties beperken is een duidelijk doel; onze ziekenhuizen hebben namelijk een beperkte capaciteit die we niet kunnen overschrijden. De sociale impact is echter een minder concreet doel, we benaderen dit dus door een proxy: het aantal sociale contacten dat mensen moeten missen door de maatregelen. Aan de hand van publieke vragenlijsten kunnen we initieel opmaken hoeveel contacten de gemiddelde Belg heeft op school, werk en in hun vrije tijd. Indien we dan school en werk gaan inperken, zien we hoeveel sociale contacten wegvallen voor de verschillende bevolkingsgroepen. Dit gebruiken we als maatstaf voor de sociale impact van de epidemische maatregelen.
Iedereen over dezelfde kam scheren
We kunnen ons het argument nog goed herinneren "ik word toch niet ziek, waarom moet ik dan binnenblijven?". Hoewel dit destijds praktisch moeilijk te organiseren was, raakt het wel aan een legitiem punt. Het gaat er namelijk om dat maatregelen niet alleen voor sommige groepen zwaarder mogen doorwegen, maar dat de volledige balans tussen de leeftijdsgroepen en risico's meegenomen moet worden. Zo kunnen beperkingen eerlijker verdeeld worden. Hiervoor moeten we de beperkingen anders benaderen, zodat we zien hoe zwaar de maatregelen zijn voor de verschillende leeftijdsgroepen. Daartoe wegen we de contactreducties met het leeftijdsspecifieke hospitalisatierisico. Bij het beperken van de jongere leeftijdsgroepen, zal het RL-algoritme leren dat dit grotere sociale gevolgen heeft, zo kan het de maatregelen aanpassen, om dit eerlijker te maken.
Flatten the curve
Ons onderzoek laat zien dat meerdere maatregelpakketten de epidemische impact kunnen beperken. Zelfs zonder algemene lockdown kunnen we zowel de medische gevolgen als de sociale schade terugdringen. Het door het RL-algoritme samengestelde pakket vlakt in de eerste 17 weken de curve duidelijk af (middenpaneel).
Verder zien we ook dat de zwaarste maatregelen wel starten met een lockdown en gaandeweg versoepelen (onderaan). Hier zien we ook dat de medische gevolgen van de epidemie hier tot een minimum beperkt worden! Bovenaan zien we hoe de epidemie zou verlopen bij de soepelste maatregelen die het RL-algoritme heeft gevonden.
AI in de regering
Betekent dit nu dat we ons aan een AI-versie van Marc Van Ranst mogen verwachten binnenkort? Nee, en dat is ook niet de bedoeling. Met onze technieken willen we beslissingsmakers ondersteunen, niet vervangen. Dit onderzoek toont echter wel dat het gebruik van artificiële intelligentie hier heel wat potentieel voor heeft. Het kan helpen om de maatregelen beter te vertalen naar de bevolking en om beter voorbereid te zijn en om de zaken wat gestructureerder aan te pakken. Volgende keer varen we dus niet blind met “Blijf in uw kot!”, maar kiezen we voor een duidelijke koers met AI als kompas en de mens aan het roer.
Bibliografie
Fan, Z., Peng, N., Tian, M., & Fain, B. (2022). Welfare and Fairness in Multi-objective Reinforcement Learning. Adaptive Agents and Multi-Agent Systems, 2023-May, 1991–1999. doi:10.5555/3545946.3598870
Blik, D. (2024). Evaluating the effectiveness of a reinforcement learning model in customizing colonoscopy screening policies. doi:10.
Libin, P. J. K., Willem, L., Verstraeten, T., Torneri, A., Vanderlocht, J., & Hens, N. (3 2021). Assessing the feasibility and effectiveness of household-pooled universal testing to control COVID-19 epidemics. PLoS Computational Biology, 17. doi:10.1371/journal.pcbi.1008688
Green, C., Beishuizen, B., Stein, M., Tostmann, A., Rovers, C., Jong, D. D., … Duggan, J. (n.d.). A Hospital Resources Model for Pandemic Planning & Preparedness.
Makhlouf, K., Zhioua, S., & Palamidessi, C. (6 2020). Machine learning fairness notions: Bridging the gap with real-world applications. . . . doi:10.1016/j.ipm.2021.102642
Miura, F., Leung, K. Y., Klinkenberg, D., Ainslie, K. E. C., & Wallinga, J. (12 2021). Optimal vaccine allocation for COVID-19 in the Netherlands: A data-driven prioritization. PLoS Computational Biology, 17. doi:10.1371/journal.pcbi.1009697
Cimpean, A., Jonker, C., Libin, P., & Nowé, A. (2025). A Group And Individual Aware Framework For Fair Reinforcement Learning. . . .
Abrams, S., Wambua, J., Santermans, E., Willem, L., Kuylen, E., Coletti, P., … Hens, N. (6 2021). Modelling the early phase of the Belgian COVID-19 epidemic using a stochastic compartmental model and studying its implied future trajectories. Epidemics, 35. doi:10.1016/j.epidem.2021.100449
Libin, P., Moonens, A., Verstraeten, T., Perez-Sanjines, F., Hens, N., Lemey, P., & Nowé, A. (3 2020). Deep reinforcement learning for large-scale epidemic control. . . . Retrieved from http://arxiv.org/abs/2003.13676
Wan, R., Zhang, X., & Song, R. (8 2020). Multi-Objective Model-based Reinforcement Learning for Infectious Disease Control. Knowledge Discovery and Data Mining, 1634–1644. doi:10.1145/3447548.3467303
Reuel, A., & Ma, D. (5 2024). Fairness in Reinforcement Learning: A Survey. Retrieved from https://arxiv.org/abs/2405.06909v1
Cederle, M., Piron, L. V., Ceccon, M., Chiariotti, F., Fabris, A., Fabris, M., & Susto, G. A. (3 2024). A Fairness-Oriented Reinforcement Learning Approach for the Operation and Control of Shared Micromobility Services. Retrieved from https://arxiv.org/abs/2403.15780v2
Reymond, M., Bargiacchi, E., & Nowé, A. (2022). Pareto Conditioned Networks. arXiv [Cs.LG]. Retrieved from http://arxiv.org/abs/2204.05036
Dwork, C., Hardt, M., Pitassi, T., Reingold, O., & Zemel, R. (2012). Fairness through Awareness. 3rd Innovations in Theoretical Computer Science Conference, 214–226. Presented at the Cambridge, Massachusetts. doi:10.1145/2090236.2090255
Makhlouf, K., Zhioua, S., & Palamidessi, C. (2021). Machine learning fairness notions: Bridging the gap with real-world applications. Information Processing & Management, 58(5), 102642. doi:110.1016/j.ipm.2021.102642
Siddique, U., Weng, P., & Zimmer, M. (2020, August). Learning Fair Policies in Multiobjective (Deep) Reinforcement Learning with Average and Discounted Rewards. doi:110.48550/arXiv.2008.07773
Fan, Z., Peng, N., Tian, M., & Fain, B. (2023, October). Welfare and Fairness in Multi-objective Reinforcement Learning. doi:10.48550/arXiv.2212.01382
Hayes, C. F., Rădulescu, R., Bargiacchi, E., Källström, J., Macfarlane, M., Reymond, M., … Roijers, D. M. (2022). A practical guide to multi-objective reinforcement learning and planning. Autonomous Agents and Multi-Agent Systems, 36(1), 26. doi:10.1007/s10458-022-09552-y
Chen, X., Wang, T., Thomas, B. W., & Ulmer, M. W. (2023). Same-day delivery with fair customer service. European Journal of Operational Research, 308(2), 738–751. doi:10.1016/j.ejor.2022.12.009
Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction. Cambridge, MA, USA: A Bradford Book.
Haider, I., Khan, K. B., Haider, M. A., Saeed, A., & Nisar, K. (2020). Automated Robotic System for Assistance of Isolated Patients of Coronavirus (COVID-19). 2020 IEEE 23rd International Multitopic Conference (INMIC), 1–6. doi:110.1109/INMIC50486.2020.9318124
Daems, R., & Maes, E. (2022). The Race for COVID-19 Vaccines: Accelerating Innovation, Fair Allocation and Distribution. Vaccines, 10(9). doi:110.3390/vaccines10091450
Van Moffaert, K., & Nowé, A. (2014). Multi-objective reinforcement learning using sets of pareto dominating policies. The Journal of Machine Learning Research, 15(1), 3483–3512.
Di Martino, S., & Prilleltensky, I. (2020). Happiness as fairness: The relationship between national life satisfaction and social justice in EU countries. Journal of Community Psychology, 48(6), 1997–2012. doi:10.1002/jcop.22398
Ogryczak, W., Luss, H., Pióro, M., Nace, D., Tomaszewski, A., & Others. (2014). Fair optimization and networks: A survey. Journal of Applied Mathematics, 2014. doi:10.1155/2014/612018
Kaneko, M., & Nakamura, K. (1979). The Nash social welfare function. Econometrica: Journal of the Econometric Society, 423–435. doi:10.2307/1914191
Gajane, P., Saxena, A., Tavakol, M., Fletcher, G., & Pechenizkiy, M. (2022). Survey on Fair Reinforcement Learning: Theory and Practice. arXiv [Cs.LG]. doi:10.48550/arXiv.2205.10032
Witteveen, A. B., Young, S. Y., Cuijpers, P., Ayuso-Mateos, J. L., Barbui, C., Bertolini, F., … Others. (2023). COVID-19 and common mental health symptoms in the early phase of the pandemic: An umbrella review of the evidence. PLoS Medicine, 20(4), e1004206.
Van Lange, P. A. M., & Columbus, S. (2021). Vitamin S: Why is social contact, even with strangers, so important to well-being? Current Directions in Psychological Science, 30(3), 267–273.
Davies, N. G., Klepac, P., Liu, Y., Prem, K., Jit, M., & Eggo, R. M. (2020). Age-dependent effects in the transmission and control of COVID-19 epidemics. Nature Medicine, 26(8), 1205–1211.
Bailey, N. T. J. (1975). The mathematical theory of infectious diseases and its applications. /.
Wallinga, J., Teunis, P., & Kretzschmar, M. (09 2006). Using Data on Social Contacts to Estimate Age-specific Transmission Parameters for Respiratory-spread Infectious Agents. American Journal of Epidemiology, 164(10), 936–944. doi:10.1093/aje/kwj317
Kifle, Y. W., Goeyvaerts, N., Van Kerckhove, K., Willem, L., Faes, C., Leirs, H., … Beutels, P. (07 2015). Animal Ownership and Touching Enrich the Context of Social Contacts Relevant to the Spread of Human Infectious Diseases. PLOS ONE, 10(7), 1–13. doi:10.1371/journal.pone.0133461
Willem, L., Van Kerckhove, K., Chao, D. L., Hens, N., & Beutels, P. (11 2012). A Nice Day for an Infection? Weather Conditions and Social Contact Patterns Relevant to Influenza Transmission. PLOS ONE, 7(11), 1–7. doi:10.1371/journal.pone.0048695
Willem, L., Van Hoang, T., Funk, S., Coletti, P., Beutels, P., & Hens, N. (2020). SOCRATES: an online tool leveraging a social contact data sharing initiative to assess mitigation strategies for COVID-19. BMC Research Notes, 13(1), 293.
Van Hoang, T., Coletti, P., Kifle, Y. W., Van Kerckhove, K., Vercruysse, S., Willem, L., … Hens, N. (2021). Close contact infection dynamics over time: insights from a second large-scale social contact survey in Flanders, Belgium, in 2010-2011. BMC Infectious Diseases, 21, 1–15.
Meo, S. A., Abukhalaf, A. A., Alomar, A. A., AlMutairi, F. J., Usmani, A. M., & Klonoff, D. C. (2020). Impact of lockdown on COVID-19 prevalence and mortality during 2020 pandemic: observational analysis of 27 countries. European Journal of Medical Research, 25, 1–7.
Onyeaka, H., Anumudu, C. K., Al-Sharify, Z. T., Egele-Godswill, E., & Mbaegbu, P. (2021). COVID-19 pandemic: A review of the global lockdown and its far-reaching effects. Science Progress, 104(2), 00368504211019854. doi:10.1177/00368504211019854
Dwork, C., Ilvento, C., Rothblum, G. N., & Sur, P. (2020). Abstracting Fairness: Oracles, Metrics, and Interpretability. 1st Symposium on Foundations of Responsible Computing.
Weymark, J. A. (1981). Generalized gini inequality indices. Mathematical Social Sciences, 1(4), 409–430. doi:10.1016/0165-4896(81)90018-4
Grgić-Hlača, N., Zafar, M. B., Gummadi, K. P., & Weller, A. (2018). Beyond distributive fairness in algorithmic decision making: Feature selection for procedurally fair learning. 32nd AAAI Conference on Artificial Intelligence, AAAI 2018, 51–60.
Kullback, S., & Leibler, R. A. (1951). On Information and Sufficiency. The Annals of Mathematical Statistics, 22(1), 79–86. doi:10.1214/aoms/1177729694
Gagnon, A., Miller, M. S., Hallman, S. A., Bourbeau, R., Herring, D. A., Earn, D. J. D., & Madrenas, J. (08 2013). Age-Specific Mortality During the 1918 Influenza Pandemic: Unravelling the Mystery of High Young Adult Mortality. PLOS ONE, 8(8), 1–9. doi:10.1371/journal.pone.0069586
Ceylan, R. F., Ozkan, B., & Mulazimogullari, E. (2020). Historical evidence for economic effects of COVID-19. The European Journal of Health Economics, Vol. 21, pp. 817–823. Springer.
Deb, P., Furceri, D., Ostry, J. D., & Tawk, N. (2022). The economic effects of COVID-19 containment measures. Open Economies Review, 33(1), 1–32.
Markowitz, H. (1952). Portfolio Selection. Journal of Finance, 7(1), 77–91. doi:j.1540-6261.1952.tb01525.x
Ohi, A. Q., Mridha, M. F., Monowar, M. M., & Hamid, M. A. (2020). Exploring optimal control of epidemic spread using reinforcement learning. Scientific Reports, 10(1), 22106. doi:10.1038/s41598-020-79147-8
Kao, Y., Chu, P.-J., Chou, P.-C., & Chen, C.-C. (2024). A dynamic approach to support outbreak management using reinforcement learning and semi-connected SEIQR models. BMC Public Health, 24(1), 751. doi:10.1186/s12889-024-18251-0
Hamatani, S., Hiraoka, D., Makita, K., Tomoda, A., & Mizuno, Y. (2022). Longitudinal impact of COVID-19 pandemic on mental health of children in the ABCD study cohort. Scientific Reports, 12(1), 19601. doi:10.1038/s41598-022-22694-z
Mazrekaj, D., & Witte, K. D. (2024). The Impact of School Closures on Learning and Mental Health of Children: Lessons From the COVID-19 Pandemic. Perspectives on Psychological Science, 19(4), 686–693. doi:10.1177/17456916231181108
Raghu, A., Komorowski, M., Ahmed, I., Celi, L., Szolovits, P., & Ghassemi, M. (2017). Deep Reinforcement Learning for Sepsis Treatment. arXiv [Cs.AI]. Retrieved from http://arxiv.org/abs/1711.09602
Yu, C., Liu, J., & Nemati, S. (2020). Reinforcement Learning in Healthcare: A Survey. arXiv [Cs.LG]. Retrieved from http://arxiv.org/abs/1908.08796
Auray, S., & Eyquem, A. (2020). The macroeconomic effects of lockdown policies. Journal of Public Economics, 190, 104260. doi:10.1016/j.jpubeco.2020.104260
de Koning, E. R., Boogers, M. J., Beeres, S. L., Kramer, I. D., Dannenberg, W. J., & Schalij, M. J. (2022). Managing Hospital Capacity: Achievements and Lessons from the COVID-19 Pandemic. Prehospital and Disaster Medicine, 37(5), 600–608. doi:10.1017/S1049023X22001169
Brooks, S. K., Webster, R. K., Smith, L. E., Woodland, L., Wessely, S., Greenberg, N., & Rubin, G. J. (2025). The psychological impact of quarantine and how to reduce it: rapid review of the evidence. The Lancet, 395(10227), 912–920. doi:10.1016/S0140-6736(20)30460-8
Miranda, M. N. S., Pingarilho, M., Pimentel, V., Torneri, A., Seabra, S. G., Libin, P. J. K., & Abecasis, A. B. (2022). A Tale of Three Recent Pandemics: Influenza, HIV and SARS-CoV-2. Frontiers in Microbiology, 13–2022. doi:10.3389/fmicb.2022.889643
Reymond, M., Hayes, C. F., Willem, L., Rădulescu, R., Abrams, S., Roijers, D. M., … Libin, P. (2024). Exploring the Pareto front of multi-objective COVID-19 mitigation policies using reinforcement learning. Expert Systems with Applications, 249, 123686. doi:10.1016/j.eswa.2024.123686
Brussel, V. U. (2023, October). VUB guidelines for responsible use of artificial intelligence for research purposes (Version 1.0). Version 1.0. doi:10.5281/zenodo.10817983
Belgian Health Care Knowledge Centre (KCE). (2024). Performance of the Belgian health system -- report 2024. Retrieved from Belgian Health Care Knowledge Centre (KCE) website: https://www.healthybelgium.be/metadata/hspa/2024/R2.pdf
Faes, C., Hens, N., & Gilbert, M. (2021). On the timing of interventions to preserve hospital capacity: lessons to be learned from the Belgian SARS-CoV-2 pandemic in 2020. Archives of Public Health, 79(1), 164. doi:10.1186/s13690-021-00685-2
Vanspringel, S., Cimpean, I. A., Libin, P., & Nowe, A. (2023). A general purpose framework for fairness in job hiring. Proceedings of the Benelux Conference on Artificial Intelligence, https://bnaic2023.tudelft.nl/pre-proceedings, 1–3.
