A multi-stakeholder perspective on a human and AI judging system in gymnastics

Céline Decoster
Persbericht

Wat als robots de turnjury vervangen?

“Machines zullen doen wat mensen niet kunnen. Machines zullen samenwerken met de mens, in plaats van de grootste vijand van de mensheid te worden”, Jack Ma, de oprichter van Alibaba.

Turnen is een van de meest bekeken en bijgewoonde sporten tijdens de Olympische Spelen. Ondanks deze vierjaarlijkse populariteitspiek, heeft de turnsport last van een gebrek aan interesse in niet-olympische jaren. Een belangrijke reden hiervoor is dat gymnastiek een jurysport is. Voor een leek is het quasi onmogelijk om te begrijpen waarom de ene gymnast(e) een betere score behaalt dan de andere. Voor wie wel vertrouwd is met de regels, is het dan weer frustrerend als de gegeven scores niet 100% objectief lijken.

Eurovisiesong effect in het turnen

Inderdaad, de sport heeft al verschillende juryschandalen achter de rug die het gevolg zijn van menselijke vooroordelen bij de evaluatie van een oefening. Een gymnast gaf toe opgemerkt te hebben dat wanneer de Belgen in Nederland een wedstrijd turnen, de Belgen meer punten krijgen van de Nederlanders, en omgekeerd. De mens is een subjectief wezen, en kan in zijn evaluatie beïnvloed worden door verschillende factoren. Vooroordelen kunnen gebaseerd zijn op nationaliteit, de volgorde van de presterende gymnasten, en de reputatie. Ook kan de positie van een jury, of vermoeidheid een rol spelen in de evaluatie van gymnasten. Internationaal jurylid Marleen van Dooren spreekt uit ervaring: “Op het WK in Doha bijvoorbeeld, ik was D1 jurylid op vloer. Wanneer een gymnaste aan de andere kant van de vloer turnt is ze 15 meter ver van ons, we hebben dan geen zicht op haar voeten.”

De robots schieten ter hulp

Deze problemen kunnen binnenkort verleden tijd zijn. Fujitsu en de Internationale Gymnastiek Federatie (FIG) werken samen aan de ontwikkeling van een nieuw jurysysteem dat belooft om vrij te zijn van vooroordelen. Dit systeem zal menselijke evaluatie en artificiële intelligentie (AI) combineren, en zou al gebruikt kunnen worden tijdens de uitgestelde Olympische Spelen van Tokyo 2020. De technologie bestaat uit 3D lasersensoren en een software dat op basis van de positie van de gewrichten posities kan herkennen, om zo elementen en de uitvoering ervan te herkennen en uiteindelijk tot een score te komen. Deze technologie kan vergeleken worden met de VAR in het voetbal die ook ingeroepen wordt om accuratere beslissingen te nemen.

In mijn thesis onderzoek ik wat de verschillende stakeholders van het turnen denken over dat nieuwe technologische jurysysteem. In deze studie worden vier stakeholdergroepen geïdentificeerd: juryleden, gymnasten, trainers en fans. Deze doelgroepen werden geïnterviewd om naar hun mening te vragen over deze technologie. De nadruk van deze studie ligt op wat de impact zou kunnen zijn van deze technologie voor wat betreft de populariteit van de sport.

AI-technologie als jureringstool

Uit de interviews bleek dat de technologie als een hulpsysteem positief ontvangen wordt. De meerderheid van de geïnterviewden zijn ervan overtuigd dat de technologie het jureringsproces ten goede zal komen. Het zal het transparanter, objectiever en accurater maken, waardoor er minder discussie zal ontstaan rond scores. “Ik denk echt dat het de sport ten goede zal komen omdat het objectiever zal zijn en er minder discussie gaat zijn zoals ‘is de hoek goed of niet, is de pirouette volledig uitgedraaid of niet?’ Dat zijn dingen die de technologie perfect kan zien, wat ik echt goed vind” (Voormalig internationale gymnaste Laura Waem). Gegeven de controverse rond de VAR in het voetbal, is dit een verrassende vaststelling. Een belangrijk verschil is echter dat voor turnen elk element specifiek kan bepaald en dus herkend worden door de technologie. Verder geven de stakeholders aan dat de technologie de juryleden niet volledig kan vervangen, men plaatst namelijk heel wat vraagtekens over de evaluatie van het artistieke aspect van de sport. Voormalig internationaal gymnaste en huidig topsport coach Julie Croket stelt zich vragen: “Aan de andere kant, turnen is natuurlijk een artistieke sport, dus de choreografie, de uitstraling, hoe de gymnaste voorkomt, dat gaat de computer volgens mij niet kunnen beoordelen. Ik zou niet weten hoe ze dat kunnen verwezenlijken.”

Er is maar weinig overtuiging dat het objectiever maken van het jureringsproces meer fans zal aantrekken tot de sport. Het transparanter maken daarentegen, zou een revolutie kunnen betekenen. De ingewikkeldheid van het puntensysteem in turnen wordt vaak als een van de voornaamste redenen genoemd waarom niet veel mensen de sport volgen. Het systeem zou meer uitleg rond de sport en de jurering kunnen geven, zowel live in de arena, alsook tijdens live uitzendingen van wedstrijden. En dit zou onder andere volgens fan Hannah Mouillot een impact hebben op de populariteit van de sport “Ik denk dat het echt een pluspunt is voor de fans. Het is een feit dat mensen die de sport niet beoefenen het moeilijk hebben om een wedstrijd te volgen. De technologie zou ervoor kunnen zorgen dat het grote publiek gymnastiek beter zullen begrijpen. Onvermijdelijk zal dat de sport attractiever maken, en meer mensen zullen naar wedstrijden kijken”.

AI-technologie als trainingtool

Trainers en gymnasten zijn van mening dat ook de technologie als een trainingtool voordelig kan zijn. Door het systeem dat hen zal evalueren op grote wedstrijden ook op training te gebruiken, zouden ze een groot competitief voordeel creëren ten opzichte van landen of zalen die dat systeem niet hebben. Gymnasten die met dit systeem kunnen trainen zouden betere prestaties kunnen leveren op internationale wedstrijden.

Betere prestaties leiden vaak tot meer media aandacht, dat weet internationaal gymnast Florian Landuyt: “Niet zo veel mensen kijken naar het turnen. Je kan dat vooral bereiken door prestaties te behalen, als we kijken naar Nina en het meisjesteam die de Spelen hebben gehaald, ze hebben meteen veel meer media aandacht gekregen.” Door meer media aandacht, worden ook meer mensen bereikt die eventueel de sport zullen beginnen te volgen. Dus het systeem gebruiken als een trainingtool zou ook onrechtstreeks kunnen leiden tot een grotere populariteit van de sport.

Als we nu de juryleden kunnen vervangen door robots, vervangen we dan ook de gymnasten binnenkort?

Bibliografie

Bellman, R. (1978). An introduction to artificial intelligence: can computer think? Boyd & Fraser.

Besley, J. C. (2010). Public Engagement and the Impact of Fairness Perceptions on Decision Favorability and Acceptance. Science Communication, 32(2), 256-280.

Boen, F., van Hoye, K., Vanden Auweele, Y., Feys, J., & Smits, T. (2008). Open feedback in gymnastic judging causes conformity bias based on informational influencing. Journal of Sports Sciences, 26(6), 621-628.

Brock, H., Lee, J., & Oghi, Y. (2017, September). Learning to judge like a human: convolutional networks for classification of ski jumping errors. Proceedings of the 2017 ACM international symposium on wearable computers, 106-113.

Brockner, J., Heuer, L., Magner, N., Folger, R., Umphress, E., van den Bos, K., . . . Siegel, P. (2003). High procedural fairness heightens the effect of outcome favorability on self-evaluations: An attributional analysis. Organizational Behavior and Human Decision Processes , 51-68.

Clarck, L. (2019, October 9). Computer-assisted judging is being tested at gymnastics world championships. The Washington Post. Retrieved from https://www.washingtonpost.com/sports/olympics/computer-assisted-judgin…

Cortsen, K., & Rascher, D. A. (2018). The Application of Sports Technology and Sports Data for Commercial Purposes. In The use of technology in sports - Emerging challenges. IntechOpen.

Cramer, H., Evers, V., Ramlal, S., van Someren, M., Rutledge, L., Stash, N., . . . Wielinga, B. (2008). The effects of transparency on trust in and acceptance of a content-based art recommender. User Modeling and User-Adapted Interaction, 18(5), 455.

Damisch, L., Mussweiler, T., & Plessner, H. (2006). Olympic medals as fruits of comparison? Assimilation and contrast in sequential performance judgments. Journal of experimental Psychology: Applied, 12(3), 166-178.

Das, S. (2019, October 31). Top 10 Most Popular Olympic Sports. Retrieved from Sportsshow: https://sportsshow.net/most-popular-olympic-sports/

Dellerman, D., Calma, A., Lipush, N., Weber, T., Weigel, S., & Ebel, P. (2019). The Future of Human-AI Collaboration: A Taxonomy of Design Knowledge for Hybrid Intelligence Systems.

Ditto. (2019, July 26). The death of black box AI: Why we need to focus on Explainable AI instead. Retrieved from Ditto: https://www.ditto.ai/blog/black-box-ai-vs-explainable-ai

Duong, A. (2008). Bias in the 2008 Beijing Olympics (Gymnastics).

Fédération Internationale de Gymnastique. (2019). Statutes - Edition 2019.

Findlay, L. C., & Ste-Marie, D. M. (2004). A Reputation Bias in Figure Skating Judging. Journal of sport & exercise psychology, 26(1), 154-166.

Flessas, K., Mylonas, D., Panagiotaropoulou, G., Tsopani, D., Korda, A., Siettos, C., . . . Smyrnis, N. (2015). Judging the Judges’ Performance in Rhythmic Gymnastics. Medicine & Science in Sports & Exercice, 47(3), 640-648.

Folger, R., & Cropanzano, R. (1998). Organizational justice and human resource management (Vol. 7). Sage.

Folger, R., Rosenfield, D., Grove, J., & Corkan, L. (1979). Effects of "Voice" and Peer Opinions on Responses to Inequity. Journal of Personality and social pshychology, 37(12), 2253-2261.

Fujistu. (n.d.). About Fujitsu. Retrieved from Fujitsu: https://www.fujitsu.com/be/about/index.html

Fujitsu. (2018). The International Gymnastics Federation to Implement Fujitsu's Judging Support System. The International Gymnastics Federation (FIG) ,Fujitsu Limited. Lausanne, Switzerland, and Tokyo, Japan: Fujitsu & FIG. Retrieved from https://www.fujitsu.com/global/about/resources/news/press-releases/2018…

Fujitsu. (2019). "A step towards the future" with the first official use of Fujitsu technology to support judging at the 2019 Artistic Gymnastics World Championships. Lausanne, Switzerland, and Tokyo, Japan: Fujitsu & FIG. Retrieved from https://www.fujitsu.com/global/about/resources/news/press-releases/2019…

Fujitsu. (2019, October 29). Fujitsu's 3D Sensing/AI Technology Based Judging Support System for Gymnastics. Retrieved from https://www.youtube.com/watch?v=Flz5WkyXl5Q

Fujitsu Limited. (2019). Fujitsu’s 3D Sensing Technology and Activities in Artistic Gymnastics. Fujitsu Limited.

Fujiwara, H., & Ito, K. (2018, September). ICT-based judging support system for artistic gymnastics and intended new world created through 3D sensing technology. Fujitsu scientific & technical journal, 54(4), 66-72.

Harding, J. W., Toohey, K., Martin, D. T., Hahn, A. G., & James, D. A. (2008). Technology and half-pipe snowboard competition – insight from elite level judges (P240). The engineering of sport 7, 467-476.

Harding, J., Lock, D., & Toohey, K. (sd). Managing technological change in sport: elite snowboarding competition and proposed judging innovations.

Harris, R. (2018, January 23). FIFA World Cup 2018: Video replay technology to be used in Russia. Retrieved from The Sydney Morning Herald: https://www.smh.com.au/sport/soccer/fifa-world-cup-2018-video-replay-te…

Heiniger, S., & Mercier, H. (2018). Judging the Judges: Evaluating the Performance of International Gymnastics Judges. arXiv preprint arXiv:1807.10021.

Heiniger, S., & Mercier, H. (2018). National Bias of International Gymnastics Judges during the 2013–2016 Olympic Cycle. arXiv preprint arXiv:1807.10033.

Hollander-Blumoff, R., & Tyler, T. R. (2008). Procedural Justice in Negotiation: Procedural Fairness, Outcome Acceptance, and Integrative Potential. Law & Social Inquiry, 33(2), 173-500.

Kahle, L. R., & Bee, C. C. (2006). Relationship Marketing in Sports: A Functional Approach. Sport Marketing Quarterly, 15(2).

Keh, A. (2019, October 10). Gymnastics’ Latest Twist? Robot Judges That See Everything. The New York Times. Retrieved from https://www.nytimes.com/2019/10/10/sports/olympics/gymnastics-robot-jud…

Kerr, R. (2016). Technologies for judging, umpiring and refereeing. Manchester University Press.

Kirkbride, A. T. (2013). Scoring/Judging applications. In Routledge Handbook of Sports Performance Analysis (pp. 158-170). Routledge.

Konovsky, M. A. (2000). Understanding Procedural Justice and Its Impact on Business Organizations. Journal of management, 26(3), 489-511.

Leveaux, R. (2010). Facilitating Referee’s Decision Making in Sport via the Application of Technology. Communications of the IBIMA .

Leveaux, R. (2012). 2012 Olympic Games Decision Making Technologies for Taekwondo Competition. Communications of the IBIMA.

Leventhal, G. S., Karuza, J., & Fry, W. R. (1980). Beyond fairness: A theory of allocation preferences.

Logothetis, P. (2017, November 4). Cracking the vault: Artificial intelligence judging comes to gymnastics. The Guardian. Retrieved from https://www.theguardian.com/sport/blog/2017/nov/04/ai-judges-gymnastics…

Masters, D. N. (2019, February 22). How technology is improving the fan experience – and creating legal challenges for clubs and leagues. Retrieved from Law in Sport: https://www.lawinsport.com/topics/item/how-technology-is-improving-the-…

Muylle, S., & Standaert, W. (2016). The Use of Procedural Fairness in Electronic Reverse Auctions to Enhance Relationship Quality. Psychology & Marketing, 33(4), 283–296 .

Plessner, H. (1999). Expectation biases in gymnastics judging. Journal of Sport and Exercice Psychology, 21, 131-144.

Plessner, H., & Schallies, E. (2005, June 13). Judging the Cross on Rings: A Matter of Achieving Shape Constancy. Applied Cognitive Psychology: The Official Journal of the Society for Applied Research in Memory and Cognition, 19(9), 1145-1156.

Radnofsky, L. (2019, August 23). The robots are coming (to judge gymnastics). The Wall Street Journal. Retrieved from https://www.wsj.com/articles/the-robots-are-coming-to-judge-gymnastics-…

Rawlins, B. R. (2008). Measuring the relationship between organizational transparency and employee trust .

Rhue, L. (2019). Beauty is in the AI of the Beholder: How Artificial Intelligence Anchors Human Decisions on Subjective vs. Objective Measures.

Robert, L. P., Pierce, C., Marquis, L., Kim, S., & Alahmad, R. (2020). Designing fair AI for managing employees in organizations: a review, critique, and design agenda. 1-3. Human-Computer Interaction.

Rutherford, P. (2016, July 22). Judging scandal still haunts Korean Yang. Reuters. Retrieved from https://www.reuters.com/article/us-olympics-rio-gymnastics-yang/judging…

Rzepka, C., & Berger, B. (2018). User Interaction with AI-enabled Systems: A Systematic Review of IS Research.

Sarazen, M. (Ed.). (2019, January 26). Meet Fujitsu’s AI Gymnastics Judges. Synced. Retrieved from https://syncedreview.com/2019/01/26/meet-fujitsus-ai-gymnastics-judges/

Sasaki, K., Masui, S., & Tezuka, K. (2018, September). 3D sensing technology for real-time quantification of athletes’ movements. Fujitsu Scientific and Technical Journal, 54(4), 8-16.

Seidel, S., Lindberg, A., Berente, N., & Lyytinen, K. (2019). Autonomous Tools and Design: A Triple-Loop Approach to Human-Machine Learning. Communications of the ACM, 62(1), 50-57.

Shank, M. D., & Lyberger, M. R. (2014). Sports Marketing: A strategic perspective (5th ed.). Routledge.

Shrestha, Y. R., Ben-Menahem, S. M., & von Krogh, G. (2019). Organizational Decision-Making Structures in the Age of Artificial Intelligence. California Management Review, 61(4), 66-83.

Socolow, B. R. (2017, February). Big Data in Sports: Changing the Game. Retrieved from Loeb & Loeb: https://www.loeb.com/en/insights/publications/2017/02/big-data-in-sport…

Tversky, A., & Kahneman, D. (1974). Judgements under uncertainty. Science, 185(4157), 1124-1131.

Tyler, T. R. (1994). Psychological models of the justice motive: Antecedents of distributive and procedural justice. Journal of Personality and Social Psychology, 67(5), 850-863.

Tyler, T. R., & Lind, E. A. (1992, November). A relational model of authority in groups. Advances in Experimental Social Psychology, 25, 115-191.

USAgym. (n.d.). FIG Elite/International Scoring. Retrieved from USAgym: https://usagym.org/pages/events/pages/fig_scoring.html

V.V, P. (2013). The problem of the quality of judging in ryhtmic gymnastics. Pedagogics, psychology, medical-biological problems of physical training and sports(3), 43-46.

van den Bos, K., Vermunt, R., & Wilke, H. A. (1997). Procedural and distributive justice: what is fair depends more on what come first than on what comes next. Journal of personality and social psychology, 72(1), 95-104.

van den Bos, K., Wilke, H. A., & Lind, E. A. (1998). When do we need procedural fairness? The role of trust in authority. Journal of personality and social psychology, 75(6), 1449-1458.

van den Bos, K., Wilke, H. A., Lind, E. A., & Vermunt, R. (1998). Evaluating outcomes by means of the fair process effect: Evidence for different processes in fairness and satisfaction judgments. Journal of personality and social psychology, 74(6).

van den Broek, E., Sergeeva, A., & Huysman, M. (2019). Hiring Algorithms: An etnography of fairness in practice.

Watanabe, M. (2019). Fujitsu Judging Support System at FIG Artistic Gymnastics World Championships in Stuttgart. Press release, Lausanne. Retrieved from https://www.fujitsu.com/global/about/resources/news/press-releases/2019…

Xu, D. J., Cenfetelli, R. T., & Benbasat, I. (2014). The nature and consequences of trade-off transparency in the context of recommendation agents. MIS quarterly.

Universiteit of Hogeschool
Master of Science in de handelswetenschappen - Afstudeerrichting commercieel beleid
Publicatiejaar
2020
Promotor(en)
Willem Standaert
Kernwoorden
https://twitter.com/belgiangymnerd
Share this on: