Learning Dashboard Activity as a 'Learning Trace': Does dashboard activity predict first-year student success?
De geheime waarde van learning dashboards
Ieder jaar starten duizenden eerstejaarsstudenten aan de KU Leuven. Een groot deel daarvan kiest een STEM richting (science, technology, engineering and mathematics). Geen slechte keuze, want de arbeidsmarkt smeekt om ingenieurs en wetenschappers. Toch haalt een groot deel van deze studenten de eindmeet niet, 30% van de eerstejaars valt uit. Voor zowel de bedrijven als de studenten is het dus cruciaal om snel deze studenten op te sporen en terug op weg te helpen. Deze thesis draagt hier zijn steentje in bij.
Learning dashboards
Recent heeft de KU Leuven een nieuwe tool ontwikkeld, learning dashboards. Het doel van het dashboard is om studenten feedback te geven om op een meer strategische manier te leren. Zo krijgen studenten een score op hun studievaardigheden en gepersonaliseerde feedback. Hiernaast krijgen ze tips om hun score te verbeteren en kunnen ze hun score vergelijken met andere eerstejaarsstudenten uit dezelfde richting.
In deze thesis wordt de data geanalyseerd van deze nieuwe innovatieve tool. Meer specifiek is het doel van deze thesis ontdekken of deze data een significante bijdrage levert in al bestaande detectietools voor eerstejaarsstudenten in nood.
De voordelen van learning dashboards in deze detectie zijn enorm. Goede indicators van studiesucces zijn schaars. Daarbij is de data is goedkoop en al in de eerste weken van het academiejaar beschikbaar. Dit maakt het potentieel van onschatbare waarde om studenten te helpen.
Dashboardbezoekers
De eerstejaarsstudenten kregen een e-mail met een link naar het dashboard. Als eerste stap werd onderzocht of louter het dashboard bezoeken al voorspellende waarde heeft. De resultaten overtroffen de verwachtingen, dit gegeven verbeterde alle bestaande voorspellende modellen. Zowel de voorspelling van de punten, percentage van gehaalde vakken en studiesucces verbeterde. Studenten die het dashboard bezoeken, worden verwacht hun eerste jaar veel beter te doorworstelen.
Activiteit op het dashboard
Gesteund door het succes van de vorige analyse werden meer gedetailleerde variabelen gecreeërd en gebruikt om de score van de eerstejaars te voorspellen. Enkele veelbelovende resultaten kwamen aan het licht. Ten eerste bleek de tijd die studenten op het dasboard spenderen van voorspellende waarde. Voor iedere extra minuut die studenten op het dashboard blijven, stijgt de verwachte score met 0,6 percentpunten. Ook hoelang de studenten wachten nadat ze de mail ontvangen is betekenisvol. Voor ieder extra uur dat ze hun bezoek uitstellen, daalt de verwachte score met 0,6 percentpunten.
Niet alleen tijd is belangrijk, ook de acties die de studenten uitvoeren worden geanalyseerd. Gek genoeg bezocht 27% van de studenten het dashboard meer dan eens. Voor ieder extra bezoekje, voorspelt het model een significante stijging van 2,8 percentpunten. Indien studenten het dashboard nog eens herbezochten na hun resultaten van het eerste semester, stijgt hun verwachte score nog eens significant.
Tot slot werd er ook onderzocht of studenten die de studietips lezen hoger scoorden dan hun collega's die dit niet doen. Dit bleek het geval te zijn, het lezen van de tips voor concentratie, test strategieën, faalangst en time management deed de voorspelde score stijgen.
Wat betekent dit nu?
Het zou wat kort door de bocht zijn om aan te nemen dat louter het bezoeken van het dashboard zorgt dat de eerstejaarsstudenten veel beter presteren. Een mogelijke alternatieve verklaring is dat het bezoeken van het dashboard en de acties op een bepaalde onderliggende dispositie wijzen. Meer bepaald kan het zijn dat dit engagement aantoont. Zo kan geruime tijd spenderen op het dashboard en het dashboard herbezoeken cognitief engagement aantonen. Dit is een soort van bereidheid om te investeren; om moeilijke vaardigheden onder de knie te krijgen en complexe ideeën te begrijpen. Deze bereidheid is op zijn beurt gerelateerd aan academisch succes.
De tijd tussen het krijgen van de link en het dashboard bezoeken kan wijzen op gedragsengagement. Dit engagement omvat het gedrag in de klas; in welke mate de student zich houdt aan de normen, regels en verwachtingen van de school. Als studenten het dashboard snel bezoeken toont dit dat de student geupdated blijft over de informatie de de universiteit verschaft. Ook dit is op zijn beurt gerelateerd aan het succes op de universiteit.
Wat moet er nog gebeuren?
De linken tussen het dashboard en engagement van de vorige paragraaf zijn nog niet onderzocht. Een mogelijke vervolgstap is de eerstejaarsstudenten een vragenlijst aanbieden over hun engagement en dit relateren aan de activiteit op het dashboard. Daarbij moet er ook onderzoek gebeuren of de gedetailleerde variabelen, net zoals de binaire variabele van dashboardbezoek, de bestaande modellen verbeterd. Toch zijn de resultaten van deze thesis alvast veelbelovend.
Agudo-Peregrina, A. F., Iglesias-Pradas, S., Conde-Gonzlez, M. A., & Hernndez-Garca., A. (2014). Can we predict success from log data in VLEs? Classification of interactions for learning analytics and their relation with performance in VLE-supported F2F and online learning. Computers in Human Behavior, 31(1), 542-550.
Alin, A. (2010). Multicollinearity. Wiley Interdisciplinary Reviews: Computational Statistics, 2(3), 370-374.
Belsley, D. (1982). Assessing the presence of harmful collinearity and other forms of weak data through a test for signal-to-noise. Journal of Econometrics, 20(2),211-253.
Bennett, D. (2001). How can I deal with missing data in my study? Australian and New Zealand Journal of Public Health, 25 (5), 464-469.
Boulton, C. A., Kent, C., & Williams H. T. P. (2018). Virtual learning environment engagement and learning outcomes at a bricks-and-mortar university. Computers & Education, 126, 129-142.
Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017). Dashboard for actionable feedback on learning skills: How learner profile affects use. Proceedings of the 7th Workshop on Awareness and Reflection in Technology Enhanced Learning Co-located with the 12th European Conference on Technology Enhanced Learning (EC-TEL 2017), 1997, 1-15.
Broos, T, Verbert, K, Langie, G, Van Soom, C,& De Laet, T. (2018). Multi-Institutional positioning test feedback dashboard for aspiring students lessons learnt from a case study in flanders. ACM International Conference Proceeding Series, 51-55.
Broos, T., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2018). Small data as a conversation starter for learning analytics: Exam results dashboard for first-year students in higher education. Journal of Research in Innovative Teaching & Learning, 1-14.
Cheng, S.,& Long, J. (2007). Testing for IIA in the Multinomial Logit Model.Sociological Methods and Research, 35(4), 583-600.
Choy, S. (2001).Students whose parents did not go to college postsecondary access,persistence, and attainment. Washington, DC : National Center for Education Center, U.S. Dept. of Education, Office of Educational Research and Improvement :Educational Resources Information Center
Conijn, R., Snijders, C., Kleingeld, A., & Matzat, U. (2017). Predicting Student Performance from LMS Data: A Comparison of 17 Blended Courses Using Moodle LMS.IEEE Transactions on Learning Technologies, 10(1), 17-29.
Cook, R. (2000). Detection of influential observation in linear regression.Technometrics, 42(1), 65-68.
Cytel inc. (2007).Statistical software for exact nonparametric inference. Camebridge, MA: Cytel inc.
Fagerland, M., & Hosmer, D. (2012). A generalized Hosmer-Lemeshow goodness-of-fit test for multinomial logistic regression models.Stata Journal, 12(3), 447-453.
Ferreira, S. A., & Andrade, A. (2016). Academic Analytics: Anatomy of an Exploratory Essay.Education and Information Technologies, 21(1), 229-243.
Fredricks, J., Blumenfeld, P., & Paris, A. (2004). School Engagement: Potential of the Concept, State of the Evidence. Review of Educational Research, 74(1), 59-109.
Freidlin, B., & Gastwirth, J. (2000). Should the Median Test be Retired from General Use? The American Statistician, 54(3), 161-164.
Fonteyne, Duyck, & De Fruyt. (2017). Program-specific prediction of academic achievement on the basis of cognitive and non-cognitive factors. Learning and Individual Differences, 56(C), 34-48.
Garson, D. G. (2014).Logistic Regression: Binary and Multinomial. Asheboro:Statistical Associates Publishing.
Holm, S. (1979). A Simple Sequentially Rejective Multiple Test Procedure.Scandinavian Journal of Statistics, 6(2), 65-70.
Jamshidian, M., & Jalal, S. (2010). Tests of homoscedasticity, normality, and missing completely at random for incomplete multivariate data.Psychometrika, 75(4)649674, 2010.
Jung, Y., & Lee, J. (2018). Learning Engagement and Persistence in Massive Open Online Courses (MOOCS).Computers & Education, 122, 9-22.
Kutner, M. H., Li, W., Nachtsheim, C. J, & Neter, J. (2005).Applied linear statistical models (5th ed.). Boston:McGraw-Hill/Irwin.
Lei, H., Cui, Y., & Zhou, W. (2018). Relationships between student engagement and academic achievement: a meta-analysis.Social Behavior and Personality, 46(3),517-528.
Little, R. (1988).A Test of Missing Completely at Random for Multivariate Data with Missing Values. Journal of the American Statistical Association, 83(404), 1198-1202.
Little, R. J. A, & Rubin, D. B. (2002).Statistical analysis with missing data (2nd ed., Wiley series in probability and statistics). London: Wiley.
Long, P. D., & Siemens, G. (2014). Penetrating the fog: Analytics in learning and education. TD Tecnologie Didattiche, 22(3), 132-137.
Macfadyen, & Dawson. (2010). Mining LMS data to develop an ”early warning system” for educators: A proof of concept. Computers & Education, 54(2), 588-599.
Malikowski, S. R., Thompson, M. E., & Theis, J. G. (2007). A model for research into course management systems: Bridging technology and learning theory. Journal of Educational Computing Research, 36(2), 149173.
McFadden, D., Tye, W. and Train, K. (1976). An Application of Diagnostic Tests for the Independence from Irrelevant Alternatives Property of the Multinomial Logit Model. Transportation Research Record, 637, 39-45.
Mohamad, S. K., & Tasir, Z. (2013). Educational Data Mining: A Review. Procedia- Social and Behavioral Sciences, 97, 320-324.
Molenberghs, G., & Kenward, M.G. (2007).Missing Data in Clinical Studies. John Wiley; New York.
Moore, M. G. (1989). Three types of interaction.American Journal of Distance Education, 3 (2), 1-6.
Mothilal, R. K., De Laet, T., Broos, T., & Pinxten, M. (). Predicting first year engineering student success; from traditional statistics to machine learning.
Mothilal, K. R. (2018).Statistical modeling of students’ performance in an open-admission bachelor program in Flanders. Leuven: KU Leuven. Faculteit Ingenieurswetenschappen.
National Math and Science Initiative. (2015).The STEM crisis. (Dallas, TX,National Math and Science Initiative.
Nguyen, Tuan Dinh, Cannata, Marisa, & Miller, Jason. (2016). Understanding Student Behavioral Engagement: Importance of Student Interaction with Peers and Teachers. Grantee Submission, 111(2), 13.
O’Connell, A. (2006).Logistic regression models for ordinal response variables (Quantitative applications in the social sciences). Thousand Oaks (Calif.): Sage.
Pinxten, M., & Hockicko, P. (2016). Predicting study success of first-year Science and Engineering students at the University of Zilina: An exploration of the added value of measuring incoming students’ learning and study strategies. 2016 elektro 11th international conference, 18-23.
Pinxten, M., Langie, G., Van Soom, C., Peeters, C., & De Laet, T. (2017). At-risk at the gate: Prediction of study success of first-year science and engineering students in an open-admission university in Flandersany incremental validity of study strategies? European Journal of Psychology of Education, 1-22.
Pursel, B. K., Zhang, L., Jablokow, K. W., Choi, G. W., & Velegol, D. (2016).Understanding MOOC Students: Motivations and Behaviours Indicative of MOOC Completion. Journal of Computer Assisted Learning, 32(3), 202-217.
Rafaeli, S. & Ravid, G. (1997). Online, web-based learning environment for an information systems course: Access logs, linearity and performance.Proc. Inf. Syst. Educ. Conf, 97, 9299.
Ruxton, Wilkinson,& Neuhuser. (2015). Advice on testing the null hypothesis that a sample is drawn from a normal distribution. Animal Behaviour, 107, 249-252.
Salmer ́on, R., Garc ́ıa, C. B. & Garc ́ıa, J. (2018). Variance Inflation Factor and Condition Number in multiple linear regression. Journal of Statistical Computation and Simulation, 88(12), 2365-2384.
Schwendimann, B.A., Rodrguez-Triana, M., Vozniuk, A., Prieto L. P., Boroujeni, M. S., Holzer, A., Gillet, D. & Dillenburg, P. (2016). Understanding learning at a glance: An overview of learning dashboard studies. Proceedings of the Sixth International Conference on Learning Analytics & Knowledge ,532-533.
Schmidt & Finan. (2018). Linear regression and the normality assumption. Journal of Clinical Epidemiology, 98, 146-151.
Spruyt, B., Kavadias, D. & Roggemans, L. (2014). Het selecteren van de uitverkorenen. Een onderzoek naar en discussie over het toelatingsexamen (tand)arts in Vlaanderen. Tijdschrift Voor Onderwijsrecht En Onderwijsbeleid, No:2014(5)
Tempelaar, D. T., Rienties, B. & Giesbers, B. (2015). In search for the most informative data for feedback generation: learning analytics in a data-rich context. Computers in Human Behavior, 47, 157167.
Trussel, J. & Burke-Smalley, L. (2018). Demography and student success: Early warning tools to drive intervention. Journal of Education for Business, 93(8), 363-372.
Tukey, J. (1977).Exploratory data analysis(Addison-Wesley series in behavioral science : quantitative methods). Reading: Addison-Wesley.
Tutz, G., Pnecker, W. & Uhlmann.L.(2015). Variable selection in general multinomial logit models. Computational Statistics and Data Analysis, 82(C), 207-222.
Van den Broeck, L., Pinxten, M., Langie, G., De Laet, T., Lacante, M. & Van Soom, C. (2018). Predicting the academic achievement of students bridging to engineering:The role of academic background variables and diagnostic testing. Journal of Further and Higher Education, 1-19.
Vargha, A. & Delaney, H. (1998). The Kruskal-Wallis Test and Stochastic Homogeneity. Journal of Educational Statistics, 23(2), 170-192.
Weinstein, C. E. & Palmer D. R. (2002).LASSI users manual: For those administering the learning and study strategies inventory. H & H Pub.
Wolff, A., Zdrahal, Z., Nikolov, A. & Pantucek, M. (2013). Improving retention: predicting at-risk students by analysing clicking behaviour in a virtual learning environment. Proceedings of the Third International Conference on Learning Analytics and Knowledge, 145-149.
Yu, T. & Jo, I. (2014). Educational technology approach toward learning analytics:Relationship between student online behavior and learning performance in higher education. Proceedings of the Fourth International Conference on Learning Analytics and Knowledge, 269-270