De geheime waarde van learning dashboards
Ieder jaar starten duizenden eerstejaarsstudenten aan de KU Leuven. Een groot deel daarvan kiest een STEM richting (science, technology, engineering and mathematics). Geen slechte keuze, want de arbeidsmarkt smeekt om ingenieurs en wetenschappers. Toch haalt een groot deel van deze studenten de eindmeet niet, 30% van de eerstejaars valt uit. Voor zowel de bedrijven als de studenten is het dus cruciaal om snel deze studenten op te sporen en terug op weg te helpen. Deze thesis draagt hier zijn steentje in bij.
Learning dashboards
Recent heeft de KU Leuven een nieuwe tool ontwikkeld, learning dashboards. Het doel van het dashboard is om studenten feedback te geven om op een meer strategische manier te leren. Zo krijgen studenten een score op hun studievaardigheden en gepersonaliseerde feedback. Hiernaast krijgen ze tips om hun score te verbeteren en kunnen ze hun score vergelijken met andere eerstejaarsstudenten uit dezelfde richting.
In deze thesis wordt de data geanalyseerd van deze nieuwe innovatieve tool. Meer specifiek is het doel van deze thesis ontdekken of deze data een significante bijdrage levert in al bestaande detectietools voor eerstejaarsstudenten in nood.
De voordelen van learning dashboards in deze detectie zijn enorm. Goede indicators van studiesucces zijn schaars. Daarbij is de data is goedkoop en al in de eerste weken van het academiejaar beschikbaar. Dit maakt het potentieel van onschatbare waarde om studenten te helpen.
Dashboardbezoekers
De eerstejaarsstudenten kregen een e-mail met een link naar het dashboard. Als eerste stap werd onderzocht of louter het dashboard bezoeken al voorspellende waarde heeft. De resultaten overtroffen de verwachtingen, dit gegeven verbeterde alle bestaande voorspellende modellen. Zowel de voorspelling van de punten, percentage van gehaalde vakken en studiesucces verbeterde. Studenten die het dashboard bezoeken, worden verwacht hun eerste jaar veel beter te doorworstelen.
Activiteit op het dashboard
Gesteund door het succes van de vorige analyse werden meer gedetailleerde variabelen gecreeërd en gebruikt om de score van de eerstejaars te voorspellen. Enkele veelbelovende resultaten kwamen aan het licht. Ten eerste bleek de tijd die studenten op het dasboard spenderen van voorspellende waarde. Voor iedere extra minuut die studenten op het dashboard blijven, stijgt de verwachte score met 0,6 percentpunten. Ook hoelang de studenten wachten nadat ze de mail ontvangen is betekenisvol. Voor ieder extra uur dat ze hun bezoek uitstellen, daalt de verwachte score met 0,6 percentpunten.
Niet alleen tijd is belangrijk, ook de acties die de studenten uitvoeren worden geanalyseerd. Gek genoeg bezocht 27% van de studenten het dashboard meer dan eens. Voor ieder extra bezoekje, voorspelt het model een significante stijging van 2,8 percentpunten. Indien studenten het dashboard nog eens herbezochten na hun resultaten van het eerste semester, stijgt hun verwachte score nog eens significant.
Tot slot werd er ook onderzocht of studenten die de studietips lezen hoger scoorden dan hun collega's die dit niet doen. Dit bleek het geval te zijn, het lezen van de tips voor concentratie, test strategieën, faalangst en time management deed de voorspelde score stijgen.
Wat betekent dit nu?
Het zou wat kort door de bocht zijn om aan te nemen dat louter het bezoeken van het dashboard zorgt dat de eerstejaarsstudenten veel beter presteren. Een mogelijke alternatieve verklaring is dat het bezoeken van het dashboard en de acties op een bepaalde onderliggende dispositie wijzen. Meer bepaald kan het zijn dat dit engagement aantoont. Zo kan geruime tijd spenderen op het dashboard en het dashboard herbezoeken cognitief engagement aantonen. Dit is een soort van bereidheid om te investeren; om moeilijke vaardigheden onder de knie te krijgen en complexe ideeën te begrijpen. Deze bereidheid is op zijn beurt gerelateerd aan academisch succes.
De tijd tussen het krijgen van de link en het dashboard bezoeken kan wijzen op gedragsengagement. Dit engagement omvat het gedrag in de klas; in welke mate de student zich houdt aan de normen, regels en verwachtingen van de school. Als studenten het dashboard snel bezoeken toont dit dat de student geupdated blijft over de informatie de de universiteit verschaft. Ook dit is op zijn beurt gerelateerd aan het succes op de universiteit.
Wat moet er nog gebeuren?
De linken tussen het dashboard en engagement van de vorige paragraaf zijn nog niet onderzocht. Een mogelijke vervolgstap is de eerstejaarsstudenten een vragenlijst aanbieden over hun engagement en dit relateren aan de activiteit op het dashboard. Daarbij moet er ook onderzoek gebeuren of de gedetailleerde variabelen, net zoals de binaire variabele van dashboardbezoek, de bestaande modellen verbeterd. Toch zijn de resultaten van deze thesis alvast veelbelovend.
