Door Marloes Menten en Griet Vanwynsberghe
Wereldwijd voelen scholen een groeiende nood aan zelfevaluatie om hun onderwijs te optimaliseren en hun interne kwaliteitszorg uit te werken. Schoolfeedback is een Vlaams instrument dat scholen hierbij wil helpen. In deze masterproef werden acht Vlaamse lagere scholen gevolgd bij hun deelname aan schoolfeedback. Het gebruik van schoolfeedback werd in kaart gebracht en er werd op zoek gegaan naar huidige moeilijkheden die ervaren worden bij de gebruikers. Daarbij werden ook suggesties ter verbetering van het schoolfeedbacksysteem gegeven. Het model van Verhaeghe (2011)[1] over schoolfeedbackgebruik was het startpunt van dit onderzoek. Dit model werd kritisch onder de loep genomen en na een toetsing hiervan in dit onderzoek werd het bestaande model op een aantal punten aangevuld.
De groeiende nood aan zelfevaluatie binnen het onderwijs is het gevolg van een ondersteunende en terugtrekkende overheid waarbij scholen enerzijds steeds meer zelfstandigheid krijgen en anderzijds zelf verantwoordelijk worden gesteld voor de kwaliteit van hun onderwijs. Daardoor ervaren scholen meer nood aan instrumenten die hen hierbij helpen. Om aan die nood te beantwoorden werd schoolfeedback in het leven geroepen. Dit Vlaams systeem is opgestart in 2006, in een samenwerking tussen de KU Leuven, de Universiteit Antwerpen en de Universiteit Gent met als doel scholen te ondersteunen bij het ontwikkelen en verbeteren van hun interne kwaliteitszorg. Schoolfeedback stelt gestandaardiseerde toetsen van taal en/of wiskunde ter beschikking aan lagere of secundaire scholen. Daarnaast verzamelt schoolfeedback informatie over de achtergrondgegevens van de leerlingen. Met deze informatie worden schoolfeedbackrapporten opgesteld. Hierin wordt de school vergeleken met scholen die een gelijkaardig leerlingenpubliek hebben. Het rapport geeft aan waar de school sterker of zwakker scoort, maar biedt scholen geen richtlijnen die onmiddellijk geïmplementeerd kunnen worden in hun kwaliteitszorgbeleid.
In het verleden werd op basis van eerder onderzoek gesleuteld aan de feedbackrapporten. In dit onderzoek werd nagegaan of deze wijzigingen hun doel bereiken en of scholen nog moeilijkheden ervaren bij het gebruik van schoolfeedback. Ook werd er nagegaan hoe, voornamelijk schooldirecteurs, gebruik maken van schoolfeedback en hoe ze schoolfeedback evalueren.
In deze masterproef werden acht scholen gedurende anderhalf jaar gevolgd in hun deelname aan schoolfeedback. Deze scholen zijn afkomstig van verschillende netten, maar maken deel uit van hetzelfde lokaal overlegplatform[2] (LOP). Het voorstel voor de deelname kwam dan ook van het LOP. Er werden voor dit onderzoek drie interviews afgenomen per school. Meestal werd de schooldirecteur geïnterviewd, tijdens enkele interviews was de zorgcoördinator eveneens aanwezig.
In dit onderzoek werd tijdens het eerste interview, voor de scholen een eerste schoolfeedbackrapport ontvangen hadden, gepolst naar de voornemens die schoolleiders hadden over hun gebruik van schoolfeedback. De meeste schoolleiders wilden op basis van de feedback hun onderwijs optimaliseren en hun beleid aanpassen. Bij tegenvallende resultaten hadden ze het voornemen om acties op te zetten. Enkele directeurs gaven ook aan dat ze de rapporten wilden gebruiken ter verantwoording bij een doorlichting van de onderwijsinspectie of om vooroordelen tegen de school weg te werken. Er werd gepolst naar de verwachtingen van het schoolfeedbackrapport en de voornemens van schoolleiders met betrekking tot het gebruik ervan. De motivatie om deel te nemen was voornamelijk extrinsiek: het voorstel voor deelname kwam vanuit het LOP en werd niet door de schoolleiders zelf voorgesteld. Hierdoor kregen sommige schoolleiders het gevoel dat dit hen opgedrongen werd. De directeurs hadden daarnaast ook verschillende verwachtingen van de inhoud van de rapporten. Helaas waren deze verwachtingen niet altijd correct.
Na anderhalf jaar deelname bleek uit het tweede en derde interview dat de goede voornemens in bijna geen enkele school in de praktijk werden omgezet. Alle schoolleiders, op één na, hadden de rapporten gelezen. In heel wat scholen werden de resultaten meegedeeld en besproken op de personeelsvergadering. Echter, in slechts twee scholen werden acties opgezet ten gevolge van de resultaten in de feedbackrapporten. In geen enkele school was er na anderhalf jaar deelname aan schoolfeedback een invloed op het beleid.
Doorheen hun deelname aan schoolfeedback ontwikkelden de schoolleiders positieve en negatieve percepties over de rapporten en het schoolfeedbacksysteem. Deze percepties beïnvloedden de manier waarop ze met schoolfeedback omgingen en hoe ze ermee aan de slag gingen. De schoolleiders zagen verschillende voordelen in schoolfeedback, maar ervaarden ook heel wat nadelen tijdens hun deelname. Verschillende schoolleiders hadden moeilijkheden bij het interpreteren van de resultaten. Een aantal schoolleiders gaven ook aan dat ze er veel tijd en werk moesten insteken. Dit leidde ertoe dat hun aanvankelijke positieve percepties doorheen de deelname aan schoolfeedback veranderde.
Een opmerkelijk resultaat is dat schoolleiders zeiden dat ze moeilijkheden hadden bij hun deelname aan schoolfeedback. Een aantal directeurs hadden moeite met de taal of vonden de grafieken niet duidelijk. Echter, slechts weinigen van hen gaven aan dat ze een nood aan extra ondersteuning voelden bij het doorlezen van de rapporten, bij het afnemen van de toetsen of bij het implementeren van acties.
We kunnen besluiten dat van de vele goede voornemens vooraf slechts weinig gerealiseerd werd. Ook de positieve ingesteldheid van de schoolleiders veranderde doorheen hun deelname in negatieve zin. Er valt hierbij wel op te merken dat deze schoolleiders niet vanuit zichzelf gemotiveerd waren. Ze beslisten immers niet zelf om schoolfeedback aan te vragen. Dit beïnvloedde hun participatie aan schoolfeedback. Het vooropgestelde doel van schoolfeedback, scholen ondersteunen bij het optimaliseren van hun interne kwaliteitszorg, werd slechts minimaal bereikt.
De resultaten van deze masterproef werden doorgegeven aan het Centrum voor Schoolfeedback. Er kwamen verschillende suggesties ter verbetering uit het onderzoek die het schoolfeedbacksysteem kunnen optimaliseren in de toekomst. Daarnaast werd ook het theoretisch model van Verhaeghe (2011) tijdens het onderzoek kritisch bekeken. Na afloop van het onderzoek werd het model op een aantal onderdelen aangepast of aangevuld.
[1] Verhaeghe, G. (2011). School performance feedback systems: design and implementation issues (Unpublished doctoral dissertation). Ghent University.
[2] Het LOP bestaat uit verschillende onderwijsverstrekkers van een regio en heeft één doel, namelijk gelijke kansen bieden aan alle leerlingen om te leren en zich te ontwikkelen.
Baarda, D. B., de Goede, M. P. M., & Teunissen, J. (2009). Basisboek kwalitatief onderzoek. Groningen/Houten: Wolters-Noordhoff.
Centrum voor Schoolfeedback. (n.d.). Achtergrondgegevens. Afgehaald op 14 februari 2012 van http://www.schoolfeedback.be/inhoud/doelgroepInhoud.html
Cohen, L., Manion, L., Morrison, K. (2007). Research methods in education. New York: Routledge.
De Fraine, B., & Verhaeghe, J.P. (2007). Feedback aan scholen: katalysator voor onderwijsverbetering? Impuls, 38, 76-81.
den boer, D.J., Bouwman, H., Frissen, V., & Houben, M. (2005). Methodologie en statistiek voor communicatie-onderzoek. Deventer: Kluwer.
Esterberg, K.G. (2002). Qualitative methods in social research. Boston: McGraw Hill.
Gardner, R. (1995). Onservice teacher education. In L. W. Anderson (Ed.), International Encyclopedia of Teaching and Teacher Education (pp. 628-632). London: Pergamon Press.
Ghesquière, P., & Staessens, K. (2007). Kwalitatieve gevalsstudies. In B. Levering, & P. Smeyers (red.), Opvoeding en onderwijs leren zien. Een inleiding in interpretatief onderzoek (pp. 192-213). Amsterdam: Boom.
Guba, E. G. (1981). ERIC/ECTJ Annual review paper: Criteria for assessing the trustworthiness of naturalistic inquiries. Educational Communication and Technology, 29, 75-91. Retrieved from http://www.jstor.org/stable/30219811
Hofman, R. H., Dijkstra, N. J., & Hofman, W. H. A. (2009). School self-evaluation and student achievement. School Effectiveness and School Improvement, 20, 47-68.
Informat Schoolsoftware. (2013). Software voor schooladministratie. Afgehaald op 9 mei 2013 van http://www.informatsoftware.be/
Kelchtermans, G. (2007a). De biografische methode. In B. Levering, & P. Smeyers (red.), Opvoeding en onderwijs leren zien. Een inleiding in interpretatief onderzoek (pp. 132-153). Amsterdam: Boom.
Kelchtermans, G. (2007b). De man die de wolken meet. Impuls, 38, 82-83.
Kirkpatrick, D. L. (Ed.). (1998). Evaluating training programs: The four levels. San Francisco: Berrett-Koehler.
Kvale, S. (1994). Ten standard objections to qualitative research interviews. Journal of Phenomenological Psychology, 25, 147-173.
Lokaal Overleg Platform. (2006). Welkom. Afgehaald van http://www.lop.be/LOP/default.asp
Merriam, S.B. (1998). Qualitative research and case study applications in education. San Fransisco: Jossey-Bass Publishers.
Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook. Thousand Oaks, CA: Sage Publications.
Onderwijssecretariaat van de Steden en Gemeenten van de Vlaamse Gemeenschap. (2013). Situering OVSG-toets. Afgehaald op 9 mei 2013 van http://www.ovsgtoetsen.net/ico/node/1
Organisation for Economic Co-operation and Development. (n.d.). PISA: About PISA. Retrieved April 23, 2013, from http://www.oecd.org/pisa/aboutpisa/
Organisation for Economic Co-operation and Development. (2013). OECD reviews of evaluation and assessment in education. Synergies for better learning. An international perspective on evaluation and assessment. Paris: OECD Publishing.
Radnor, H. (2001). Researching your professional practice: doing interpretive research. Buckingham: Open university press.
Rossi, P. H., Lipsey, M. W., & Freeman, H. E. (2004). Evaluation: A systematic approach. Thousand Oaks, CA: Sage Publications.
Schildkamp, K. (2007). The utilisation of a self-evaluation instrument for primary education (Doctoral dissertation). Retrieved from http://doc.utwente.nl/57803/
Schildkamp, K., & Visscher, A. (2009). Factors influencing the utilization of a school self-evaluation instrument. Studies in Educational Evaluation, 35, 150-159.
Schoolfeedbackrapport (2011). Schoolfeedbackrapport. Nederlands – spelling. Derde leerjaar lager onderwijs. Schooljaar 2011-2012. Leuven: Centrum voor Schoolfeedback.
Shewbridge, C., Jang, E., Matthews, P., & Santiago, P. (2011). OECD reviews of evaluation and assessment in education. Denmark. Retrieved from http://www.oecd.org/denmark/oecdreviewsofevaluationandassessmentineduca…
Simons, M., & Masschelein, J. (2007). Spiegeltje, spiegeltje aan de wand: over onderwijsbeleid en informeren. Impuls, 38, 67-75.
Simons, M., & Masschelein, J. (2008). De wil tot feedback. In J. Masschelein, & M. Simons (red.), De schaduwzijde van onze welwillendheid. Kritische studies van de pedagogische actualiteit (pp. 25-49). Leuven: Acco.
Stake, R. E. (1995). The art of case study research. Thousand Oaks, CA: Sage Publications.
Struyve, C., Simons, M., & Verckens, A. (2013). Parents are not born, they are made. A critical discourse analysis of an educational magazine in Flanders (Belgium). Manuscript submitted for publication.
Swanborn, P. G. (1996). Case study’s: wat, wanneer en hoe?. Amsterdam: Boom.
TIMSS and PIRLS International Study Center, & International Association for the Evaluation of Educational Achievement. (2013). About TIMSS and PIRLS. Retrieved April 23, 2013, from http://timssandpirls.bc.edu/home/pdf/TP_About.pdf
Van Petegem, P., & Vanhoof, J. (2003). Het verzamelen van indicatoren in Europa. Wat heeft een school daaraan? Impuls voor Onderwijsbegeleiding, 34, 59-71.
Van Petegem, P., & Vanhoof, J. (2004). Feedback over schoolprestatie-indicatoren als strategisch instrument voor schoolontwikkeling. Pedagogische Studiën, 81, 338-353.
Van Petegem, P., & Vanhoof, J. (2007). Towards a model of effective school feedback: school head’s points of view. Educational Research and Evaluation, 13, 311-325. doi: 10.1080/13803610701702522
Van Petegem, P., Vanhoof, J., Daems, F., & Mahieu, P. (2005). Publishing information on individual schools? Educational Research and Evaluation, 11, 45-60. doi: 10.1080/13803610500110372
Vandenbroucke, F. (2004). Beleidsnota 2004-2009. Onderwijs en vorming: vandaag kampioen in wiskunde, morgen ook in gelijke kansen. Brussel: Ministerie van de Vlaamse Gemeenschap.
Vandenbroucke, F. (2005, februari). Colloquium resultaten eerste Vlaamse peiling eindtermen eerste graad SO. Toespraak van de Vlaamse minister van Werk, Onderwijs en Vorming Frank Vandenbroucke. Afgehaald op 19 februari 2013 van http://www.ond.vlaanderen.be/beleid/toespraak/archief/2005/050202-eindt…
Vanhoof, J., & Van Petegem, P. (2005). Kwaliteit van scholen (openbaar) vergelijken? Het zwart-witdenken voorbij. Mechelen: Wolters Plantyn.
Vanhoof, J., Mahieu, P., & Van Petegem, P. (2009). Geïnformeerde schoolontwikkeling: van een nieuw gegeven naar een beleidsinstrument. Kwaliteitszorg in het onderwijs, 22, 17-51.
Vanhoof, J., Schildkamp, K., & Van Petegem, P. (2010). Schoolzelfevaluatie in Nederland en Vlaanderen. Tijdschrift voor Onderwijsrecht & Onderwijsbeleid, 4, 283-298.
Vanhoof, J., Verhaeghe, G., Van Damme, J., Van Petegem, P., & Verhaeghe, J.P. (2010). Schoolfeedbackgebruik in Vlaamse basisscholen: relaas van een ondersteuningsproject. Verslag van de werkzaamheden binnen de projectgroep 'Samenwerking pedagogische begeleidingsdiensten - Schoolfeedbackproject'. Antwerpen: UA.
Vanhoof, J., Verhaeghe, G., & Van Petegem, P. (2008, juni) Feedback over schoolfeedback: diepte-interviews naar valkuilen en succesfactoren bij het gebruik van schoolfeedback. Paper gepresenteerd op de Onderwijs Research Dagen, Eindhoven.
Vanhoof, J., Verhaeghe, G., Van Petegem, P., Verhaeghe, J.P., & Valcke, M. (2009). Verschillen in het gebruik van schoolfeedback: Een verkenning van verklaringsgronden. Tijdschrift voor Onderwijsrecht & Onderwijsbeleid, 4, 306-322
Vensters voor Verantwoording. (2011). Voortgezet onderwijs werkt aan dialoog met belanghebbenden. Afgehaald op 9 mei 2013 van http://www.venstersvoorverantwoording.nl/common/filegateway.aspx?fileid…
Verckens, A., Simons, M., & Kelchtermans, G. (2009). Welke overheid voor welk onderwijs?. Pedagogische Studiën, 86, 21-40.
Verhaeghe, G. (2011). School performance feedback systems : design and implementation issues (Unpublished doctoral dissertation). Ghent University.
Verhaeghe, G., Vanhoof, J., Van Petegem, P., Verhaeghe, J.P., & Van Damme, J. (2010). Het gebruik van outputgegevens in basisscholen: concretiseringen en illustraties uit het schoolfeedbackproject. Unpublished manuscript.
Verhaeghe, G., Vanhoof, J., Valcke, M., & Van Petegem, P. (2010). Using school performance feedback: perceptions of primary school principals. School Effectiveness and School Improvement, 21, 167-188.
Verhaeghe, J.P. (2008). Knipperlichten bij de spiegel. Kritische voorwaarden voor een schoolfeedbacksysteem. Impuls, 38, 155-164.
Verhaeghe, J.P. (2010). Schoolfeedback als input voor interne kwaliteitszorg. In D. De Coen, L. De Man, K. Denys, D. Gombeir, M. Hendrickx, B. Sagaert, C. Snauwaert, W. Steensels, & F. Van Camp (red.), Handboek beleidvoerend vermogen (pp. 65-79). Brussel: Politeia.
Visscher, A.J. (2002). A framework for studying school performance feedback systems. In A. J. Visscher & R. Coe (Eds.), School improvement through performance feedback (pp. 41-71). Lisse, The Netherlands: Swets & Zeitlinger.
Visscher, A.J. (2004). De effecten van schoolprestatiepublicaties in andere landen. Pedagogische Studiën, 81, 384-396.
Visscher, A.J., & Coe, R. (2003). School performance feedback systems: conceptualisation, analysis and reflection. School Effectiveness and School Improvement, 14, 321-349.
Vlaams Ministerie van Onderwijs en Vorming. (n.d. a). Peilingen in het basis- en secundair onderwijs. Afgehaald op 9 mei 2013 van http://www.ond.vlaanderen.be/curriculum/peilingen/
Vlaams Ministerie van Onderwijs en Vorming. (n.d. b). Paralleltoetsen van peilingen. Afgehaald op 9 mei 2013 van http://www.ond.vlaanderen.be/toetsenvoorscholen/paralleltoetsen/index.a…?
Vlaams Ministerie van Onderwijs en Vorming. (n.d. c). LVS Leerlingvolgsysteem CITO-Vlaamse versie. Afgehaald op 9 mei 2013 van http://www.ond.vlaanderen.be/toetsenvoorscholen/LVS/index.asp
Vlaams Verbond van het Katholiek Basisonderwijs. (2013). Interdiocesane proeven. Afgehaald op 9 mei 2013 van http://idp.vvkbao.be/
Vlaamse overheid (2009). Protocol paralleltoetsen en schoolfeedback. Afgehaald op 9 mei 2013 van http://www.ond.vlaanderen.be/toetsenvoorscholen/paralleltoetsen/protoco…
Vlaamse Regering. (2009). Decreet van 30 april 2009 tot wijziging van het decreet van 28 april 1998 inzake het Vlaamse beleid ten aanzien van etnisch-culturele minderheden. Belgisch Staatsblad, 02/07/2009. Afgehaald van http://www.ejustice.just.fgov.be/cgi/article_body.pl?numac=2009035504&c…
Wardekker, W. (2007). Criteria voor de kwaliteit van onderzoek. In B. Levering, & P. Smeyers (red.), Opvoeding en onderwijs leren zien. Een inleiding in interpretatief onderzoek (pp. 50-67). Amsterdam: Boom.
Wester, F., & Peters, V. (2004). Kwalitatieve analyse. Uitgangspunten en procedures. Bussum: Uitgeverij Coutinho.
Wiener, E. L., & Nagel, D. C. (1988). Human factors in aviation. San Diego, CA: Academic Press.
Yin, R.K. (1994). Case study research. Design and methods. Thousand Oaks, CA: Sage Publications.