Toetsing van de taalvaardigheid Engels via Dialang in het Hoger onderwijs
Toetsing van de taalvaardigheid Engels via Dialang in het Hoger Onderwijs
In deze meesterproef wordt de taalvaardigheid Engels gemeten van de studenten Toegepaste Taalkunde en Meertalige Communicatie (KULeuven Campus Brussel), Office Management en Bedrijfsmanagement Marketing en Logistiek (Odisee, voormalig HUBrussel). De lees-, schrijf- en luistervaardigheid en de kennis woordenschat en grammatica worden geanalyseerd via het diagnostisch computerprogramma Dialang. Nadien worden de resultaten met de opgelegde eindtermen voor de bachelor en voor de master vergeleken. Vervolgens wordt er onderzocht of de moedertaal, het diploma Secundair Onderwijs en het contact met de Engelse taal een invloed hebben op de taalvaardigheid Engels.
De resultaten voor de studenten Toegepaste Taalkunde tonen aan dat de tweede bachelor voor alle vaardigheden samen significant hoger scoort dan de eerste bachelor. In de derde bachelor en in de Master stagneren de resultaten. Gemiddeld behalen alle studiejaren het niveau B2. Binnen Toegepaste Taalkunde vormen de schakelstudenten een speciale groep. Voor alle vaardigheden samen zitten zij exact op het niveau van de eerstejaars en scoren dus significant lager dan de tweedejaars, de derdejaars Toegepaste Taalkunde en de masterstudenten. Uit de resultaten voor Office Management is gebleken dat de studenten uit de drie jaren gemiddeld niveau B1 halen. Er zijn geen significante verschillen tussen de studiejaren. Ook tussen de verschillende vaardigheden zijn er geen significante verschillen. In tegenstelling tot de studenten Office Management is er voor Bedrijfsmanagement Marketing en Logistiek samen een stijgende lijn vastgesteld van de eerste bachelor naar de tweede bachelor. Er is sprake van een significant verschil tussen deze twee jaren. Nadien vindt er stagnatie plaats. Het tweede en derde jaar scoren exact hetzelfde. Deze tendens stellen we vast voor alle aparte vaardigheden behalve voor woordenschat, waarbij geen significant verschil is gevonden tussen de verschillende jaren. Algemeen stellen we vast dat studenten het laagst scoren voor de vaardigheden lezen en schrijven en het hoogst voor taalstructuren en woordenschat.
Op basis van het algemeen gemiddelde werd er ook onderzocht of de studenten de eindtermen van de universiteit/hogeschool behaalden. De eindterm Engels voor de derde bachelor Toegepaste Taalkunde en de Master Meertalige Communicatie is vastgesteld op het niveau C1. Van de derdejaars haalt 47% niveau C1 en van de masterstudenten 50%. Verder onderzoek toont echter aan dat de gemiddelde score van beide groepen niet significant verschilt met de eindterm. De schakelstudenten in het derde jaar scoren op alle vaardigheden samen significant lager dan de eindterm, slechts 22% onder hen behaalt het niveau C1. De eindterm Engels voor de derde bachelor Office Management is vastgesteld op het niveau B2. In het derde jaar haalt slechts 21% dat niveau. Hier is de gemiddelde score van de uitstroom significant lager dan het vereiste B2-niveau. De derde bachelor Bedrijfsmanagement heeft dezelfde eindterm voor Engels als Office Management (B2). Ook hier behalen de studenten gemiddeld niveau B1 bij het uitstromen en scoren ze significant lager dan het vereiste B2-niveau.
Een eerste invloedrijke factor is het secundair diploma. We verwachten dat studenten met een ASO-diploma hogere scores zullen halen dan studenten met een ander diploma. We vergelijken hier enkel de resultaten van de drie bachelorjaren van Office Management en Bedrijfsmanagement omdat Toegepaste Taalkunde onvoldoende niet-ASO-studenten telt. Voor Office Management scoren studenten met een ASO-diploma gemiddeld hoger dan studenten met een ander diploma. Deze tendens geldt voor de eerste twee bachelorjaren maar niet meer voor de derde bachelor. In het laatste jaar behalen studenten met een ASO-diploma en niet-ASO-diploma dezelfde score. Ook voor Bedrijfsmanagement scoren studenten met een ASO-diploma gemiddeld hoger dan studenten met een ander diploma. Hier geldt de tendens wel voor de drie bachelorjaren.
Naast het secundair diploma heeft de moedertaal (in deze studie verstaan we hieronder de dominante thuistaal) een invloed op de taalvaardigheid Engels. Ook hier vergelijken we enkel de resultaten van de drie bachelorjaren van Office Management en Bedrijfsmanagement omdat deze opleidingen veel niet-Nederlandse moedertaalsprekers tellen (40,84%; 34,37%). Uit de resultaten is gebleken dat studenten met Nederlands als moedertaal het best scoren voor Engels. Deze bevinding is geldig voor alle onderzochte opleidingen. Studenten met de moedertaal Frans scoren niet significant hoger of lager dan studenten met een andere moedertaal in de opleiding Office Management. In Bedrijfsmanagement scoren de studenten met de moedertaal Frans echter significant lager dan de studenten met een andere moedertaal.
Een laatste invloedrijke factor betreft het contact met Engels. Studenten die bijvoorbeeld Engelstalige familieleden hebben, Engelstalige vrienden hebben, vaak Engels lezen en horen, komen allemaal meer in contact met het Engels dan de gemiddelde student. Deze studenten scoren gemiddeld hoger op de Engelse taalvaardigheidstesten dan de anderen. Dit effect geldt echter alleen voor de opleidingen Office Management en Bedrijfsmanagement en niet voor Toegepaste Taalkunde.
We kunnen concluderen dat de behaalde scores vaak verschillen per jaar maar ook per opleiding. In Toegepaste Taalkunde en Bedrijfsmanagement gaan de resultaten van het eerste jaar naar het tweede jaar in stijgende lijn omhoog, nadien vindt er stagnatie plaats. In Office Management is er echter geen verschil tussen de drie jaren. De opleiding Toegepaste Taalkunde behaalt hogere scores dan de andere opleidingen, wat ook werd verwacht aangezien de studenten uit deze richting meer lesuren Engels krijgen. Tussen Office Management en Bedrijfsmanagement is er geen significant verschil, ook al wordt er meer aandacht besteed aan talen in de opleiding Office Management. Verder merken we op dat zowel de moedertaal, als het diploma Secundair Onderwijs, als het contact met de Engelse taal een invloed kunnen hebben op de taalvaardigheid. We kunnen zeggen dat Nederlandstalige studenten met een ASO-diploma en die vaak in contact komen met de Engelse taal de grootste kans maken om hoge scores te behalen op de taalvaardigheid Engels.
Bibliografie
Referentielijst
Alderson, J.C. (2007). The CEFR and the Need for More Research. The Modern Language Journal, 91(4), 659 – 663.
Alderson, J., & Huhta, A. (2005). The development of a suite of computer-based diagnostic tests based on the Common European Framework. Language Testing, 22(3), 301-320.
Baglantzi, V. (2012). Online diagnostic assessment: potential and limitations (the case of DIALANG in the Greek Junior High School Context). Research Papers in Language Teaching and Learning, 3(1), 293-310.
Bamber, A. (2003). The Common European Framework is more of the wrong thing. Humanising Language Teaching, 5(5), 1-7.
Corda, A. (2008, februari). Surf-project intuit. Evaluatierapport derde pilot talencentrum universiteit Leiden. Geraadpleegd via www.intuitproject.nl/
Corrigan, M. (2013). Interchangeability of test results and the CEFR - a validity argument approach. In Colpaert, J., Simons, M., Aerts, A. & Oberhofer, M. (red.), Language testing in Europe: Time for a new framework (pp. 79-84). Antwerp: University of Antwerp.
Council of Europe, (2001). Common European framework of reference for languages: Learning, teaching, assessment. Geraadpleegd via: http://www.coe.int/t/dg4/linguistic/source/framework_en.pdf
Council of Europe, (2009, januari). Relating language examinations to the common European framework of reference for languages: Learning, teaching, assessment (CEFR). Geraadpleegd via: http://www.coe.int/t/dg4/linguistic/Source/ManualRevision-proofread-FIN…
CNAVT (2010, maart). Tip 6: ERK relatering: wat, waarom, hoe … en waarom? Geraadpleegd via www.cnavt.org
CNAVT (2009b, juni). Tip 6: diagnostische toetsen toegepast. Geraadpleegd via www.cnavt.org
Devaux, E. (2013). Confronting the CEFR to L2 certification purposes: Added value and methodological limitations. In Colpaert, J., Simons, M., Aerts, A. & Oberhofer, M. (red.), Language testing in Europe: Time for a new framework (p. 15). Antwerp: University of Antwerp.
De Jong, J. (2002). Het Europees referentiekader gaat de wereld rond. Neerlandica Extra Muros, 40(3), 26 -39.
English First (2013). EF English Proficiency Index. Geraadpleegd via http://www.ef.be/nl/epi/
Figueras, N. (2008). El MCER, más allá de la polémica. Monográficos marcoELE, 7(3), 28-35.
Fulcher, G. (2004). Deluded by Artifices? The Common European Framework and Harmonization. Language Assessment Quarterly, 1(4), 253-266.
Gellert, A. & Elbro, C. (2013). Cloze tests may be quick, but are they dirty? Development and preliminary validation of a cloze test of reading comprehension. Journal of Psychoeducational Asssessment, 31(1), 16-28. doi: 10.1177/0734282912451971
Gouveia, C. (2010). The role of a common European framework in the elaboration of national language curricula and syllabuses. Cadernos de Linguagem e Sociedade, 8(0), 8-25.
GlobalEnglish. (2013). Business English Index. Heightened urgency for business English in an increasingly global workforce: a look at the 2013 Business English Index and globalization of English research. Geraadpleegd via http://bei.globalenglish.com/
Hildén, R. & Härmälä, M. (2013). Work in progress: How useful is the CEFR in designing the follow-up assessment of learning outcomes in foreign languages in the Finnish basic education?. In Colpaert, J., Simons, M., Aerts, A. & Oberhofer, M. (red.), Language testing in Europe: Time for a new framework (pp. 143-146). Antwerp: University of Antwerp.
Huhta, A. (2010). Innovations in diagnostic assessment and feedback: An analysis of the usefulness of the Dialang language assessment system. (Unpublished doctoral dissertation). University of Jyväskylä, Jyväskylä, Finland.
Huhta, A. & McLaughin, G. (2004). DIALANG and the CEF. [PowerPoint-presentatie] Geraadpleegd via www.ealta.eu.org.
Hulstijn, J. ( 2009). De kern van taalvaardigheid. In: A. Backus, M. Keijzer, I. Vedder & B. Weltens (red.), Artikelen van de zesde Anéla-conferentie (pp. 163-172). Delft: Eburon.
Hulstijn, J. (2013). Natural tensions between theory and practice in the common European framework of reference for languages (CEFR). In Colpaert, J., Simons, M., Aerts, A. & Oberhofer, M. (red.), Language testing in Europe: Time for a new framework (pp. 16-17). Antwerp: University of Antwerp.
Jones, G. (2013). Developing a CEFR-aligned test from scratch: A case study. In Colpaert, J., Simons, M., Aerts, A. & Oberhofer, M. (red.), Language testing in Europe: Time for a new framework (pp. 21-28). Antwerp: University of Antwerp.
Kaftandjieva, F. (2010). Methods for setting cut scores in criterion-referenced achievement tests: A comparative analysis of six recent methods with an application to tests of reading in EFL. Arnhem: Cito.
Kameli, S. (2013). The impact of vocabulary knowledge level on EFL reading comprehension. International Journal of Applied Linguistics & English Literature, 1(2), 85-89. doi:10.7575/ijalel.v.2n.1p.85
Knight, B. (2013). The English profile project: Researching what the CEFR means in terms of specific English linguistic knowledge. In Colpaert, J., Simons, M., Aerts, A. & Oberhofer, M. (red.), Language testing in Europe: Time for a new framework (pp. 150-152). Antwerp: University of Antwerp.
Konanowicz, T. (2012). Empirisch onderzoek naar de taalvaardigheid Duits via Dialang bij de bachelorstudenten Toegepaste Taalkunde en Office Management. (Ongepubliceerde masterproef). Hogeschool Universiteit Brussel, Brussel, België.
Layton, P. (2004). The Common European Framework: Evaluation and course content: issues and problems. Geraadpleegd via http://www.dilit.it/allegati/PeterLayton(1).pdf
Little, D. (2007). The Common European Framework of Reference for Languages: perspectives on the making of supranational language education policy. The Modern Language Journal, 91(4), 645-653.
Nederlandse Taalunie (2008). Gemeenschappelijk Europees Referentiekader voor Moderne Talen: leren onderwijzen en beoordelen. Den Haag: Nederlandse Taalunie.
Noijons, J., & Kuijper, H. (2006). Mapping the Dutch foreign language state examinations onto the Common European Framework of Reference: Report of a Cito research project commissioned by the Dutch Ministry of Education, Culture and Science. Arnhem: Cito.
Papadopoulou, E. (2007). The impact of vocabulary instruction on the vocabulary knowledge and writing preformance of third grade students. (Unpublished doctoral dissertation). University of Maryland, Verenigde Staten.
Puig Soler, F. (z.j.). El proyecto Dialang. Geraadpleegd via http://cvc.cervantes.es/ensenanza/biblioteca_ele/asele/pdf/18/18_0076.p…
Schut, A. (2011). Een kwanitatieve studie van de taalvaardigheid Spaans van de studenten Toegepaste Taalkunde (HUB) op basis van DIALANG en het gemeenschappelijk Europees referentiekader. (Ongepubliceerde masterproef). Hogeschool Universiteit Brussel, Brussel, België.
Schuurmans, I. & Steverlynck, C. (2008, juni). Professioneel geprofileerd?: een rendementstudie van het NT2-aanbod binnen CVO met inbegrip van een evaluatie van de opleidingsprofielen. Departement Onderwijs en Vorming. Onderwijsinspectie. Geraadpleegd via http://taalunieversum.org/onderwijs/nt2-beginnersdoelen/assets/Image/re…
Slotema, S. (2010). Lezen in de onderbouw?! Suggesties voor een leeslijst voor het vak Duits in de onderbouw (Masterproef). Geraadpleegd via http://igitur-archive.library.uu.nl/ student-theses/2011-0314-200326/UUindex.html
Takala, S. (2012). The landscape of language testing and assessment in Europe: developments and Challenges. Research Papers in Language Teaching and Learning, 3(3), 8-21.
Tardieu, C. (2010). Votre B1 est-il mon B1? L’interculturel dans les tests d’évaluation en Europe. Les Cahiers de l’Acedle, 7(2), p 225-239.
Van Maldergem, L. (2012). Toetsing van de taalvaardigheid Frans via Dialang in het hoger vreemdetalenonderwijs (HUB). (Ongepubliceerde masterproef). Hogeschool Universiteit Brussel, Brussel, België.
Van Onna, J., & Jansen C. (2008). Nederland talenland? Over de beheersing van Engels, Duits, Frans en Nederlands in Nederlandse organisaties. Levende Talen Tijdschrift, 9(1), 18-26.
Vinck, J. (2008). The use of the European language portfolio in a Belgian (inter)national business context. (Ongepubliceerde masterproef). VLEKHO, Brussel, België.
Vlaamse Overheid. (2012). Vlaamse Vreemdetalenkennis in Europees perspectief: Balans van het ESLC-onderzoek. Departement Onderwijs en Vorming. Strategische beleidsondersteuning. Geraadpleegd via http://www.ond.vlaanderen.be/obpwo/links/eslc/
Weir, J. (2005). Limitations of the common European framework for developing comparable examinations and tests. Language testing, 22(3), 281-298. doi: 10.1191/0265532205lt309oa
Zhang, S. & Thompson, N. (2004). DIALANG: a diagnostic language assessment system. The Canadian Modern Language Review, 61(2), 290-293.
