Workshops

Workshop 1

Flexibiliteit bij assessments: dubbele uitkomst

Nuria González en Cristina Irún, Tilburg University Language Center

C.IrunChavarria@tilburguniversity.edu

Flexibiliteit is in de laatste jaren een vaak terugkerend thema, maar dit begrip wordt nog weinig gebruikt bij de opbouw en vormgeving van toetsen en assessments. In deze presentatie zullen we de dubbele uitkomst die wordt aangeboden in enkele van onze cursussen ter discussie stellen. Deze dubbele uitkomst moet een antwoord zijn op de differentiatie naar studenten (verschillende moedertalen, motivatie en blootstelling aan de taal), op de bevordering van de autonomie van studenten en vooral op de flexibiliteit waar studenten de afgelopen jaren om vragen.

Na het volgen van een cursus van veertien weken leggen studenten een eindtoets af waarin wordt bepaald op welk niveau ze de cursus zullen afronden: in het geval van bijvoorbeeld een beginnerscursus kunnen ze, bij voldoende inzet en capaciteiten, niveau A1 of A2 behalen. Het examen is zo opgezet dat de student automatisch ziet of hij geslaagd is voor de eerste eis van de cursus (bij een beginnerscursus is dat niveau A1) en of hij toegang heeft tot het deel van de toets dat nodig is om een hoger niveau te behalen (in het geval van een beginnerscursus is dit niveau A2). Op basis van de taxonomie van Bloom en de ERK-niveaudescriptoren zijn taken ontworpen om te bepalen op welk niveau studenten een cursus kunnen voltooien.

Workshop 2

Begeleiden en evalueren met pre- en post-tests

Natasha Ivanova, Tilburg University Language Center

n.a.ivanova@tilburguniversity.edu

Als docenten en cursusontwerpers streven we in onze cursussen naar maatwerk. Daarnaast verwachten we een behoorlijke mate van zelfstandigheid van de deelnemer. En onze ultieme droom blijft dat de doelen van de cursus door elke cursist behaald worden.

In de cursus Russian1 hebben we geprobeerd om grote stappen te zetten om dit te bereiken.  Voor deze cursus hebben pre- en post-tests ontworpen om:

De pre- en post-tests, die wij ontwikkeld hebben, zijn gebaseerd op verschillende denkniveaus (taxonomie van Bloom) en zijn in de cursus ingevlochten op basis van het idee van distributed learning.

In de presentatie willen we delen welk voorwerk eraan is voorafgegaan evenals voorbeelden laten zien van het inzetten van de taxonomie van Bloom in tests. Wij willen ook delen hoe deze opzet ons helpt voor meer maatwerk en extra begeleiding te zorgen, en tegelijkertijd tijd te besparen en zwaarwegende tussentijdse toetsen onnodig te maken. De presentatie en de aansluitende discussie kan interessant zijn voor iedereen die de autonomie wil bevorderen, de student wil begeleiden en de resultaten van de cursus snel willen evalueren zonder veel tijd te verliezen aan het nakijkwerk.

Workshop 3

Systematisch de voortgang volgen binnen en buiten de NT2-les

Franke Teunisse en Onno ter Haar, Radboud in’to Languages, Nijmegen

franke.teunisse@ru.nl, onno.terhaar@ru.nl

In de NT2-les wordt regelmatig getoetst en geëvalueerd. Er worden leerstofafhankelijke en -onafhankelijke toetsen ingezet. Een veelgebruikt middel om de lesopbrengst te meten, is het zogenaamde VUT-model. Sommige docenten houden ook een cursistdossier bij en voeren voortgangsgesprekken. Toch lijkt de voortgang van de cursisten weinig systematisch te worden gevolgd. Ten eerste is het lastig om uit al die verschillende evaluatiemomenten informatie te destilleren, waarmee cursisten inzicht krijgen in hun voortgang (Ter Haar & Teunisse, 2020). Verder valt het niet mee om gerichte actiepunten voor de cursisten te formuleren.

Als docent wil je dus steeds de ‘positie’ van je cursisten ten opzichte van het einddoel van de cursus weten, zodat je tijdig kunt bijsturen. Het echte doel van de NT2-lessen ligt echter buiten het klaslokaal. Kunnen je cursisten de taken ook in een levensechte context uitvoeren? Om dat te weten te komen, zou je informatie moeten verzamelen over wat je cursist feitelijk kan met de kennis in de eigen praktijk (Ter Haar, 2018). Met de invoering van de nieuwe inburgering in 2022 zou de cursist niet meer alleen in de klas, maar ook tijdens participatieactiviteiten kansen hebben om de taal te oefenen. De vraag naar de voortgang van de cursist wordt daarmee nog relevanter.

In de workshop verkennen we hoe je die voortgang binnen de klas en buiten de klas kunt meten. Daarbij moeten verschillende aspecten meegenomen worden. Het gaat om een talige analyse, maar ook om het op het spoor komen van eventuele belemmeringen bij de cursist of de omgeving die van invloed kunnen zijn op de voortgang. Uiteindelijk zoeken we naar een manier waarop je als docent de voortgang van de cursist meer op de voet kunt volgen, zowel in de klas als daarbuiten.

Workshop 4

Het productieproces van gestandaardiseerde testen: een oneindig verhaal in 30 minuten

Sarah De Paepe & Catherine Verguts, UCT Gent

Sarah.depaepe@ugent.be, Catherine.verguts@ugent.be

Je krijgt het fantastische nieuws dat je taaltest een audit met glans heeft doorstaan en zo een Europees kwaliteitslabel heeft behaald. Je slaakt een zucht van verlichting en een last valt van je schouders. Maar… wat nu? Hoe kan je die kwaliteit blijven actualiseren en waarborgen? Deze sessie loodst ons door het productieproces van een gevalideerde test en het soms moeizame traject dat een geschikte testvraag moet afleggen. Zo’n testvraag moet immers de vaardige van de minder bedreven taalgebruiker onderscheiden. Ontdek hoe een vraag via een piloottest en een zorgvuldige kwantitatieve en kwalitatieve analyse uiteindelijk kan resulteren in een volwaardig testitem.

Workshop 5

Feedback op schrijfvaardigheid: van wie is het schrijfprobleem?

Francien Schoordijk, INTT, UvA

f.m.c.schoordijk@uva.nl

Voor het TLC (Teaching and Language Centre) van de UvA verzorg ik de trainingen Feedback op schrijfopdrachten en Diagnosticeren van schrijfvaardigheid. Tijdens deze trainingen valt het me telkens weer op hoe – met name jonge – docenten worstelen met een goede balans tussen de hoeveelheid tijd en moeite die zij investeren in de schrijfproducten van hun studenten en de tijd en moeite die studenten daar zelf aan besteden. Vol goede intenties worden zinnen en zelfs hele passages door hen herschreven, teksten die bol staan van typ-, spel- en taalfouten minutieus van commentaar voorzien en onsamenhangende betogen met veel good will geïnterpreteerd. De focus van de docent ligt vaak op de tekst en niet op het (schrijf)gedrag van de student terwijl veel problemen daar hun oorsprong vinden. Wat is de verantwoordelijkheid van de docent en welke van de student? Hoe herken je deze problemen bij studenten en hoe maak je ze bespreekbaar? Naast deze vragen bespreken we bij welke feedback studenten het meest gebaat zijn;  hoe je ervoor zorgt dat studenten zichzelf verbeteren en op welk moment in het schrijfproces je feedback geeft. De antwoorden bespreken we aan de hand van een aantal casussen uit de praktijk.

Workshop 6

Efficiënt en doelmatig feedback geven

Jorieke Reinders, Talencentrum Rijksuniversiteit Groningen

j.reinders@rug.nl

In deze interactieve presentatie laten we overwegingen zien die de docent kan maken voor verschillende soorten feedback in NT1-onderwijs, met de voor- en nadelen daarvan. Daarbij staat niet alleen het belang van de student centraal, maar ook de tijdsinvestering van de docent.

De eerste belangrijke strategie die we bespreken, is dat studenten zelf in hun tekst kunnen aangeven waar zij over twijfelen, bijvoorbeeld op het gebied van spelling, grammatica en stijl. De docent kan dan gerichte en relevante feedback geven.

Onze tweede belangrijke feedbackstrategie is dat docenten slecht geschreven teksten direct teruggeven aan de student zonder ze te beoordelen op de inhoud. Het gaat hier om teksten waarvan je als docent weet dat de student beter kan. De docent geeft dan de tekst terug met daarin een beperkt aantal algemene opmerkingen als ‘let beter op de spelling’ of ‘je maakt te veel onjuiste of onduidelijke verwijzingen’. In dit tweede geval hoeft een docent een tekst aanvankelijk enkel scannend te lezen, en wordt de student gestimuleerd zorgvuldig zijn/haar tekst te lezen alvorens deze in te leveren.

Naast deze twee hoofdpunten leggen we uit waarom feedback geven in de tekst zelf niet effectief is, en geven we tips voor hoe we studenten kunnen leren elkaar effectieve feedback te geven.

Workshop 7

Studenten en de Schrijfhulp: de juiste klik? Het effect en het gebruik van de Schrijfhulp Academisch Nederlands

Lorie Vandooren​, Instituut voor Levende Talen (ILT)

lorie.vandooren@kuleuven.be

In een wereld waarin digitale tools steeds vaker ingezet worden om onze activiteiten te ondersteunen, hoeft de evaluatie van schrijfopdrachten niet enkel de taak van de docent te zijn. De laatste decennia zijn er immers verschillende schrijftools ontwikkeld die teksten automatisch van feedback voorzien (Allen et al., 2016; Strobl et al., 2019). Hoewel die automatisering de werklast voor docenten kan verlagen, biedt ze geen garantie op schrijfsucces. Het rendement van automatische feedback is immers deels afhankelijk van het nakijkgedrag van gebruikers en lijkt te verschillen van schrijftool tot schrijftool (Kellogg et al., 2010; Wade-Stein en Kintsch, 2004; Wilson et al., 2014; Strobl, 2015; De Smet et al., 2011). Onderzoek naar specifieke tools is dus noodzakelijk om concrete sterktes en pijnpunten bloot te leggen.

Aan die nood komt dit masterproefonderzoek deels tegemoet. Het spitste zich toe op het gebruik en het effect van de Schrijfhulp Academisch Nederlands, een procesgeoriënteerde schrijftool van de KU Leuven waarmee studenten hun tekst kunnen controleren en verrijken (De Wachter & d’Hertefelt, 2018). De tool stelt de autonomie van de gebruiker centraal en wil kritische zelfreflectie stimuleren.

De resultaten van deze masterproef suggereren evenwel dat de Schrijfhulp dat doel vooralsnog niet volledig bereikt. De meeste participanten vinden de tool handig, maar die lijkt hun tekstkwaliteit niet noodzakelijk te verhogen. Dat is mogelijk te wijten aan de typische beperkingen van schrijftools, maar de resultaten suggereren ook dat het nakijkgedrag van studenten onvoldoende aansluit bij de opzet van de Schrijfhulp. Zo lijken gebruikers zich blind te staren op de markeringen. Om de effectiviteit van de tool te verhogen, kan de didactische omkadering ervan meer inzetten op praktijkervaring en op het belang van een kritische houding tegenover automatische feedback.

Workshop 8

Werken met ankerteksten bij het evalueren van schrijfvaardigheid

Vanessa De Wilde, Research Centre for Multilingual Practices and Language Learning, UGent

vanessa.dewilde@ugent.be

In deze sessie verkennen we de mogelijkheden om schrijftaken te verbeteren met ankerteksten die worden vergezeld van descriptoren.

We bespreken de aanpak die werd gevolgd voor Starttoets Engels, een oriëntatietoets voor Engels die werd ontwikkeld aan de Arteveldehogeschool. De test wordt online aangeboden en leerkrachten kunnen de schrijftaken verbeteren met ankerteksten. Deze ankerteksten werden geselecteerd nadat 177 schrijftaken een score kregen toegekend via comparatieve beoordeling. Uit deze teksten werden 4 ankerteksten gekozen die representatief waren voor een bepaald niveau: pre-A1, A1, A2, boven A2. De ankerteksten werden aangevuld met descriptoren. Leerkrachten gebruiken deze ankerteksten en descriptoren om een score toe te kennen aan de schrijftaken van hun leerlingen.

In deze sessie zullen we met deze ankerteksten aan de slag gaan en tips geven om op deze manier eigen schrijftaken te beoordelen.