Nieuwe toetsen bij TOA: nulmetingen en formatieve toetsen Nederlands en Engels

Je wilt weten waar jouw student staat. Daarvoor is het belangrijk om het instapniveau te bepalen. Zo hebben we voor Nederlands en Engels nieuwe toetsen samengesteld waarmee je een gerichte nulmeting doet. Maar dat is nog niet alles. Ook hebben we nieuwe formatieve toetsen ontwikkeld zodat je de vorderingen van jouw student ziet. Hoe zorg je dat deze nieuwe nulmetingen en formatieve toetsen betrouwbaar zijn? Hoe stel je ze samen en hoe zit het eigenlijk met de cesuur? Dit en meer beantwoordt toetsspecialist Annebel Prins allemaal voor jou.

Bij het ontwikkelen van nieuwe toetsen is het natuurlijk belangrijk dat ze betrouwbaar en valide zijn. Hoe hebben jullie dat geborgd?

“Hiervoor hebben we richtlijnen opgesteld. De toetsen Nederlands zijn inhoudelijk afgestemd op het Referentiekader voor taal en rekenen van Meijerink, de toetsen Engels op het Europees Referentiekader en Taalprofielen (2015). Ook hebben we de nieuwe toetsen ontwikkeld met behulp van een toetsmatrijs. Daarin staat het aantal items per niveau beschreven met de verdeling van de scoring. Tot slot hebben we voor formatieve toetsen de inbreng en feedback gebruikt van docenten die lesgeven aan de doelgroep.”

Weten waar je student staat met de nulmeting

Laten we eerst de nulmetingen erbij pakken. Hoe zien die eruit?

“Voor Nederlands gaat het om de vaardigheden lezen en kijken-luisteren en voor Engels om lezen en luisteren. Alle nulmetingen bestaan uit 30 items en per toets is de maximale tijdsduur 60 minuten. Maar, voor een deel van deze toetsen zal de tijdsduur korter zijn. Waar dit het geval is, zie je in de toetsinformatiekaart binnen het TOA Toetsplatform. Op basis van het percentage goed beantwoorde vragen wordt het niveau bepaald. Bovendien is het goed om te benoemen dat de toetsen Engels in een Nederlandstalige versie en een Engelstalige versie beschikbaar zijn. Dat wil zeggen dat we de instructies, vragen en antwoordopties dus in beide talen aanbieden.”

Hoe hebben jullie zo’n nulmeting samengesteld?

“De nulmeting is een combinatietoets die bestaat uit twee niveaus. Voor bijvoorbeeld Nederlands lezen hebben we een combinatietoets 1F-2F en 2F-3F. Het 2F gedeelte in beide toetsen is hetzelfde. Door deze overlap is ons advies slechts één nulmeting af te nemen bij een student, dus ofwel 1F-2F ofwel 2F-3F.”

Ze voegt eraan toe: “Allemaal zijn ze samengesteld uit de beste items van de huidige toetsen. Voorafgaand aan deze samenstelling zijn alle items uitgebreid geanalyseerd. Zo weten we zeker dat de toetsen geschikt zijn voor de doelgroep, actueel zijn en voldoen aan inhoudelijke kwaliteitseisen. Op basis van deze analyse hebben we vervolgens een klein deel aangescherpt, waardoor we met de toetsen dus ook een verbeterslag hebben gemaakt.”

“De nulmeting geeft een uitslag in zowel score, percentage als niveau”

                                              Annebel Prins, toetsspecialist

Voor de volledigheid, welke niveaus zijn er nu voor de student?

Annebel: “De nulmeting geeft een uitslag in zowel score, percentage als niveau. Voor dat laatste maken we bij Nederlands onderscheid in: ‘Op weg naar 1F’, ‘1F, op weg naar 2F’, ‘2F’ en voor Engels in ‘Op weg naar A1’, ‘A1, op weg naar A2’ en ‘A2’.”

Vorderingen volgen met de formatieve toetsen

Nu ben ik ook benieuwd naar de nieuwe formatieve toetsen. Wil je daar ook wat meer over vertellen?

“Zeker. We hebben nieuwe toetsen Nederlands en Engels gemaakt voor de vaardigheid lezen. De formatieve toetsen bestaan uit één niveau, met uitzondering van één combinatietoets Engels A1-A2. De lengte kan per toets verschillen en is bepaald op basis van nieuwe richtlijnen. Daarbij is berekend hoeveel items we nodig hebben per niveau om tot een betrouwbare uitspraak te komen. En dat kan per niveau verschillen, vandaar het verschil in lengte tussen de niveaus. En tot slot goed om te benoemen: we hebben ook rekening gehouden met de bruikbaarheid van de toetsen. Je kunt ze allemaal binnen 60 minuten afnemen.”

En wat is er allemaal nog meer nieuw?

Annebel vervolgt: “Tijdens het maken van de toets ziet de student in welk deel van de toets hij of zij zit. Bijvoorbeeld in het 1F-deel of het 2F-deel van de nulmeting Nederlands lezen 1F-2F. En ook handig, de formatieve toetsen worden in tweekolomsweergave getoond. Dit wil zeggen dat de teksten of fragmenten links en de items rechts in beeld staan. Zo hoeft de student bij lange teksten niet naar beneden te scrollen om de opgave te zien.”

Hoe zijn ze samengesteld, of ‘geconstrueerd’?

“De formatieve toetsen zijn nieuw geconstrueerd op basis van aangescherpte richtlijnen en input van docenten Nederlands en Engels van verschillende mbo-scholen. Tijdens de constructie worden alle items meerdere malen gescreend om te controleren of ze voldoen aan de referentiekaders en onze kwaliteitseisen. Nadat de toetsen zijn afgenomen, worden ze weer aan een kwaliteitscheck onderworpen. Deze keer psychometrisch. Dat geeft ons de kans om eventuele items die niet bijdragen aan een betrouwbare uitspraak te vervangen en zo nodig de cesuur aan te passen. Dit gebeurt allemaal achter de schermen.”

“Door psychometrische analyses bewaken we de kwaliteit van onze toetsen”

                                              Annebel Prins, toetsspecialist

En welke niveaus zijn er voor de formatieve toetsen?

“Voor de formatieve toetsen hebben we toetsen Nederlands gemaakt op niveau 1F, 2F en 3F en voor Engels een combinatietoets op A1-A2 niveau en toetsen op A1, A2, B1 en B2-niveau. Trouwens, ook hier hebben we bij de toetsen Engels een Engelstalige instructie, vragen en antwoorden.”

Kun je tot slot ook nog wat vertellen over de cesuur voor zowel de nulmeting als de formatieve toetsen?

“Ja. Ik neem de nulmeting Engels A1-A2 even als voorbeeld. Heeft een student minder dan 66% van de vragen goed beantwoord, dan is zijn uitslag ‘op weg naar niveau A1.’ Behaalt de student een score tussen de 66% en 86% dan heeft hij niveau A1. Hij is dan ook op weg naar A2. Heeft een student meer dan 86% goed? Dan is het niveau A2.”

Annebel gaat verder: “De cesuur is overgenomen uit bestaande, vergelijkbare toetsen. Na 400 toetsafnames – voor zowel de nulmeting als formatieve toets – wordt de cesuur gecontroleerd met psychometrische analyses. Hierdoor bewaken we de kwaliteit van onze toetsen.”

Klinkt allemaal veelbelovend. Nu maar aan de slag ermee! Wanneer kunnen scholen gebruikmaken van de nieuwe toetsen?

In augustus 2022 staat de eerste versie van 16 nulmetingen klaar in TOA Toetsplatform en eind september de eerste versie van de 11 formatieve toetsen. Later volgen er meer. Houd TOA dus goed in de gaten deze zomer!

Wil jij de ontwikkeling van jouw studenten ook volgen met uitslag- en adviesrapportages?

Als je gebruik maakt van het TOA-platform, kun je er meteen mee aan de slag! In dit stappenplan zie je hoe het werkt.

Heb je een vraag over tussentijds toetsen of de uitslag- en adviesrapportages in TOA? Neem contact op met je TOA-adviseur.