Tentamenanalyse

Bij de analyse van een tentamen kan gebruik gemaakt worden van verschillende methoden. Hieronder staan de meestgebruikte methoden uitgelegd.

Tentamen als geheel analyseren

Bij de analyse van het tentamen als geheel kan gekeken worden naar de volgende kengetallen:

  • Percentage geslaagde studenten
  • Gemiddelde score van de 5% beste studenten
  • Betrouwbaarheid (KR-20 of coëfficiënt alfa)
  • Verschillen tussen beoordelaars

Percentage geslaagde studenten

In principe zouden studenten die vanwege hun vooropleiding of laatste examen (propedeuse) geschikt zijn bevonden voor de opleiding hun tentamens moeten kunnen halen. Wanneer dit niet lukt, kunnen de oorzaken bijvoorbeeld worden gezocht in tekortkomingen in het tentamen of in het onderwijs en/of door onvoldoende inspanning van de studenten. In de propedeuse wijst een tentamen met meer dan 30% onvoldoendes op niet student gerelateerd tekortkomingen in het tentamen of in het voorafgaande onderwijs. In de hoofdfase zou 90% van de studenten voor een tentamen moeten slagen.    

Gemiddelde score van 5% beste studenten

Bij een goed tentamen zouden de beste studenten (bijna) alle vragen goed moeten hebben. Omdat de beste student een uitschieter kan zijn is de gemiddelde score van de 5% beste studenten een goede indicatie voor de kwaliteit van het tentamen. Als de beste studenten er niet in slagen om (bijna) alle vragen goed te beantwoorden, dan is er waarschijnlijk een probleem met het tentamen of het onderwijs. De cesuurbepaling van Cohen-Schotanus, waarbij de gemiddelde score van de 5% beste studenten als referentiepunt wordt genomen,  corrigeert voor dit probleem.

Voorbeeld

Een toets bestaat uit 60 invulvragen die even zwaar wegen. De gemiddelde score van de 5% beste studenten is 54 goede antwoorden. De cesuur wordt in dat geval gelegd bij 55% van de 54, oftewel 30 goede antwoorden.

Betrouwbaarheid (KR-20 of coëfficiënt alfa)

De norm voor de betrouwbaarheid van een tentamen is afhankelijk van het doel van het tentamen. Als het tentamen bedoeld is om de geschiktheid van een student te bepalen is een betrouwbaarheid van 0.80 of hoger gewenst. Dit is van toepassing als alle tentamens met een voldoende moeten worden afgesloten en compenseren niet mogelijk is. Als het gaat om formatieve toetsen die het leren slechts ondersteunen is een betrouwbaarheid van 0.60 voldoende. Dit is ook het geval bij een compensatorische examenregeling. 

Er zijn een aantal kanttekeningen te plaatsen bij de betrouwbaarheid als kengetal voor de kwaliteit van een tentamen:

  • De betrouwbaarheid is lager naarmate het tentamen heterogener is, dat wil zeggen verschillende soorten kennis en vaardigheden meet;
  • De betrouwbaarheid wordt lager naarmate de groep studenten homogener is, dat wil zeggen als de verschillen in niveau van studenten klein zijn. Dat is vast te stellen door het verschil in scores tussen de 5% beste en 5% slechtste studenten.
  • Het kengetal voor de betrouwbaarheid is de laagste ondergrens. In werkelijkheid kan de betrouwbaarheid hoger zijn.
  • De betrouwbaarheid wordt groter als het tentamen meer items omvat.

Verschillen tussen beoordelaars en interbeoordelaarsbetrouwbaarheid

Bij de beoordeling van de resultaten van opdrachten, mondelinge toetsen, presentaties enz. zijn meestal meerdere beoordelaars betrokken. Het is gewenst om te grote verschillen tussen beoordelaars, met name rond de beslissing of een student is geslaagd of gezakt, te voorkomen. Door middel van het vergelijken van de beoordelingen kan nagegaan worden of er geen te grote verschillen zijn.

 

Analyse met qDNA

Met de qDNAtool  kun je vragen uit een tentamen analyseren aan de hand van de toetsuitslagen. Inloggen kan met jouw UvAnetID. Kijk op de qDNAtool documentatie pagina (Analyseren --> tentamen toevoegen) om te zien welke bestanden geupload kunnen worden.

Gepubliceerd door  Toetsing

25 april 2017