SDU Universitetspædagogik

Reliabilitet

Er prøven pålidelig og reproducerbar? Skelner den konsistent mellem høj og lav grad af opfyldelse af læringsmål hos de studerende (inter-item reliability), og bliver prøven og dens resultat vurderet ens af flere forskellige (fx underviser og censor) (inter-rater reliability).

EKSAMENSFORM	RELIABILITY
MCQ og lignende tests	Objektivitet i definitionen af rigtige og forkerte svar gør reliabiliteten meget høj.
Skriftlig stedprøve uden hjælpemidler	Flere spørgsmål med relativt entydige svar øger reliabiliteten.
Skriftlig stedprøve med hjælpemidler	Jo flere spørgsmål med entydige svar, desto større reliabiliteten.
Større skriftlig (hjemme-) opgave	Stilles spørgsmålet af den studerende selv, skal selve spørgsmålet også indgå i bedømmelsen for at sikre reliabiliteten.
Portfolio	Det er vigtigt at sætte tydelige bedømmelseskriterier op for portfolien, for at sikre en høj reliabilitet.
Logbog	Det er vigtigt at sætte tydelige bedømmelseskriterier op for logbogen for at sikre en høj reliabilitet.
Praktikopgave	Praktiksteder er meget forskellige, hvorfor reliabiliteten bliver lav.
Mdt. trækspørgsmål uden forberedelse	Reliabiliteten bliver personafhængig. Forskellige spørgsmål svækker reliabiliteten.
Mdt. trækspørgsmål med forberedelse uden hjælpemidler	Reliabiliteten bliver personafhængig. Forskellige spørgsmål svækker reliabiliteten.
Mdt. trækspørgsmål med forberedelse og hjælpemidler	Reliabiliteten bliver personafhængig. Forskellige spørgsmål svækker reliabiliteten.
Studenteroplæg	Kriterierne for det gode studenteroplæg skal være entydige og kendte for de studerende for at sikre reliabiliteten.
Stationseksamen (fx OSCE)	Stiger med antal stationer
Praktisk prøve	Høj reliabilitet forudsætter klare kriterier for bedømmelse.
Aktiv deltagelse	Det er afgørende for reliabiliteten, at kriterierne for de enkelte opgaver er entydige og kendte for de studerende.
Mundtlig fremlæggelse pba. synopsis	Da denne prøveform har fokus på et eller få spørgsmål, er det svært at opnå en høj reliabilitet. Stilles spørgsmålet af den studerende selv, skal selve spørgsmålet også indgå i bedømmelsen for at sikre reliabiliteten.
Større skriftlig opgave med mundtligt forsvar	Da denne prøveform har fokus på et eller få spørgsmål, er det svært at opnå en høj reliabilitet. Stilles spørgsmålet af den studerende selv, skal selve spørgsmålet også indgå i bedømmelsen for at sikre reliabiliteten.
Portfolio og mundtlig eksamen	Det er vigtigt at sætte tydelige bedømmelseskriterier op for portfolien, for at sikre en høj reliabilitet. Den mundtlige eksamen giver eksaminator mulighed for at stille uddybende spørgsmål.
Projekteksamen	Da denne prøveform har fokus på et eller få emner, er det svært at opnå en høj reliabilitet. Formuleres projektoplægget af de(n) studerende selv, skal selve oplægget også indgå i bedømmelsen for at sikre reliabiliteten.

 

Uddybning af reliabilitet

Prøveformen skal muliggøre præcise og ensartede bedømmelser, dels for at leve op til lovkravet og dels for at sikre de studerende en fair bedømmelse.

Ønsket om reliabilitet er også ønsket om den ideelle og mest sande vurdering af den studerendes præstation. Derfor handler sikringen af reliabilitet også om minimeringen af mulige fejlkilder i bedømmelsen. Ved at gøre det tydeligt og entydigt hvad kriterierne for bedømmelsen er, forsøger man at sikre sig mod, at bedømmerne inddrager fortolkende og normative vurderinger af den studerendes præstation.

Reliabiliteten kan som nævnt højnes ved at gøre opgave og bedømmelseskriterier klare og entydige. Dette gælder over for den studerende, så det er klart, hvad der efterspørges, og hvornår man som studerende har opnået målet. Men det gælder også mellem bedømmere (typisk eksaminator og censor), som skal være enige om hvori opgaven består og hvordan den bedømmes, så en konsistens bedømmelse sikres.

I den forbindelse kan man også betragte antallet af bedømmere som et udtryk for reliabilitet. Jo flere bedømmere, desto større sandsynlighed for en fair bedømmelse. En prøveform, hvor der både er tilknyttet en eksaminator og en censor, er derfor i udgangspunktet mere pålidelig end en prøveform, hvor kun eksaminator sidder som bedømmer.

I konstruktionen af prøven kan reliabiliteten højnes ved at øge antallet af problemstillinger, som skal udprøves. Jo flere delspørgsmål en prøve består af, desto mindre er chancen for at bedømmelsen af den studerende sker på baggrund af tilfældigheder og held/uheld. Resultatet af en prøve er fx ikke pålideligt, hvis der blot bliver testet i en problemstilling, og den studerende netop kun har læst op på denne. Eller hvis den ene problemstilling, som testes af prøven, falder sammen med den ene problemstilling i faget, som den studerende lige netop ikke forstår.

I praksis er det ofte en afvejning af forholdet mellem reliabilitet og validitet, som ligger til grund for prøveformens forhandlede gyldighed. Her til højre ses fire scenarier, som kombinationer af hhv. høj og lav validitet og reliabilitet. Midten af skydeskiven repræsenterer kursets vigtigste læringsmål og ”skuddene” de studerendes besvarelser. Høj validitet og høj reliabilitet er naturligvis at foretrække, ligesom lav validitet og lav reliabilitet i kombination ikke er efterstræbelsesværdigt. Men de to mellemliggende positioner er måske de mest realistiske, og her kan vi blot opfordre til, at man gør sig klart, hvilke styrker den pågældende prøveform i så fald vil have, og hvor der evt. skal sættes ind med ekstraspørgsmål eller kombinationseksamener. 

(Skydeskive-metaforen er hentet fra Babbie, E. (2010). The practice of social research (12th ed.) Wadsworth: Cengage Learning)

---