Her er du!: VUE » Vurderingskriterier » Validitet

Validitet

Populært sagt handler validitet om, i hvilken grad vi måler det, som vi ønskede at måle. Under validitet kan man opdele i:

  • content validity: udprøver vi i hele indholdet?
  • construct validity: udprøver vores eksamen i de tilsigtede læringsmål?

 

EKSAMENSFORM  CONTENT VALIDITY CONSTRUCT VALIDITY
MCQ og lignende tests Høj, idet det er muligt at dække et meget bredt indholdsfelt. Kræver nøje overvejelse af hvordan spørgsmålene stilles, og hvilke svarmuligheder, der gives.
Skriftlig stedprøve uden hjælpemidler Stiger, hvis der kan stilles spørgsmål til en større del af pensum. Forudsat at læringsmålene angår paratviden og parat-metodekendskab kan construct validity være høj.
Skriftlig stedprøve med hjælpemidler Stiger, hvis der kan stilles spørgsmål til en større del af pensum. Forudsat at læringsmålene angår viden, brug af viden og anvendelse af metoder, kan construct validity være høj.
Større skriftlig (hjemme-) opgave Da der typisk stilles et spørgsmål/en problemstilling, vil det vanskeligt at opnå en høj content validity. Høj, idet tidsperioden tillader den studerende at gå i dybden.
Portfolio Høj, idet portfolien kan samle stort alt, hvad der indgår i undervisningen. Høj, hvis man skal vurdere den studerendes evner inden for et komplekst og sammensat fænomen.
Logbog Høj, da den løbende afkræver studerendes refleksioner over, hvad indgår i undervisningen. Høj, hvis man skal vurdere evner inden for et komplekst og sammensat fænomen. 
Praktikopgave Lav, da der ikke er direkte dokumentation for, i hvor høj grad den studerende har arbejdet med relevante faglige færdigheder og kompetencer. Lav, idet rapporten er en indirekte dokumentation af, i hvilken grad læringsmålene er nået.
Mdt. trækspørgsmål uden forberedelse Pga tidsfaktoren vil der ikke kunne stilles tilstrækkeligt mange spørgsmål til at sikre en høj content validity. Muligheden for at stille individuelle og opfølgende spørgsmål giver mulighed for en høj construct validity.
Mdt. trækspørgsmål med forberedelse uden hjælpemidler Afhænger af om spørgsmål tester faktuel viden eller generiske færdigheder. Muligheden for at stille individuelle og opfølgende spørgsmål giver mulighed for en høj construct validity.
Mdt. trækspørgsmål med forberedelse og hjælpemidler Relativ høj, hvis spørgsmålene formuleres, så de tester den studerendes evne til at generere hypoteser, forklare, og applikere principper. Muligheden for at stille individuelle og opfølgende spørgsmål giver mulighed for en høj construct validity.
Studenteroplæg Relativ lav, idet det kun dækker over et afgrænset indholdsområde. Meget høj, idet studenteroplægget giver mulighed for den studerende for at vise både viden, færdighed og kompetence.
Stationseksamen (fx OSCE) Afhænger af forholdet mellem antallet af stationer og antallet af læringsmål, variationen i kompetencemål i de enkelte stationsopgaver samt det faglige indhold i opgaverne. Afhænger af forholdet mellem antallet af stationer og antallet af læringsmål, variationen i kompetencemål i de enkelte stationsopgaver samt det faglige indhold i opgaverne.
Praktisk prøve Afhængigt af, hvor stor en del af fagets praktiske indhold der faktisk eksamineres i. Sikres ved at have klare kriterier for færdighedens kompleksitetsniveauer.
Aktiv deltagelse Meget høj, hvis de studerende reelt løbende skal vise deres viden, kompetencer og færdigheder. Men lig nul, hvis de studerende består på deres blotte fysiske tilstedeværelse. Meget høj, hvis de studerende reelt løbende skal vise deres viden, kompetencer og færdigheder. Men lig nul, hvis de studerende består på deres blotte fysiske tilstedeværelse.
Mundtlig fremlæggelse pba. synopsis Oftest lav, da synopsen og den studerendes fremlæggelse sædvanligvis kun behandler et enkelt spørgsmål inden for fagets indhold. Relativ høj, afhængigt af kravene til synopsen og til den mundtlige fremlæggelse. 
Større skriftlig opgave med mundtligt forsvar Oftest lav, da en skriftlig opgave typisk kun behandler en del af pensum. Dog kan man spørge ind til det resterende pensum til den mundtlige prøve. Relativ høj, afhængigt af spørgsmålstyperne.
Portfolio og mundtlig eksamen Høj, idet portfoliodelen kan samle stort alt, hvad der gennemgås i undervisningen. Høj, hvis man skal vurdere den studerendes evner inden for et komplekst og sammensat fænomen.
Projekteksamen Oftest lav, da en projektrapport typisk kun behandler en del af pensum.  Relativ høj, afhængigt af projektoplægget.

 

Uddybning af validitet

Populært sagt handler validitet om, i hvilken grad vi måler det, som vi ønskede at måle.

Går vi dybere ind i validitetsbegrebet, bliver det mere komplekst, fordi begrebet knytter sig til prøvens resultater og ikke til selve prøven. Det betyder, at der er tale om forskellige grader af validitet og ikke om prøven er valid eller ej. Kompleksiteten ligger også i, at validiteten så at sige har flere retninger – nemlig i bredden og i dybden.


Når man taler om en prøves validitet i bredden, handler det om content validity – om prøven udprøver i hele indholdet. Indeholder en prøve fx 15 spørgsmål, så har prøven en lav content validity, hvis alle 15 spørgsmål omhandlede samme del af fagets mange emner. På samme måde ville prøven også have lav validitet, hvis fx en opgave ud af tre i en prøve omhandlede et delemne, som kun udgjorde 1/10 af pensum.

Når man derimod taler om en prøves validitet i dybden, handler det om construct validity – om prøven udprøver læringsmålene på det rette taksonomiske niveau. Er en prøve fx konstrueret som spørgsmål med lukkede svarkategorier (som fx i en MCQ), vil dens construct validity være ganske lav, såfremt læringsmålet for kurset har været, at de studerende skulle oparbejde problemløsningskompetencer.

En anden validitetsovervejelser som også kan siges at pege i dybden, er den prædikative validitet – altså om prøvens resultat kan bruges til at udsige noget om den studerendes evner til at begå sig med faget i andre sammenhænge, det være sig i andre fag eller i et efterfølgende arbejdsliv. Her handler validitetsovervejelserne om, i hvor høj grad prøveformen evner at forudsige, om den studerende vil kunne klare sig i sit fremtidige virke.

I sin konstruktion skal prøven imidlertid også sikre, at den giver den studerende mulighed for at præstere svarende til vedkommendes faglige niveau. Prøven skal altså også være valid ift. hvad den studerende kan. Normalt løses dette ved at prøven indeholder både sværere og lettere delopgaver eller at den ene opgave, der stilles, konstrueres, så den er middelsvær. Dette skulle give muligheden for at studerende uanset faglige kompetencer bliver vurderet ift. deres evner.

I praksis er det ofte en afvejning af forholdet mellem validitet og reliabilitet, som ligger til grund for prøveformens forhandlede gyldighed. Her ovenfor ses fire scenarier, som kombinationer af hhv. høj og lav validitet og reliabilitet. Midten af skydeskiven repræsenterer kursets vigtigste læringsmål  og ”skuddene” de studerendes besvarelser. Høj validitet og høj reliabilitet er naturligvis at foretrække, ligesom lav validitet og lav reliabilitet i kombination ikke er efterstræbelsesværdigt. Men de to mellemliggende positioner er måske de mest realistiske, og her kan vi blot opfordre til, at man gør sig klart hvilke styrker den pågældende prøveform i så fald vil have, og hvor der evt. skal sættes ind med ekstraspørgsmål eller kombinationseksamener.

 

 (Skydeskive-metaforen er hentet fra Babbie, E. (2010). The practice of social research (12th ed.) Wadsworth: Cengage Learning)


^ Top