Nationale test v. Marie Teglhus Møller Slides er desværre uden eksempelopgaver, da disse ikke må udleveres. marie@eystein.dk
Oplæg for dagen Hvad er en pædagogisk test? Hvilke krav stilles der til opgaverne i de nationale test? Hvad kan vi teste? Hvordan bliver en testopgave til? Hvad kan det konkrete testresultat bruges til?
Baggrunden for de nationale test I 2005 blev det politisk besluttet, at der skal være en række nationale test i Danmark. De første nationale test blev gennemført i foråret 2010. Testene er et pædagogisk redskab til lærerne, og de kan bidrage til den videre tilrettelæggelse af undervisningen. https://uvm.dk/uddannelser/folkeskolen/elevplaner-nationale-test-og-trivselsmaaling/nationale-test
Hvad er en pædagogisk test? Resultatet af en pædagogisk test er ikke en generel standpunktsbeskrivelse, der giver et dækkende billede af situationen for enkelte elever, for klasser eller for den sags skyld for skolesystemet som helhed. Hensigten med en pædagogisk test er at give en præcis måling af nogle helt specielle sider af elevernes færdigheder. Bendixen & Kreiner (2009). Test i folkeskolen. København: Hans Reitzels Forlag.
Hvordan bliver en testopgave til? Krav til gode testopgaver Unidimensionalitet Monotonicitet Homogenitet Lokal uafhængighed Ingen differentiel itemfunktion Enkelthed og statistisk sufficiens
Krav til gode testopgaver Unidimensionalitet Testen må kun måle en enkelt færdighed. Man kan tale om tre pædagogiske test i én, fordi der er tre profilområder: 1. Tal og algebra 2. Geometri 3. Matematik i anvendelse Det er en udfordring i testen, at profilområderne er brede. Opgaveudviklerne skal sørge for, at hver opgave kun tester en enkelt færdighed.
Krav til gode testopgaver Monotonicitet Krav om, at sandsynligheden for, at en elev svarer rigtigt på en opgave, skal være en monotont voksede funktion af den færdighed, som testen forsøger at måle. Som oftest et enkelt og uproblematisk krav, som næsten altid er opfyldt.
Krav til gode testopgaver Homogenitet Krav om, at opgavernes rækkefølge mht. sværhedsgraderne er den samme for samtlige elever, uanset hvor dygtige eleverne er.
Krav til gode testopgaver Lokal uafhængighed Krav om, at chancerne for, at en elev svarer rigtigt på en opgave, kun afhænger af, hvor dygtig en elev er - og ikke afhænger af, hvad svaret er på en anden opgave. Det undgår vi ved at oprette varianter. Der må ikke forekomme opgaver, der minder så meget om hinanden, at eleven med rette kan føle, at vedkommende får den samme opgave to gange, eller kan bruge informationer fra en opgave i en anden, så besvarelsen af en opgave ikke er afhængig af besvarelsen af en anden. Dette er et af de sværeste testkrav at opfylde.
Krav til gode testopgaver Ingen differentiel itemfunktion Svarene på opgaverne må kun afhænge af, hvor dygtig eleven er, og ikke noget som helst andet. I nationale test undersøges følgende for alle opgaver: Har drenge og piger lige stor chance for at svare på opgaven? Har elever, der kommer fra en stor skole, lige så stor chance for at svare på opgaven, som elever, der kommer fra en mindre skole? Er der regionsforskelle i, hvordan opgaverne besvares?
Krav til gode testopgaver Enkelthed og statistisk sufficiens Testene skal være enkle at have med at gøre. Det skal være relativt let at indsamle resultater fra pædagogiske test. Kravet om enkelthed er i sin yderste konsekvens et krav om, at man kun behøver at tælle op, hvor mange opgaver eleven har svaret rigtigt for at få en fornemmelse af, hvor dygtig eleven er. Dette kaldes kravet om statistisk sufficiens.
Krav til gode testopgaver Pædagogiske test, der lever op til disse krav, giver ifølge psykometrikerne såkaldt begrebsvalide målinger. Målingerne afhænger kun af det, de skal måle, og en høj score er udtryk for en bedre færdighed end en lav score. Det kan derfor vises, at sandsynligheden for, at elev nr. n svarer rigtigt på en opgave nr. i, afhænger af forskellen mellem elevens dygtighed D n og opgavens sværhedsgrad S i. e (D n S i ) 1 + e (D n S i )
Krav til gode testopgaver
Eksempel på overdiskriminering
Eksempel på underdiskriminering
Eksempel på differentiel itemfunktion (køn)
Eksempel på differentiel itemfunktion (skolestørrelse)
Vær opmærksom på, at testresultaterne anlægger en snæver synsvinkel på eleverne. De giver kun enkelte oplysninger, som aldrig kan stå alene, men som kan bruges til at supplere eller kvalificere lærerens viden. sådanne test kan være præget af en høj grad af usikkerhed.
Præcision To typer af fejl: De usystematiske fejl Statistisk usikkerhed De systematiske fejl Afhænger af hvorledes opgaverne ligger placeret i forhold til eleverne
Tilpasning til populationen Hvis man ønsker præcise målinger for alle elever i en given population, og ønsker man at bruge samme opgaver til alle elever, skal antallet af opgaver være relativt stort, og sværhedsgraden skal spænde fra meget let til meget svær. En løsning kan være at anvende adaptive tests.
Fordele og ulemper ved det adaptive princip Fordel: Der kan gives et testresultat, der har en forholdsvis lille statistisk usikkerhed til alle elever. Præcisionen i testresultatet afhænger kun af, hvor mange opgaver der stilles. Ulempe: Adaptive test skal være IT-baserede. Det giver nogle udfordringer ift. hvilke opgaver der kan stilles. Hver testforløb bliver individuelt, hvilket gør det noget sværere for læreren at sætte sig ind i alle elevers testresultater.
Hvad kan vi egentlig teste? Udgangspunktet er Fælles Mål. Profilområderne er lige nu: 1. Tal og algebra 2. Geometri 3. Matematik i anvendelse Disse profilområder harmonerer med de gamle mål (før 2009). I Fælles Mål 2009 og i forenklede Fælles Mål blev strukturen ændret: 1. Tal og algebra 2. Geometri og måling 3. Statistik og sandsynlighed Denne struktur er også strukturen for de tre profilområder i testen fremadrettet, men strukturen er ikke slået igennem endnu i de test, eleverne møder.
Hvad kan vi egentlig teste? I forenklede Fælles Mål har vi med fire kompetenceområder at gøre: Matematiske kompetencer Tal og algebra Geometri og måling Statistik og sandsynlighed De matematiske kompetencer testes ikke. De øvrige kompetenceområder testes delvist.
Tal og algebra
Geometri og måling
Statistik og sandsynlighed
Kvalitetssikringsprocessen testfaglig kvalitetssikring faglig kvalitetssikring sproglig kvalitetssikring
Afprøvning og Rasch-analyse 600-800 elever afprøver opgaverne. Op mod 50 % af opgaverne kasseres i Rasch-analysen. Rasch-analysen siger ikke noget, om en opgave er fagligt god eller ej. Rasch-analysen sørger for, at alle opgaver i opgavebanken består kravene til en god testopgave. Nogle af disse krav kan vi som opgaveudviklere forsøge at leve op til, når vi laver opgaver, men en del afsløres først i Rasch-analysen.
Hvordan bruges testresultaterne? Hvordan bliver testresultaterne brugt lige nu? Evaluering af reformen ved hjælp af nationale test Det er målet, at Mindst 80 pct. af eleverne skal være gode til at læse og regne i de nationale test. Andelen af de allerdygtigste elever i dansk og matematik skal stige år for år. Andelen af elever med dårlige resultater i de nationale test for læsning og matematik uanset social baggrund skal reduceres år for år. Det er i øvrigt ikke tilladt at offentliggøre resultaterne af de nationale test og derved bruge dem til fx rangordning af skolerne. Den eneste sammenligning, der kan gennemføres på baggrund af de nationale test, er på kommunalt plan, idet en kommune har adgang til kommunens skolers resultater. http://www.uvm.dk/~/media/uvm/filer/udd/folke/pdf15/mar/150316%20anvendelse%20af%20testresultater%20februar%202015.pdf
Hvad kan testresultaterne bruges til? Ministeriets bud: Brug testresultaterne https://uvm.dk/~/media/uvm/filer/udd/folke/pdf15/feb/150225%20brug%20testresultaterne-%20matematik2015.pdf Her er der desuden beskrivelser af niveauerne på den nye, kriteriebaserede skala.
Anbefaling Husk, at testen kun tester en lille del af faget. Husk, at testen er et øjebliksbillede. Husk, at profilområderne er brede. For at få information om den enkelte elev, er det nødvendigt med kendskab til, hvilke opgaver eleven rent faktisk har mødt i sit testforløb. Man kan forestille sig, at man i hvert fald har fokus på tre typer af elever: - de elever, man ved er i vanskeligheder i den daglige matematikundervisning - de elever, hvor testresultatet viser, at eleverne er i vanskeligheder - de elever, hvor testresultatet overrasker, dvs. hvor eleven ikke scorer som forventet I disse tilfælde bør man kigge bag om testresultatet. Og testresultatet må aldrig stå alene
En god eller en dårlig test? Kvaliteten og værdien af de pædagogiske test er ikke et spørgsmål om, i hvor høj grad de giver et dækkende billede af, hvordan det går med et fag i skolen, men kun et spørgsmål om, hvorvidt de giver nyttige og interessante resultater, som læreren kan bruge til at forbedre undervisningen. Hvis det, der måles, er irrelevant og uinteressant, er der tale om en dårlig test. Til gengæld kan det være en god test, hvis testresultaterne i øvrigt er troværdige, og hvis læreren forstår at udnytte dem efter fortjeneste. Bendixen & Kreiner (2009). Test i folkeskolen. København: Hans Reitzels Forlag.
Fremtiden Ændring af placeringen af nationale test i matematik. Nu ligger testen på 3. og 6. klassetrin. Fra skoleåret 17/18 er der test på 3., 5. og 7. klassetrin. Tilretning af testene, så opgaverne kobles til de nye forenklede Fælles Mål. Det betyder ændring af profilområderne: Matematik i anvendelse erstattes af Statistik og sandsynlighed. Dette træder i kraft på 3. klassetrin i skoleåret 2016/2017 og på 5. og 7. klassetrin året efter.