Afdeling for Almen Uddannelse og Tilsyn Frederiksholms Kanal 26 1220 København K Tlf. 3392 5000 Fax 3392 5567 E-mail stuk@stukuvm.dk www.stukuvm.dk CVR nr. 29634750 Opgaveproduktion og kvalitetssikring af opgaver til de nationale test De nationale test er tænkt som et blandt flere værktøjer, der kan bidrage til, at læreren får overblik og kan vurdere elevernes udbytte af undervisningen. Ikke alle områder af fagene kan eller skal testes med de nationale test, og resultaterne fra testene kan derfor ikke stå alene i evalueringen af eleverne. 12. september 2016 Sags nr.: 008.893.311 De nationale test tester de områder af fagene, som kan testes inden for rammerne af et digitalt, selvrettende tekstformat. Testene skal give en så objektiv og præcis vurdering af elevernes faglige niveau som muligt inden for afgrænsede områder af fagene (profilområder). Det er vigtigt, at opgaverne i de nationale test har et højt fagligt og testmetodisk niveau, og at de er tilpasset de elever, som møder dem. Opgaverne bliver udarbejdet af opgavekommissionerne i de forskellige fag der testes i. Opgavekommissionerne er sammensat, så der er både medlemmer med tilknytning til folkeskolen samt medlemmer med relevant forskningstilknytning og anden relevant faglig ekspertise. For at sikre, at opgaverne i opgavebanken har en høj kvalitet, gennemgår samtlige testopgaver en omfattende kvalitetssikring. Arbejdet med at producere og kvalitetssikre testopgaver omfatter følgende faser: 1. Opgavekommissioner skriver udkast til nye opgaver efter gældende retningslinjer for kvalitet i opgaveproduktionen 2. De nye opgaver gennemgår en testmetodisk, en faglig og en sproglig kvalitetssikring 3. Opgaver bliver gennemgået og godkendt af ministeriets læringskonsulenter Faglig kvalitetssikring
4. Samtlige godkendte opgaver bliver afprøvet blandt ca. 700 elever i målgruppen 5. Alle afprøvede opgaver gennemgår en statistisk Rasch-analyse. 6. Opgaverne, som opfylder den faglige og statistiske kvalitetssikring, tilføjes til opgavebanken Statistisk kvalitetssikring 2 I det følgende er faserne 1-5 beskrevet nærmere. 1. Opgavekommissionerne skriver udkast til nye opgaver Opgaverne til de nationale test udarbejdes af ministeriets opgavekommissioner. I skoleåret 2016/2017 er der 20 opgavekommissionsmedlemmer fordelt på de syv opgavekommissioner med hver deres formand. Blandt de i alt 20 medlemmer og formænd er der både folkeskolelærere, undervisere på professionshøjskoler, lærebogsforfattere, forskere og freelancekonsulenter med ekspertise inden for eksempelvis læsning. I opgavekommissionerne er der fokus på at udarbejde testopgaver, som står mål med undervisningens indhold, og som så vidt muligt er tilpasset den virkelighed, eleverne kender. Til grund for opgaveproduktionen ligger retningslinjer for kvalitet, som opgavekommissionerne skal følge, når de producerer nye opgaver. For alle opgaver, spørgsmål og svarmuligheder gælder bl.a. følgende: Alle tekster skal være sammenhængende og sprogligt korrekte. Kendte faglige udtryk skal anvendes konsistent i alle opgaver. Overflødig tekst og illustrationer skal undgås. Testopgaven må kun indeholde det, som er nødvendigt for, at eleven kan besvare opgaven. Al tekst (herunder også tal og enkeltord) i opgaver, herunder også tekster i eller til illustrationer og grafik, indsættes i et format, som gør det muligt at få oplæst teksterne ved hjælp af oplæsningsprogrammer. I tillæg til, at opgaverne skal være fagligt og sprogligt gode, skal opgavekommissionerne også sikre, at opgaverne har høj testmetodisk kvalitet. Det indebærer blandt andet, at opgaverne lever op til følgende kriterier: En opgave må kun indeholde én problemstilling. Der skal være overensstemmelse i sprogbrug mellem opgave og spørgsmål. Et spørgsmål må ikke henvise til eller basere sig på tidligere spørgsmål/svar i andre opgaver. Der må ikke være negationer i spørgsmål.
3 Svarmuligheder skal være logiske, plausible og konsistente, såvel indholdsmæssigt som sprogligt. Der må ikke være tvivl om, hvilket svar eller kombination af svar der er det rigtige. 2. De nye opgaver gennemgår en testmetodisk, en faglig og en sproglig kvalitetssikring Inden formanden for opgavekommissionen afleverer opgaver til endelig godkendelse hos læringskonsulenterne, skal opgaverne igennem en faglig, testmetodisk og sproglig kvalitetssikring. Da der er tale om en omfattende kvalitetssikringsprocedure, er der til hver opgavekommission tilknyttet en række kvalitetssikrere. Disse omfatter eksterne fagpersoner med kompetencer inden for de tre kvalitetssikringsområder, der har tilknytning til fx forskningsverdenen eller professionshøjskolerne. I skoleåret 2016/2017 er der i alt 15 kvalitetssikrere, fordelt på de syv testfag. Fire af de 15 kvalitetssikrere er tilknyttet mere end ét område, fordi de fx er testmetodisk kvalitetssikrere i flere fag. For de tre kvalitetssikringer gælder, at opgaverne skal vurderes for at sikre, at de, ud over de ovennævnte krav (jf. afsnit 1), lever op til en række sproglige, faglige og testmetodiske kvalitetskriterier, herunder blandt andet, at opgaverne: Er formuleret i et sprog, som er forståeligt for den pågældende målgruppe. Er fagligt korrekte og ikke indeholder faktuelle fejl. Lever op til krav om tilgængelighed. Har tilknyttet korrekte metadata, og at baggrundsoplysninger er korrekte. 3. Opgaver bliver gennemgået og godkendt af ministeriets læringskonsulenter Ministeriets læringskonsulenter samarbejder med opgavekommissionerne og har ansvaret for den endelige faglige godkendelse af testopgaverne. Læringskonsulenten har ansvaret for at: Sikre, at testopgaver udarbejdes i overensstemmelse med gældende bestemmelser. Vurdere opgaverne med henblik på at sikre, at de tester eleverne i relevante faglige mål for faget. Sikre, at testopgaverne er tilpasset udvikling i og ændringer af mål og krav, herunder Fælles Mål, fastlagt af ministeriet og i lovgivningen på området.
4 4. Alle godkendte opgaver bliver afprøvet blandt ca. 700 elever i målgruppen For at sikre, at opgaverne rent faktisk fungerer i praksis blandt de elever, de er målrettet, afprøves nye opgaver på ca. 700 elever, inden de indføres i opgavebanken. Opgaveafprøvningen bruges blandt andet til at sikre, at opgaver ikke er så svære, at ingen elever er i stand til at svare rigtigt. 5. Alle nye, afprøvede opgaver gennemgår en statistisk Rasch-analyse. På baggrund af data fra opgaveafprøvningen gennemføres en Rasch analyse, som blandt andet kontrollerer, at: Sandsynligheden for at svare rigtigt ikke afhænger af fx geografi, køn eller andre parametre. Der er altså fx ikke opgaver, hvor piger som følge af særlig baggrundsviden har lettere ved at svare rigtigt end drenge eller omvendt. Et rigtigt svar ikke er udtryk for andre faglige færdigheder end dén færdighed, der konkret testes i. Eleverne ikke blot gætter sig til svaret på en opgave. Det undersøges ved, at der i analysen ikke blot ses på, hvor mange elever der svarer rigtigt, men også hvordan disse elever har svaret på de andre opgaver. Det vil antyde gætteri, hvis der er lige så mange fagligt svage elever som fagligt dygtige, der har svaret rigtigt på en opgave. Rasch-modellen er en statistisk model (en item-respons model), der sikrer opgavernes validitet. Derudover sikrer Rasch-modellen statistisk objektive resultater. Det er kun opgaver, der lever op til Rasch-modellens krav, der indgår i opgavebanken. Supplerende kvalitetssikringsarbejde I tillæg til den kvalitetssikring, der gennemføres som led i den løbende drift (beskrevet ovenfor), har ministeriets opgavekommissioner i perioden fra 2013-2015 gennemført en omfattende kvalitetssikring af opgavebanken. Kvalitetssikringen blev blandt andet foranlediget af ministeriets forøgede indblik i opgavebankens sammensætning efter overtagelse af testsystemet fra en ekstern leverandør i 2011. På baggrund af kvalitetssikringsarbejdet blev en del opgaver fjernet fra opgavebanken, ligesom der blev tilføjet en række nye opgaver. I skoleåret 2016/17 står ministeriet over for at skulle foretage en yderligere kvalitetssikring af eksisterende opgaver i opgavebankerne i dansk,
læsning for 2. og 4. klasse. I forbindelse med den obligatoriske testrunde i foråret 2016 er der ved enkelte lejligheder rejst kritik af indholdet og sværhedsgraden af opgaverne i læsetestene i indskolingen. Gennemgangen skal sikre, at de to test står mål med undervisningens indhold og er tilpasset elevernes virkelighed. 5