Bilag 2: Undersøgelse af de nationale tests reliabilitet. Sammenfatning

Bilag 2: Undersøgelse af de nationale tests reliabilitet Sammenfatning I efteråret 2014 blev der i alt gennemført ca. 485.000 frivillige nationale tests. 296.000 deltog i de frivillige test, heraf deltog 32.600 i den samme test to eller tre gange. I alle profilområder er der en statistisk signifikant positiv sammenhæng mellem elevdygtigheden bestemt ved første og ved andet forsøg i de frivillige test. Specielt i afkodning og tekstforståelse i dansk læsning samt i engelsk er der en høj korrelation mellem to gentagne test. Olof Palmes Allé 38 8200 Aarhus N Tlf.nr.: 35 87 88 89 E-mail: stil@stil.dk www.stil.dk CVR-nr.: 13223459 08.02.2016 Generelt er korrelationen mellem elevens samlede vurdering i forsøg 1 og forsøg 2 på 0,79. Eleverne opnår et statistisk signifikant bedre testresultat i deres andet forsøg i dansk læsning, matematik og engelsk. I gennemsnit opnår ne 4-5 point mere i deres andet forsøg i dansk, læsning og matematik og 2 point mere i engelsk, fysik/kemi, biologi og geografi. Forskellen i elevdygtigheden mellem første og andet forsøg bliver statistisk signifikant større des længere tid, der går mellem de to forsøg, for de fleste profilområder i dansk læsning i 2., 4. og 6. klasse samt i matematik i 3. og i 6. klasse. Ændringen i elevdygtigheden mellem første og andet forsøg bliver statistisk signifikant større des større usikkerheden, SEM, er på den estimerede elevdygtighed. Ved afholdelse af de frivillige test i efteråret 2014 fik de, der deltog to gange, i gennemsnit 25 procent af de samme opgaver anden gang som de fik første gang. Der er store forskelle på graden af gentestning mellem de enkelte test og mellem de enkelte profilområder. I dansk, læsning er gentestningsgraden på godt 50 procent, mens den kun er på 13 procent i matematik i 6. klasse. Des dygtigere eleven er, des større sandsynlighed er der for at eleven får opgaver i forsøg 2, som eleven også har haft i forsøg 1. Dette hænger sandsynligvis sammen med, at specielt disse profilområder mangler svære opgaver i opgavebanken.

2 Des større forskel i den beregnede elevdygtighed mellem de to frivillige forsøg, des mindre er sandsynligheden for at eleven får de samme opgaver begge gange. Når der er taget højde for elevens dygtighed bestemt ved første forsøg, er der generelt ingen statistisk signifikant sammenhæng mellem elevens dygtighed i andet forsøg og graden af gentestning. Det kan således ikke påvises, at gentestning øger sandsynligheden for et bedre testresultat. Der er en statistisk signifikant positiv sammenhæng mellem testresultaterne i de obligatoriske nationale test og nes karakter i folkeskolens prøve i 9. klasse. Specielt tekstforståelse i korrelerer højt med folkeskolens prøve i dansk læsning. 80 procent af de, der samlet opnår vurderingen mangelfuld i dansk læsning, får højst karakteren 4 i dansk læsning i folkeskolens prøve i 9. klasse. 80 procent af de, der samlet opnår vurderingen rigtig god i dansk læsning, får mindst 7 i dansk læsning i folkeskolens prøve i 9. klasse. Næsten 60 procent af de, der samlet opnår vurderingen fremragende i dansk læsning, får mindst 10 i dansk læsning i folkeskolens prøve i 9. klasse. Tilsvarende er der en statistisk god sammenhæng mellem de kriteriebaserede tilbagemeldinger i matematik i 6. klasse og folkeskolens prøve i færdighedsregning i 9. klasse. Fx opnår 75 procent af de, der samlet opnår vurderingen fremragende i matematik 6. klasse, mindst 10 i færdighedsregning i folkeskolens prøve i 9. klasse. Baggrund Skoler kan deltage i de frivillige nationale test hvert efterår. Et stigende antal skoler vælger denne mulighed. Folkeskoler har mulighed for at lade deres deltage i en given test op til to gange ud over den gang, som ne skal tage som obligatoriske nationale test. Skoler, der ikke er omfattet af lov om deltagelse i de obligatoriske test, kan lade deres deltage i de frivillige test op til tre gange. Nogle skoler lader ne deltage i den samme frivillige test med få dages eller få ugers mellemrum. Dette giver mulighed for at undersøge, i hvilken udstrækning ne opnår samme testresultat i to på hinanden følgende test. Dette notat belyser testenes reliabilitet ved at se på testresultaterne for de, der deltog i samme test to eller tre gange i efteråret 2014. Endvidere undersøges i hvilken udstrækning testresultaterne stemmer overens med de prøveresultater ne opnår i 9. klasse. Endelig beskriver notatet omfanget af gentestning af enkelte opgaver, dvs hvor mange opgaver får den enkelte elev i test nummer to, som eleven også fik i test nummer et.

3 Deltagelse i de frivillige nationale test efteråret 2014 Tabel 1 let af afholdte frivillige nationale tests efteråret 2014 test Et test To test Tre test % % 2. klasse 62.765 56.708 50.651 89 6.057 11 0. 4. klasse 64.327 59.891 55.470 93 4.406 7 15 0 6. klasse 61.126 55.964 50.830 91 5.106 9 28 0 42.220 39.610 37.052 94 2.506 6 52 0 3. klasse 61.027 53.427 45.837 86 7.580 14 10 0 6. klasse 58.642 53.179 47.739 90 5.417 10 23 0 Engelsk 7. klasse 41.564 39.103 36.679 94 2.387 6 37 0 Fysik/kemi 29.264 28.056 26.887 96 1.130 4 39 0 Biologi 29.304 28.522 27.761 97 740 3 21 0 Geografi 31.032 29.964 28.936 97 988 3 40 0 Dansk som andetsprog 5. 2.415 2.366 2.317 98 49 2 0. Dansk som andetsprog 7. 1.839 1.815 1.791 99 24 1 0. I alt 485.525 295.744 263.090 89 32.388 11 178 % I efteråret 2014 blev der i alt gennemført 485.525 frivillige nationale tests. I alt deltog 295.744 i de frivillige test, heraf deltog 32.566 (11 procent) i den samme test to eller tre gange. 1.514 institutioner deltog i de frivillige test, hvoraf 723 institutioner anvendte gentestning i mindst ét fag. I gennemsnit gik der 22 dage (range: 0-53 dage) mellem første og anden test. Det er bemærkelsesværdigt, at enkelte har taget den samme test to gange på samme dag. Der er relativt få, der tager testen i dansk som andetsprog mere end én gang, hvorfor denne test ikke behandles yderligere.

4 Forskellen i elevdygtigheden mellem to gentagne frivillige test Tabel 2 Forskel mellem forsøg 1 og forsøg 2 i elevdygtigheden målt på Rasch skalaen 2. klasse 4. klasse 6. klasse 3. klasse 6. klasse Engelsk 7. klasse Fysik/kemi Biologi Geografi * Statistisk signifikant forskellig fra 0 5 % 25 % Gennemsnit 7 5 % 95 % 1 6.057-1,37-0,34 0,17 * 1,68 7,53 2 6.057-1,45-0,28 0,30 * 2,08 6,38 3 6.057-1,51-0,36 0,27 * 2,16 7,09 1 4.421-1,29-0,37 0,15 * 1,67 5,25 2 4.421-1,17-0,26 0,22 * 1,65 5,93 3 4.421-1,17-0,29 0,18 * 1,53 4,87 1 5.134-1,17-0,35 0,18 * 1,66 7,14 2 5.134-0,94-0,17 0,30 * 1,60 7,46 3 5.134-1,15-0,34 0,12 * 1,42 6,37 1 2.558-1,21-0,31 0,23 * 2,10 4,98 2 2.558-1,46-0,31 0,27 * 2,00 6,32 3 2.558-1,21-0,35 0,07 * 1,20 4,34 1 7.590-1,18-0,36 0,16 * 1,55 7,40 2 7.590-1,23-0,32 0,18 * 1,56 5,73 3 7.590-1,39-0,37 0,21 * 1,80 7,08 1 5.440-1,17-0,35 0,16 * 1,61 5,39 2 5.440-1,15-0,34 0,13 * 1,41 5,08 3 5.440-1,26-0,35 0,16 * 1,57 5,59 1 2.424-0,94-0,35 0,06 * 1,10 3,86 2 2.424-1,24-0,33 0,14 * 1,57 4,23 3 2.424-1,01-0,29 0,14 * 1,33 2,81 1 1.169-1,08-0,39 0,04 1,19 4,63 2 1.169-0,98-0,35 0,04 1,12 3,24 3 1.169-1,07-0,39 0,04 1,23 2,99 1 761-1,06-0,34 0,08 * 1,28 3,56 2 761-1,06-0,35 0,01 1,06 1,89 3 761-1,05-0,38 0,03 1,12 2,74 1 1.028-0,95-0,31 0,08 * 1,14 2,55 2 1.028-1,07-0,34 0,04 1,10 3,43 3 1.028-1,11-0,40 0,03 1,12 2,78

5 Eleverne opnår et statistisk signifikant bedre testresultat i deres andet forsøg i dansk læsning, matematik og engelsk. I de tre naturfag i er der ingen statistisk signifikant forskel mellem elevens første og andet forsøg. Tabel 3 Forskel mellem forsøg 1 og forsøg 2 i elevdygtigheden målt på percentil skalaen 2. klasse 4. klasse 6. klasse 3. klasse 6. klasse Engelsk 7. klasse 5 % 25 % Gennemsnit 7 5 % 95 % 1 6.057-41 -9 5 20 50 2 6.057-25 -4 5 13 36 3 6.057-27 -5 4 14 38 Samlet 6.057-19 -4 5 13 29 1 4.421-38 -9 4 17 46 2 4.421-27 -5 5 15 37 3 4.421-30 -6 4 15 40 Samlet 4.421-18 -4 4 12 27 1 5.134-39 -10 5 19 52 2 5.134-22 -3 6 16 37 3 5.134-36 -8 3 15 42 Samlet 5.134-18 -4 5 13 29 1 2.558-41 -8 5 19 57 2 2.558-27 -5 6 18 43 3 2.558-38 -8 1 12 37 Samlet 2.558-18 -4 4 13 29 1 7.590-41 -10 4 19 52 2 7.590-44 -9 6 22 55 3 7.590-37 -7 5 17 48 Samlet 7.590-25 -5 5 16 35 1 5.440-42 -10 5 21 54 2 5.440-46 -12 5 21 57 3 5.440-40 -10 5 21 51 Samlet 5.440-24 -6 5 16 35 1 2.424-30 -10 1 12 34 2 2.424-32 -8 3 13 39 3 2.424-24 -6 3 12 30 Samlet 2.424-16 -5 2 9 21

6 Tabel 3 Fortsat Fysik/kemi Biologi Geografi 5 % 25 % Gennemsnit 7 5 % 95 % 1 1.169-57 -18 1 20 62 2 1.169-57 -19 2 22 61 3 1.169-59 -19 1 24 61 Samlet 1.169-33 -11 2 15 36 1 761-52 -16 3 23 64 2 761-54 -17 1 19 57 3 761-50 -16 2 21 52 Samlet 761-28 -11 2 14 34 1 1.028-44 -14 3 20 52 2 1.028-50 -15 2 20 52 3 1.028-51 -16 1 21 53 Samlet 1.028-26 -10 2 13 32 I gennemsnit opnår ne 4-5 point mere i deres andet forsøg i dansk, læsning og matematik og 2 point mere i engelsk, fysik/kemi, biologi og geografi (tabel 3). I de fleste profilområder er der 5 procent af ne, der opnår en forbedring på 50 point eller mere, og tilsvarende er der 5 procent af ne, der falder med 50 point eller mere i deres andet forsøg. Forskellen i elevdygtigheden mellem første og andet forsøg bliver statistisk signifikant større des længere tid, der går mellem de to forsøg, for dansk læsning i 2. klasse i alle tre profilområder, for dansk læsning i 4. klasse for to af profilområderne, for dansk læsning i 6. klasse i ét profilområde og for matematik i 3. og i 6. klasse i to af profilområderne (tabel 4).

Tabel 4 Forskel mellem forsøg 1 og forsøg 2 i elevdygtigheden målt på percentil skalaen i forhold til tiden mellem de to forsøg 2. klasse 4. klasse 6. klasse 3. klasse 6. klasse Engelsk 7. klasse Højst 1 uge 1 til 2 uger 2-3 uger 3+ uger Gns. Gns. Gns. Gns. 1 * 1345 2 1275 4 1086 6 2351 6 2 * 1345 2 1275 4 1086 5 2351 6 3 * 1345 2 1275 3 1086 5 2351 6 Samlet 1345 2 1275 4 1086 6 2351 6 1 637 1 840 3 852 5 2092 4 2 * 637 3 840 5 852 4 2092 5 3 * 637 2 840 3 852 5 2092 5 Samlet 637 2 840 4 852 5 2092 5 1 1132 3 730 5 801 5 2471 5 2 * 1132 5 730 6 801 7 2471 7 3 1132 2 730 3 801 4 2471 3 Samlet 1132 3 730 5 801 5 2471 5 1 433 6 571 6 272 4 1282 5 2 433 6 571 7 272 8 1282 6 3 433-2 571 2 272 6 1282 1 Samlet 433 3 571 5 272 6 1282 4 1 * 1654 3 1313 5 1277 3 3346 6 2 1654 6 1313 6 1277 5 3346 6 3 * 1654 4 1313 5 1277 3 3346 6 Samlet 1654 4 1313 5 1277 4 3346 6 1 * 876 1 832 5 1058 6 2674 6 2 876 2 832 5 1058 6 2674 5 3 * 876 0 832 4 1058 6 2674 6 Samlet 876 1 832 5 1058 6 2674 6 1 400-1 346 2 363 2 1315 2 2 400 2 346 3 363 2 1315 3 3 400 2 346 3 363 3 1315 3 Samlet 400 1 346 3 363 3 1315 3 7

Tabel 4 Fortsat Fysik/kemi Biologi Geografi Højst 1 uge 1 til 2 uger 2-3 uger 3+ uger Gns. Gns. Gns. Gns. 1 344-0 362 2 119 1 344 2 2 344-1 362 4 119 8 344 2 3 344-2 362 4 119 4 344 2 Samlet 344-1 362 3 119 4 344 2 1 95 3 200 2 52 14 414 3 2 95 3 200 0 52-1 414 1 3 95 3 200-1 52 3 414 2 Samlet 95 3 200 1 52 5 414 2 1 138 3 145 1 293 4 452 4 2 138-1 145 1 293 5 452 1 3 138-0 145-2 293 4 452 1 Samlet 138 1 145 0 293 4 452 2 * Statistisk signifikant udvikling over tid. Den statistiske analyse er foretaget på Rasch skalaen Forskellen i elevdygtigheden mellem første og andet forsøg bliver også statistisk signifikant større des større usikkerheden, SEM, er på den estimerede elevdygtighed. Specielt giver en stor usikkerhed på elevdygtigheden i forsøg 2 en større forskel i elevdygtighederne mellem de to forsøg. Hvis fx usikkerheden kommer under 0,40 i begge forsøg, da vil 50 procent af ne højst opleve udsving på ± 10 point omkring den observerede gennemsnitlige forskel mellem forsøg 1 og 2 i dansk og matematik i samtlige profilområder. Dette er en forbedring i forhold til tabel 3, hvor 50 procent af ne oplever udsving på ± 15 point omkring den observerede gennemsnitlige forskel mellem forsøg 1 og 2 i flere af profilområderne. Tilsvarende afhænger forskellen i elevdygtigheden mellem første og andet forsøg statistisk signifikant af det antal opgaver, der løses. Des flere opgaver eleven når at besvare, des mindre forskel i elevdygtigheden mellem de to forsøg. Endelig afhænger forskellen i elevdygtigheden mellem første og andet forsøg statistisk signifikant af forskellen i det antal opgaver, der løses i de to forsøg. Des større forskel, der er i det antal opgaver eleven når at besvare i de to forsøg, des større forskel i elevdygtigheden mellem de to forsøg 8

Tabel 5 Forskel mellem forsøg 1 og forsøg 2 i elevdygtigheden målt på fem-trins skalaen. Andel (%) 2. klasse 4. klasse 6. klasse 3. klasse 6. klasse Engelsk 7. klasse Falder mere Falder 1 trin Ingen ændring Stiger 1 trin 9 Stiger mere 1 6.057 6 17 42 26 9 2 6.057 2 13 56 26 4 3 6.057 2 14 53 26 5 Samlet 6.057 1 12 58 26 2 1 4.421 5 18 43 27 7 2 4.421 2 14 52 27 5 3 4.421 3 16 50 26 5 Samlet 4.421 1 12 61 25 2 1 5.134 5 19 42 25 10 2 5.134 1 12 53 30 4 3 5.134 4 17 48 24 7 Samlet 5.134 0 12 60 26 2 1 2.558 6 16 45 23 11 2 2.558 3 14 48 28 8 3 2.558 4 18 48 25 4 Samlet 2.558 0 13 59 26 2 1 7.590 5 18 41 26 10 2 7.590 7 17 39 27 12 3 7.590 4 17 44 26 8 Samlet 7.590 1 14 52 28 4 1 5.440 6 19 39 26 11 2 5.440 7 18 37 25 12 3 5.440 6 19 39 26 10 Samlet 5.440 1 15 52 29 3 1 2.424 2 21 49 24 4 2 2.424 4 17 51 25 5 3 2.424 1 15 56 26 2 Samlet 2.424 0 12 68 20 0

10 Tabel 5 Fysik/kemi Biologi Geografi Fortsat Falder mere Falder 1 trin Ingen ændring Stiger 1 trin Stiger mere 1 1.169 12 19 34 23 13 2 1.169 11 20 33 22 14 3 1.169 13 20 30 23 14 Samlet 1.169 3 20 47 26 4 1 761 9 21 35 20 16 2 761 11 22 33 22 11 3 761 9 20 37 23 11 Samlet 761 2 22 50 22 4 1 1.028 8 18 38 26 10 2 1.028 9 20 36 25 10 3 1.028 9 23 33 25 10 Samlet 1.028 1 21 52 24 2 I dansk læsning er der højst 3 procent af testforløbene, hvor eleven oplever en ændring på mere end et trin på fem-trins skalaen i den samlede vurdering (tabel 5). I profilområde1, sprogforståelse, er der ca. 15 procent af testforløbene, hvor der sker en ændring på mere end et trin på fem-trins skalaen. I matematik er der højst 5 procent af testforløbene, hvor eleven oplever en ændring på mere end et trin på fem-trins skalaen i den samlede vurdering. I profilområde2, geometri, er der ca. 19 procent af testforløbene, hvor der sker en ændring på mere end et trin på fem-trins skalaen. For hver elev kan der beregnes en standardiseret forskel, U, på den estimerede elevdygtighed U = D 1 D 2 (SEM 1 2 + SEM 2 2 ) Her er D 1 og D 2 lig den estimerede elevdygtighed til første og andet forsøg, mens SEM 1 og SEM 2 er de tilhørende estimerede usikkerheder. Justeres endvidere med den gennemsnitlige niveauforskel fra første til andet forsøg, da vil U følge en standard normalfordeling. I denne fordeling forventes 95 % af nes resultater at ligge mellem -1,96 og +1,96 mens 5 % af nes resultater forventes at ligge udenfor ±1,96.

11 Tabel 6 Andelen af, hvor forskellen i elevdygtigheden i første og andet forsøg ligger uden for 95 % sikkerhedsinterval 1 2 3 2. klasse 6.057 16 % 20 % 24 % 4. klasse 4.421 13 % 11 % 12 % 6. klasse 5.134 11 % 8 % 11 % 2.558 14 % 14 % 8 % 3. klasse 7.590 12 % 11 % 14 % 6. klasse 5.440 13 % 9 % 12 % Engelsk 7. klasse 2.424 5 % 12 % 9 % Fysik/kemi 1.169 8 % 6 % 9 % Biologi 761 8 % 5 % 6 % Geografi 1.028 7 % 7 % 8 % I alt ligger 12 procent af forskellene mellem elevdygtighederne i forsøg 1 og forsøg 2 udenfor det forventede, hvilket er lidt mere end de 5 procent, der forventes i en normalfordeling (tabel 6). Spredningen i nes resultater mellem første og andet forsøg er således lidt større end, der forventes, og større end usikkerheden (SEM) på elevdygtighederne kan forklare. Specielt i dansk læsning i 2. klasse er der en større variation mellem nes resultater i første og andet forsøg end, der umiddelbart kan forklares ved usikkerheden i estimeringen af elevdygtighederne. I engelsk og i de tre naturfag er der generelt en tilfredsstillende overensstemmelse mellem den estimerede elevdygtighed i første og andet forsøg.

12 Sammenhæng mellem to gentagne test Sammenhængen mellem nes to forsøg i de frivillige tests udtrykt ved korrelationskoefficienten ses af tabel 7. Denne korrelation kaldes også for test-retest-reliability coefficient eller coefficient of stability. Tabel 7 Sammenhængen mellem forsøg 1 og forsøg 2 i elevdygtigheden målt på Rasch skalaen. Pearson korrelationen 1 2 3 2. klasse 6.057 0,57 * 0,80 * 0,75 * 4. klasse 4.421 0,63 * 0,78 * 0,75 * 6. klasse 5.134 0,56 * 0,81 * 0,73 * 2.558 0,66 * 0,74 * 0,74 * 3. klasse 7.590 0,60 * 0,56 * 0,66 * 6. klasse 5.440 0,61 * 0,56 * 0,60 * Engelsk 7. klasse 2.424 0,76 * 0,77 * 0,80 * Fysik/kemi 1.169 0,45 * 0,41 * 0,39 * Biologi 761 0,41 * 0,49 * 0,50 * Geografi 1.028 0,47 * 0,47 * 0,45 * * Statistisk signifikant forskellig fra 0 I alle profilområder er der en statistisk signifikant positiv sammenhæng mellem elevdygtigheden bestemt ved første og ved andet frivillig test forsøg. En korrelationskoefficient på 0,70 eller derover anses ofte som tilfredsstillende i forbindelse med måling af reliabiliteten 1. Disse er markeret med fed i tabel 7. Det drejer sig om afkodning (profilområde 2) og tekstforståelse (profilområde 3) i dansk læsning samt om alle tre profilområder i engelsk. En korrelationskoefficient under 0,60 anses som regel som utilfredsstillende i forbindelse med måling af reliabiliteten. Hertil skal det dog bemærkes, at en korrelationskoefficient også afhænger af variationen i resultaterne mellem ne. Hvis variationen mellem ne er lille, vil korrelationen være svag uanset at nes testresultater i de to forsøg afspejler samme dygtighed. Variationen mellem nes resultater er relativ lille i geometri (profilområde 2 i matematik) samt i de tre naturfag i. Korrelationen mellem elevens samlede vurdering i forsøg 1 og forsøg 2 er på 0,79. 1 Generel guideline til vurdering af reliabilitet: 0,0-0,5 =uacceptabel; 0,5-0,6 =dårlig; 0,6-0,7 =tvivlsom; 0,7-0,8 =acceptabel; 0,8-0,9 =god; 0,9-1,0 =fremragende

13 I nedenstående scatterplots ses sammenhængen i elevdygtigheden på Rasch skalaen mellem nes to forsøg i de frivillige tests Figur 1. Sammenhængen mellem elevdygtigheden beregnet i første test (x-aksen) og anden test (y-aksen). Dansk læsning 2. og 4. klasse

Figur 2. Sammenhængen mellem elevdygtigheden beregnet i første test (x-aksen) og anden test (y-aksen). Dansk læsning 6. og 14

Figur 3. Sammenhængen mellem elevdygtigheden beregnet i første test (x-aksen) og anden test (y-aksen). 3. og 6. klasse 15

Figur 4. Sammenhængen mellem elevdygtigheden beregnet i første test (x-aksen) og anden test (y-aksen). Engelsk og fysik/kemi 16

Figur 5. Sammenhængen mellem elevdygtigheden beregnet i første test (x-aksen) og anden test (y-aksen). Biologi og geografi 17

18 Genanvendelse af testopgaver Eleverne kan ikke få den samme opgave flere gange i ét testforløb. Derimod kan ne godt blive præsenteret for nogle af de samme opgaver igen, hvis eleven tager den samme test flere gange. Hvis en elev tager den samme test som frivillig test to gange eller tager såvel den frivillige test som den tilsvarende obligatoriske test, da kan eleven anden gang godt blive præsenteret for nogle af de samme opgaver. Dette afsnit undersøger omfanget af denne form for gentestning. Genanvendelse ved de frivillige test Andelen af de opgaver eleven bliver præsenteret for anden gang, som eleven også har besvaret første gang i de frivillige test ses af tabel 8. Tabel 8 Andelen af de opgaver eleven får anden gang ved de frivillige test som eleven også fik første gang (%) 2. klasse 4. klasse 6. klasse 3. klasse 5 % 25 % Gennemsnit 7 5 % 95 % 1 6.057 0 10 27 41 72 2 6.057 0 8 30 47 84 3 6.057 0 7 29 47 86 Samlet 6.057 6 15 29 41 66 1 4.421 0 6 18 25 56 2 4.421 0 12 34 53 79 3 4.421 0 7 29 47 82 Samlet 4.421 5 14 27 38 59 1 5.134 0 5 15 20 45 2 5.134 5 30 53 76 91 3 5.134 0 8 32 53 86 Samlet 5.134 8 21 35 48 67 1 2.558 0 10 28 40 74 2 2.558 7 63 71 90 94 3 2.558 0 13 42 71 90 Samlet 2.558 16 41 52 66 78 1 7.590 0 4 17 25 53 2 7.590 0 6 17 25 48 3 7.590 0 7 19 27 59 Samlet 7.590 3 9 18 23 43

Tabel 8 Fortsat 6. klasse Engelsk 7. klasse Fysik/kemi Biologi Geografi 5 % 25 % Gennemsnit 7 5 % 19 95 % 1 5.440 0 0 12 18 33 2 5.440 0 0 13 19 36 3 5.440 0 4 13 20 38 Samlet 5.440 3 7 13 16 27 1 2.424 0 7 26 41 77 2 2.424 0 5 17 25 59 3 2.424 8 14 31 41 80 Samlet 2.424 6 13 25 33 61 1 1.169 0 0 13 18 38 2 1.169 0 0 12 18 33 3 1.169 0 6 14 20 38 Samlet 1.169 3 7 13 17 27 1 761 0 5 14 20 38 2 761 0 6 15 22 38 3 761 0 6 16 23 42 Samlet 761 3 9 15 19 32 1 1.028 0 8 17 25 43 2 1.028 0 4 13 19 34 3 1.028 0 7 16 22 40 Samlet 1.028 3 10 15 19 31 I alt Samlet 4 11 25 35 63 Ved afholdelse af de frivillige test i efteråret 2014 fik de, der deltog to gange, i gennemsnit 25 procent af de samme opgaver anden gang som de fik første gang. Der er store forskelle på graden af gentestning mellem de enkelte profilområder. I dansk, læsning er gentestningsgraden på godt 50 procent, mens den kun er på 13 procent i matematik i 6. klasse. I afkodning (profilområde 2 i dansk læsning) ligger graden af gentestning generelt højt. Der er generelt ingen statistisk signifikant korrelation mellem graden af genanvendelse af opgaver og tiden mellem de to frivillige test. I de fleste profilområder er der en svag tendens til, at graden af genanvendelse falder des længere tid, der er mellem elevens to test, men der er også enkelte profilområder, hvor tendensen er den modsatte. Det må umiddelbart forventes, at graden af genanvendelse falder, hvis elevens dygtighed ændres, da eleven så vil få opgaver fra andre områder i opgavebanken.

20 Sammenhængen mellem graden af genanvendelse af opgaver og elevens dygtighed i det andet forsøg i de frivillige test ses af tabel 9. Tabel 9 Sammenhængen mellem graden af genanvendelse af opgaver og elevdygtigheden målt på Rasch skalaen i forsøg 2. Spearman korrelationen 1 2 3 2. klasse 6.057 0,07 * 0,43 * 0,01 4. klasse 4.421-0,03 * 0,57 * 0,48 * 6. klasse 5.134-0,09 * 0,65 * 0,61 * 2.558 0,05 0,52 * 0,70 * 3. klasse 7.590 0,21 * 0,17 * 0,10 * 6. klasse 5.440 0,01 0,07 * -0,01 * Engelsk 7. klasse 2.424 0,47 * 0,28 * 0,37 * Fysik/kemi 1.169-0,09 * -0,02 0,01 Biologi 761-0,17 * 0,07 * 0,02 Geografi 1.028-0,11 * -0,03-0,12 * * Statistisk signifikant forskellig fra 0 En positiv korrelation betyder, at des dygtigere eleven er målt på Rasch skalaen des større er graden af genanvendelse af opgaver i forsøg 2 i de frivillige nationale test. Specielt i afkodning (profilområde 2) og i tekstforståelse (profilområde 3) i dansk læsning samt i alle tre profilområder i engelsk er der en høj positiv korrelation. Des dygtigere eleven er, des større sandsynlighed er der for at eleven får opgaver i forsøg 2, som eleven også har haft i forsøg 1. Dette hænger sandsynligvis sammen med, at specielt disse profilområder mangler svære opgaver i opgavebanken. Når der er taget højde for elevens dygtighed bestemt ved første forsøg, er der generelt ingen statistisk signifikant sammenhæng mellem elevens dygtighed i andet forsøg og graden af gentestning. Det kan således ikke påvises, at gentestning øger sandsynligheden for et bedre testresultat. Derudover er der en statistisk signifikant negativ sammenhæng mellem graden af genanvendelse af opgaver i 2. forsøg og ændringen i elevdygtigheden fra første til andet forsøg. Des større forskel i den beregnede elevdygtighed mellem de to frivillige forsøg, des mindre er sandsynligheden for at eleven får de samme opgaver begge gange. Samlet er korrelationen dog kun på -0,02, hvilket kan skyldes, at nes dygtighed ikke ændres markant på Rasch skalaen mellem de to frivillige testforsøg.

Tabel 10 Forskel mellem scoren i forsøg 1 og forsøg 2 på de opgaver eleven møder begge gange 2. klasse 4. klasse 6. klasse 3. klasse 6. klasse Engelsk 7. klasse 5 % 25 % Gennemsnit 7 5 % 21 95 % 1 5.532-2 0 0 1 3 2 5.499-2 0 1 2 4 3 5.182-3 0 1 1 5 Samlet 6.027-4 -1 2 3 8 1 3.666-2 0 0 1 3 2 4.086-2 0 1 1 4 3 3.838-2 0 0 1 4 Samlet 4.404-3 0 1 3 6 1 4.118-2 0 0 1 2 2 4.929-2 0 1 2 4 3 4.511-2 0 1 1 4 Samlet 5.130-3 0 2 3 7 1 2.354-2 0 0 1 3 2 2.515-2 0 1 2 4 3 2.317-2 -1 1 2 4 Samlet 2.558-3 0 2 3 7 1 5.786-2 0 0 1 3 2 6.171-1 0 0 1 3 3 6.456-2 0 0 1 3 Samlet 7.479-2 -1 1 2 5 1 3.905-1 0 0 1 2 2 4.061-1 0 0 1 2 3 4.099-1 0 0 1 2 Samlet 5.302-2 0 0 1 3 1 1.986-2 0 0 1 3 2 1.878-1 0 0 1 2 3 2.424-2 0 0 1 3 Samlet 2.424-2 -1 1 2 5

22 Tabel 10 Fortsat Fysik/kemi Biologi Geografi 5 % 25 % Gennemsnit 7 5 % 95 % 1 829-2 -1 0 1 2 2 837-2 -1 0 1 2 3 919-2 -1 0 1 2 Samlet 1.144-3 -1 0 1 3 1 575-2 -1 0 1 2 2 592-2 -1 0 1 2 3 625-2 -1 0 1 2 Samlet 744-3 -1 0 1 3 1 886-2 -1 0 1 2 2 776-2 0 0 1 2 3 842-2 -1 0 1 2 Samlet 1.009-3 -1 0 1 4 Eleverne opnår i gennemsnit næsten den samme score på de opgaver, de gentester. Hvis scoren i andet forsøg generelt var større end i første forsøg, da kunne det indikere, at eleven havde lettere ved at svare korrekt i andet forsøg.

23 Sammenhæng mellem nes resultater i de obligatoriske nationale test og folkeskolens prøver Sammenhængen mellem nes karakterer fra folkeskolens 9. klasses prøver fra sommeren 2015 sammenlignes med nes testresultater i de nationale test. Det er kun med både en prøvekarakter og et testresultat, der indgår i analysen. Dansk læsning Elevernes karakter i dansk læsning i folkeskolens prøve i 9. klasse fra sommeren 2015 sammenholdes med nes testresultater i de obligatoriske nationale test i dansk læsning i fra foråret 2014. Tabel 11 Sammenhængen mellem folkeskolens prøve i dansk læsning og testresultatet i dansk læsning i de obligatoriske nationale test på Rasch skalaen. Spearman korrelationen Sprogforståelse Afkodning Tekstforståelse 48.382 0,44 * 0,53 * 0,62 * * Statistisk signifikant forskellig fra 0 Der er en statistisk signifikant positiv sammenhæng mellem testresultaterne i de obligatoriske nationale test i dansk læsning og nes karakter i folkeskolens prøve i dansk læsning året efter i 9. klasse. Specielt tekstforståelse korrelerer højt med folkeskolens prøve. Af tabel 12 ses, at 27 % af de, der ligger på trin 1 i tekstforståelse, har fået karakteren 2 i folkeskolens prøve i dansk læsning året efter, mens 47 % har fået karakteren 4. 44 % af de, der ligger på trin 3 i tekstforståelse, har fået karakteren 4 i folkeskolens prøve i dansk læsning året efter, mens 41 % har fået karakteren 7. 48 % af de, der ligger på trin 4 i tekstforståelse, har fået karakteren 7 året efter.

24 Tabel 12 Fordelingen på karakteren fra folkeskolens prøve i dansk læsning efter nes testresultat i de obligatoriske nationale test i dansk læsning udtrykt på fem-trins skalaen. Andel (%) Sprog forståelse resultat Karakter -3 0 2 4 7 10 12 I alt 1 3731 0 13 24 52 11 1 0 100 2 9607 0 3 11 51 30 4 1 100 3 14020 0 1 4 34 44 13 4 100 4 12970 0 1 3 23 41 21 12 100 5 8054 0 1 3 21 36 20 20 100 Afkodning 1 3299 0 13 23 47 15 2 0 100 2 5520 0 6 16 53 23 2 1 100 3 13241 0 2 8 46 35 7 2 100 4 11210 0 0 3 29 45 16 7 100 5 15112 0 0 1 16 41 23 18 100 Tekst forståelse 1 2919 0 16 27 47 9 1 0 100 2 9737 0 4 14 56 24 2 0 100 3 11675 0 1 6 44 41 7 1 100 4 15224 0 0 2 24 48 19 7 100 5 8827 0 0 0 7 33 29 30 100 Samlet 1 1576 0 22 31 42 5 1 0 100 2 7655 0 6 18 57 17 1 0 100 3 16316 0 1 6 45 40 6 1 100 4 17937 0 0 1 19 46 22 11 100 5 4898 0 0 0 6 29 29 36 100 Sammenhængen mellem den samlede vurdering i dansk læsning i i de obligatoriske nationale test og folkeskolens prøve i dansk læsning i 9. klasse ses i tabel 13 og figur 1. 68 procent af de, der opnår en ikke tilstrækkelig præstation i de nationale test, får året efter højst karakteren 2 i folkeskolens prøve i dansk læsning. 84 procent af de, der opnår en god præstation i de nationale test, får året efter karakteren 4 eller 7 i folkeskolens prøve i dansk læsning. 56 procent af de, der opnår en fremragende præstation i de nationale test, får året efter mindst karakteren 10 i folkeskolens prøve i dansk læsning.

Procent 25 Tabel 13 Fordelingen på karakteren fra folkeskolens prøve i dansk læsning efter nes testresultat i de obligatoriske nationale test i dansk læsning udtrykt på den kriteriebaserede skala. Andel (%) Sprog forståelse Karakter resultat -3 0 2 4 7 10 12 I alt Ikke tilstrækkelig 752 0 25 32 38 5 0 0 100 Mangelfuld 5702 0 7 18 56 18 1 0 100 Jævn 8475 0 3 9 46 36 6 1 100 God 19863 0 1 4 30 43 16 7 100 Rigtig god 10855 0 1 2 20 37 22 19 100 Fremragende 2735 0 1 3 27 40 16 13 100 Afkodning Ikke tilstrækkelig 337 0 26 28 38 7 1 0 100 Mangelfuld 4081 0 11 22 50 15 2 0 100 Jævn 4725 0 4 15 53 24 3 1 100 God 39239 0 1 4 29 40 16 10 100 Rigtig god Fremragende Tekst forståelse Ikke tilstrækkelig 749 0 25 29 38 6 0 0 100 Mangelfuld 3959 0 10 23 53 13 1 0 100 Jævn 7851 0 3 12 54 27 3 0 100 God 19118 0 1 5 38 44 10 3 100 Rigtig god 13283 0 0 1 16 44 25 14 100 Fremragende 3422 0 0 0 3 24 29 43 100 Samlet Ikke tilstrækkelig 303 0 33 35 28 4 0 0 100 Mangelfuld 3574 0 13 26 51 9 1 0 100 Jævn 6896 0 4 15 56 23 2 0 100 God 16782 0 1 5 41 43 9 2 100 Rigtig god 15620 0 0 1 19 44 23 12 100 Fremragende 5207 0 0 1 10 32 25 31 100 Figur 1 De nationale test i dansk læsning og folkeskolens prøve i dansk læsning 9. klasse 100 90 80 70 60 50 40 30 20 10 0 79 68 60 39 32 19 0 1 2 6 84 11 63 56 35 42 1 1 <=2 4-7 >=10

26 Elevernes karakter i matematiske færdigheder i folkeskolens prøve i 9. klasse fra sommeren 2015 sammenholdes med nes testresultater i de obligatoriske nationale test i matematik i 6. klasse fra foråret 2012. Tabel 14 Sammenhængen mellem folkeskolens prøve i matematiske færdigheder og testresultatet i matematik i de obligatoriske nationale test på Rasch skalaen. Spearman korrelationen Tal og algebra Geometri i anvendelse 6. klasse 52.345 0,41 * 0,50 * 0,51 * * Statistisk signifikant forskellig fra 0 Der er en statistisk signifikant positiv sammenhæng mellem testresultaterne i de obligatoriske nationale test i 6. klasse matematik og nes karakter i folkeskolens prøve i matematiske færdigheder tre år efter i 9. klasse. Korrelationen er ikke så stor som for dansk læsning, men i matematik er der også 3 år mellem de obligatoriske nationale test og folkeskolens prøve. Tabel 15 Fordelingen på karakteren fra folkeskolens prøve i matematiske færdigheder efter nes testresultat i de obligatoriske nationale test i matematik 6. klasse udtrykt på fem-trins skalaen. Andel (%) Tal og algebra resultat Karakter -3 0 2 4 7 10 12 I alt 1 4681 0 7 27 36 22 6 1 100 2 9160 0 2 15 32 33 14 4 100 3 15177 0 1 8 23 35 23 9 100 4 17651 0 0 4 15 32 31 18 100 5 5676 0 0 3 10 25 31 31 100 Geometri 1 3360 0 9 31 35 20 5 1 100 2 11604 0 3 17 34 31 12 3 100 3 14060 0 1 8 24 37 22 8 100 4 15818 0 0 4 14 34 31 17 100 5 7503 0 0 1 6 22 35 35 100 i anvendelse 1 3213 0 9 30 35 20 5 1 100 2 12400 0 3 17 33 32 13 3 100 3 13410 0 1 8 25 36 21 8 100 4 14512 0 0 3 15 34 31 16 100 5 8810 0 0 1 5 22 37 35 100 Samlet 1 2000 0 13 35 33 16 3 0 100 2 10302 0 4 21 37 29 9 2 100 3 18693 0 1 8 26 37 21 7 100 4 17207 0 0 2 11 32 34 20 100 5 4143 0 0 1 3 17 35 45 100 Af tabel 15 ses, at 35 % af de, der ligger på trin 1 i samlet vurdering i matematik, har fået karakteren 2 i folkeskolens prøve i matematiske

27 færdigheder tre år efter, mens 33 % af dem har fået karakteren 4. 80 % af de, der ligger på trin 5 i samlet vurdering, har fået karakteren 10 eller 12 i folkeskolens prøve i matematik tre år efter. Sammenhængen mellem den samlede vurdering i matematik i 6. klasse i de obligatoriske nationale test og folkeskolens prøve i færdighedsregning i 9. klasse ses i tabel 16 og figur 2. 55 procent af de, der opnår en ikke tilstrækkelig præstation i de nationale test får tre år efter højst karakteren 2 i folkeskolens prøve i færdighedsregning. 58 procent af de, der opnår en rigtig god præstation og 75 procent af de, der opnår en fremragende præstation i de nationale test, får tre år efter mindst karakteren 10 i folkeskolens prøve i færdighedsregning. Tabel 16 Fordelingen på karakteren fra folkeskolens prøve i matematiske færdigheder efter nes testresultat i de obligatoriske nationale test i matematik 6. klasse udtrykt på den kriteriebaserede skala. Andel (%) Tal og algebra Karakter I resultat -3 0 2 4 7 10 12 alt Ikke tilstrækkelig 639 0 15 33 31 16 4 1 100 Mangelfuld 5694 0 5 23 35 26 9 2 100 Jævn 9014 0 2 12 29 34 17 6 100 God 23354 0 1 7 20 34 26 12 100 Rigtig god 11332 0 0 3 12 28 32 24 100 Fremragende 1688 0 0 4 12 27 28 29 100 Geometri Ikke tilstrækkelig 747 0 13 36 31 15 4 1 100 Mangelfuld 6518 0 6 24 36 26 7 2 100 Jævn 11041 0 2 13 31 34 17 4 100 God 33314 0 0 4 15 32 30 19 100 Rigtig god 67 0 1. 13 34 30 21 100 Fremragende 34 0 0 12 9 18 35 26 100 i anvendelse Ikke tilstrækkelig 818 0 14 33 33 15 5 0 100 Mangelfuld 5905 0 5 24 37 26 7 1 100 Jævn 8006 0 2 15 31 33 15 3 100 God 20309 0 1 7 23 37 23 9 100 Rigtig god 14484 0 0 2 9 29 35 24 100 Fremragende 2199 0 0 0 3 13 35 49 100 Samlet Ikke tilstrækkelig 417 0 18 37 30 12 3 0 100 Mangelfuld 4977 0 7 28 38 21 5 1 100 Jævn 9643 0 2 15 34 33 13 3 100 God 17614 0 1 7 23 37 24 8 100 Rigtig god 15957 0 0 2 10 30 35 23 100 Fremragende 3113 0 0 1 5 18 33 42 100

Procent 28 Figur 2 De nationale test i matematik 6. klasse og folkeskolens prøve i færdighedsregning i 9. klasse 100 90 80 70 60 50 40 30 20 10 0 55 59 42 35 3 6 17 67 16 8 60 32 75 58 40 24 2 1 <=2 4-7 >=10 Engelsk Elevernes karakter i mundtlig engelsk i folkeskolens prøve i 9. klasse fra sommeren 2015 sammenholdes med nes testresultater i de obligatoriske nationale test i engelsk i 7. klasse fra foråret 2013. Tabel 17 Sammenhængen mellem folkeskolens prøve i mundtlig engelsk og testresultatet i engelsk i de obligatoriske nationale test på Rasch skalaen. Spearman korrelationen Læsning Ordforråd Sprog og sprogbrug Engelsk 7. klasse 47.553 0,60 * 0,60 * 0,63 * * Statistisk signifikant forskellig fra 0 Der er en statistisk signifikant positiv sammenhæng mellem testresultaterne i de obligatoriske nationale test i engelsk 7. klasse og nes karakter i folkeskolens prøve i mundtlig engelsk to år efter i 9. klasse.

29 Fysik/kemi, biologi og geografi Elevernes karakter i fysik/kemi, biologi og geografi i folkeskolens prøve i 9. klasse fra sommeren 2015 sammenholdes med nes testresultater i de obligatoriske nationale test i fra foråret 2014. Tabel 18 Sammenhængen mellem folkeskolens prøve i fysik/kemi, biologi og geografi og testresultatet i de obligatoriske nationale test på Rasch skalaen. Spearman korrelationen 1 2 3 Fysik/kemi 46.522 0,40 * 0,38 * 0,38 * Biologi ** 12.164 0,54 * 0,57 * 0,57 * Geografi ** 11.991 0,51 * 0,50 * 0,55 * * Statistisk signifikant forskellig fra 0. ** Prøvefag til udtræk Der er en statistisk signifikant positiv sammenhæng mellem testresultaterne i de obligatoriske nationale test i de tre naturfag og nes karakter i folkeskolens prøve året efter i 9. klasse.