Til Undervisningsministeriet (Kvalitets- og Tilsynsstyrelsen) Dokumenttype Bilag til Evaluering af de nationale test i folkeskolen Dato September 2013 BILAG 3: DETALJERET REDEGØ- RELSE FOR REGISTER- ANALYSER
DETALJERET REDEGØRELSE FOR REGISTERANALYSER Rambøll Hannemanns Allé 53 DK-2300 København S T +45 5161 1000 F +45 5161 1001 www.ramboll.dk
1 BILAG 3 DETALJERET REDEGØRELSE FOR REGISTERANALYSER Hvordan undersøges effekten af de nationale test? Som udgangspunkt er det meget vanskeligt at undersøge effekten af de nationale test. Data fra det nationale testsystem kan vise, hvordan eleverne har klaret testene over tid, men som udgangspunkt er det ikke til at sige, om en eventuel fremgang er en effekt af testene eller en effekt af andre forhold. Udfordringen er, at vi ikke har nogen at sammenligne med. Alle eleverne i testsystemet har taget testene, og vi ved derfor ikke, hvordan de ville have klaret sig, hvis de ikke havde taget en test. For at imødegå disse vanskeligheder med at undersøge effekten af de nationale test i sig selv, har evaluator til denne evaluering anvendt to metoder. Til effekter på elev- og skoleniveau benytter vi os af et sammenbrud i it-systemet i 2010, der gjorde, at ikke alle elever blev testet det år. Til effekter på landsplan undersøger vi forskelle mellem årgange lige før og lige efter testenes indførelse. Til førstnævnte analyse af elev- og skoleniveau udnytter vi, at it-systemet brød sammen i en periode på ni dage fra den 2. til 10. marts 2010. Det betød, at halvdelen af de elever, der skulle have gennemført en test på det tidspunkt, slet ikke fik nogen test. 1 Ved at sammenligne disse elevers resultater ved efterfølgende nationale test med resultaterne for tilsvarende elever, der gennemførte testen i 2010, kan vi undersøge effekten af de nationale test. Denne analyse hviler på den antagelse, at det var tilfældigt hvilke elever, der blev ramt af nedbrud. Vi fokuserer på nedbrud i dansk, læsning i 2., 4. og 6. klasse i 2010 og ser på sammenhængen mellem, hvorvidt elever er blevet testet i 2010 og efterfølgende testresultater i dansk, læsning i 4., 6., og 8. klasse i 2012. Der er i alt 136.887 elever, som deltog i den nationale test i dansk, læsning i 2012 på de nævnte klassetrin, og som enten har været udsat for nedbrud (21.697) eller er blevet testet som planlagt (115.190) i dansk, læsning i 2010. Vi ser således bort fra de ca. 10 pct. af eleverne, som er blevet fritaget, som har været i udlandet eller på friskole og vendt tilbage, samt elever som uden en gyldig grund ikke er blevet testet i dansk, læsning. Dette skyldes, at det ikke kan forventes, at det er tilfældigt, om disse deltager eller ej. Vi ser ligeledes bort fra elever, som blev testet d. 1.-2. marts, hvor systemet var meget ustabilt og elever, som blev testet d. 11.-12. marts, hvor testdeltagelse blev gjort frivillig (10.286). I robusthedsanalyser ser vi også på andre fag for de relevante klassetrin. Vi benytter anonymiserede registerdata fra Danmarks Statistik til at sammenligne den sociale baggrund for de elever, der gennemførte testen som planlagt, med de elever, der var booket til testen i perioden med nedbrud. Tabel A.1 viser, at disse to grupper ligner hinanden meget på alle baggrundsforhold. I tabel A.2 tester vi, om der er statistisk signifikante forskelle mellem de to grupper. Denne analyse bekræfter, at der kun er få signifikante forskelle, hvilket tyder på, at det er en nogenlunde tilfældig gruppe elever, som er blevet påvirket af nedbruddet. Dette er en vigtig forudsætning for det valgte forskningsdesign. 1 Skolerne blev tilbudt mulighed for at booke en ny test, hvilket skete for halvdelen af de 21.697, der blev udsat for et nedbrud.
2 Tabel A.1 Gennemsnit og standardafvigelser for baggrundskarakteristika (1) (2) Testet Nedbrud Gns Std.afv. Gns Std.afv. Barns karakteristika: Dreng 0.503 0.500 0.500 0.500 4. klasse 0.337 0.473 0.345 0.475 6. klasse 0.331 0.471 0.375 0.484 Tidligt i skole 0.022 0.146 0.021 0.144 Sent i skole 0.177 0.382 0.178 0.383 Etnisk dansker 0.895 0.306 0.900 0.300 Etnisk europæer 0.038 0.191 0.040 0.195 Enebarn 0.101 0.302 0.108 0.310 Antal børn 2.328 0.938 2.294 0.928 Mangler, antal børn 0.011 0.106 0.013 0.114 Forældres uddannelse: Mor, gymnasial uddannelse eller mindre 0.071 0.256 0.071 0.257 Mor, erhvervsuddannet 0.377 0.485 0.373 0.484 Mor, kort videregående uddannelse 0.045 0.208 0.045 0.207 Mor, mellemlang videregående uddannelse 0.224 0.417 0.223 0.416 Mor, lang videregående uddannelse 0.076 0.265 0.085 0.279 Mangler, mors uddannelse 0.023 0.149 0.023 0.151 Far, gymnasial uddannelse eller mindre 0.051 0.220 0.051 0.220 Far, erhvervsuddannet 0.416 0.493 0.409 0.492 Far, kort videregående uddannelse 0.069 0.253 0.063 0.244 Far, mellemlang videregående uddannelse 0.119 0.324 0.123 0.329 Far, lang videregående uddannelse 0.096 0.295 0.102 0.303 Mangler, fars uddannelse 0.060 0.238 0.063 0.243 Arbejdsmarkedsstatus og forældres gns. indkomst: Mor, selvstændig 0.032 0.177 0.032 0.176 Mor, under uddannelse 0.010 0.098 0.010 0.099 Mor, ledig 0.033 0.180 0.033 0.179 Mor, øvrig aktivitet 0.139 0.346 0.133 0.340 Mangler, mors beskæftigelse 0.011 0.105 0.012 0.109 Far, selvstændig 0.084 0.277 0.081 0.272 Far, under uddannelse 0.002 0.040 0.002 0.042 Far, ledig 0.022 0.145 0.020 0.140 Far, øvrig aktivitet 0.070 0.255 0.068 0.251 Mangler, fars beskæftigelse 0.044 0.205 0.049 0.215 Gennemsnitsindkomst, m. 125.000-220.000 0.232 0.422 0.224 0.417 Gennemsnitsindkomst, m. 220.000-345.000 0.431 0.495 0.424 0.494 Gennemsnitsindkomst, o. 345.000 0.258 0.438 0.275 0.447 Mangler, gennemsnitsindkomst 0.011 0.105 0.012 0.109 Mor, ledig m. 1-50% 0.173 0.379 0.169 0.375 Mor, ledig o. 50% 0.032 0.176 0.032 0.177 Far, ledig m. 1-50% 0.088 0.283 0.087 0.282 Far, ledig o. 50% 0.019 0.136 0.017 0.129 Antal observationer 115190 21697
3 Tabel A.2 Regression af nedbrud i dansk, læsning, på baggrundskarakteristika (1) Nedbrud, dansk, læsning 2010 Barns karakteristika: Dreng -0.00136 (0.00201) 4. klasse 0.0246*** (0.00247) 6. klasse 0.0391*** (0.00243) Tidligt i skole -0.0139 (0.00859) Sent i skole 0.00135 (0.00266) Etnisk dansker 0.0118** (0.00485) Etnisk europæer 0.0196*** (0.00664) Enebarn 0.00599 (0.00430) Antal børn -0.00418** (0.00181) Forældres uddannelse: Mor, gymnasial uddannelse eller mindre 0.00466 (0.00451) Mor, erhvervsuddannelse 0.00194 (0.00306) Mor, kort videregående uddannelse 0.000923 (0.00540) Mor, mellemlang videregående uddannelse 0.000127 (0.00359) Mor, lang videregående uddannelse 0.0129** (0.00507) Far, gymnasial uddannelse eller mindre -3.42e-05 (0.00504)
4 Tabel A.2 (fortsat) (1) Nedbrud, dansk, læsning 2010 Far, erhvervsuddannelse -0.00176 (0.00287) Far, kort videregående uddannelse -0.0111** (0.00456) Far, mellemlang videregående uddannelse 0.00250 (0.00394) Far, lang videregående uddannelse 0.00262 (0.00444) Arbejdsmarkedsstatus og forældres gns. indkomst: Mor, selvstændig -0.000126 (0.00577) Mor, under uddannelse 0.00631 (0.0107) Mor, Ledig 0.00553 (0.00646) Mor, øvrig aktivitet -0.000246 (0.00365) Far, selvstændig -0.00312 (0.00367) Far, under uddannelse 0.00904 (0.0243) Far, ledig -0.00202 (0.00822) Far, øvrig aktivitet 0.000396 (0.00423) Gennemsnitsindkomst, m. 125.000-220.000 0.00280 (0.00482) Gennemsnitsindkomst, m. 220.000-345.000 0.00433 (0.00509) Gennemsnitsindkomst, o. 345.000 0.0108** (0.00538) Mor, ledig m. 1-50% -0.00156 (0.00282) Mor, ledig o. 50% 0.00626 (0.00650) Far, ledig m. 1-50% 0.00175 (0.00374) Far, ledig o. 50% -0.00420 (0.00858) Antal observationer 136,887 Note: Et konstant led og indikator variabler for manglende variabler er inkluderet. Std fejl i parenteser. *** p<0.01, ** p<0.05, * p<0.1.
5 Vi anvender en såkaldt 2SLS (two-stages-least-squares) regressionsmodel til at undersøge den samlede effekt. Metoden udnytter nedbruddet som et såkaldt naturligt eksperiment, som betød, at 10,899 elever ikke blev testet i dansk, læsning i 2010, og estimerer hvad effekten ville have været af at blive testet for netop disse elever. 2 Tabel A.3 viser resultatet af disse analyser både med og uden kontrol for de baggrundsvariable, der også blev anvendt i tabel A.1 og A.2. De afhængige variable er testscores ved de nationale test i dansk, læsning i 4., 6. og 8. klasse, både for det samlede resultat og opdelt på de tre profilområder. Testskalaen er oprindelig en Rasch-skala, der er blevet standardiseret til et gennemsnit på 0 og en standardafvigelse på 1. Model 1 viser resultatet for den samlede testscore uden brug af kontrolvariabler. Model 2-4 tilføjer gradvist flere kontrolvariabler. Det ses, at estimatet af effekten af at gennemføre en test, ikke påvirkes betydeligt af indførelsen af kontrolvariablerne, hvilket bestyrker, at sammenhængen ikke er drevet af, at det var elever med særlige forudsætninger, der blev ramt af nedbrud. I model 5-7 opdeles effekten på hvert af de tre profilområder, der er indeholdt i dansk, læsning. Det ses, at den mindste effekt stammer fra tekstforståelse. Tabel A.3 Hovedresultater, effekten af nedbrud i dansk, læsning 2010 på resultater i dansk, læsning i 2012 (1) (2) (3) (4) (5) (6) (7) Total Score Total Score Total Score Total Score Sprogforståelse Afkodning Tekstforståelse Test Score (2.trin) Testet 0.0716** 0.0712** 0.0893*** 0.0919*** 0.0867*** 0.0888*** 0.0631*** (0.0310) (0.0311) (0.0222) (0.0218) (0.0231) (0.0211) (0.0209) Testet (1. trin) Nedbrud -0.502*** -0.502*** -0.503*** -0.503*** -0.503*** -0.503*** -0.503*** (0.0211) (0.0211) (0.0210) (0.0210) (0.0210) (0.0210) (0.0210) Nobs 136,887 136,887 136,887 136,887 136,887 136,887 136,887 R-squared 0.000 0.005 0.150 0.158 0.116 0.100 0.149 Kontrolvariable: Køn NEJ JA JA JA JA JA JA + klasseniveau NEJ JA JA JA JA JA JA + ung/gammel-for-klasse, immig.status NEJ NEJ JA JA JA JA JA + forældres uddannelse NEJ NEJ JA JA JA JA JA + familie struktur og søskende status NEJ NEJ NEJ JA JA JA JA + forældreindkomst og arbejdsmarkeds historik NEJ NEJ NEJ JA JA JA JA Note: Robuste standard fejl i parenteser. *** p<0.01, ** p<0.05, * p<0.1 I de følgende tabeller er effekten opdelt for hhv. drenge og piger, klassetrin, mors og fars uddannelsesbaggrund samt indvandrerbaggrund. Dette er gjort ved at indføje såkaldte interaktionsled i begge trin i modellen. De viser, om der er statistisk signifikant forskel mellem baggrundsvariablen og den pågældende sammenligningsgruppe. Der er kun få signifikante sammenhænge, hvilket betyder, at den positive effekt af at blive testet er cirka den samme for drenge og piger, højt og lavt uddannede forældres børn m.v. Dog er der den forskel, at effekten af at være blevet testet på 2. og 4. klassetrin er mindre end på 6. klassetrin, og det kan ikke afvises, at effekten af at være blevet testet på 4. klassetrin er nul. 2 Estimationen foregår i to trin: Det første trin er en regression af om eleven er blevet testet eller ej på om eleven var booket under nedbruddet eller ej samt baggrundskarakteristika. Herefter predikteres sandsynligheden for at eleven er blevet testet. Andet trin er en regression af test score på denne sandsynlighed samt baggrundskarakteristika. Metoden svarer omtrent til at beregne forskellen i test scores mellem elever udsat for nedbrud og elever ikke udsat for nedbrud, og tilskrive denne forskel til den halvdel af de nedbrudsramte, som endte med ikke at blive testet, fordi dette blev frivilligt.
6 Tabel A.4 Heterogene effekter, køn og klassetrin (1) (2) (3) (4) (5) (6) (7) (8) Total score Sprogforståelse Afkodning Tekstforståelse Total score Sprogforståelse Afkodning Tekstforståelse Test Score (2.trin) Testet 0.0744*** 0.0765*** 0.0650*** 0.0519** 0.159*** 0.119*** 0.176*** 0.113*** (0.0244) (0.0268) (0.0237) (0.0236) (0.0365) (0.0412) (0.0350) (0.0333) Testet * dreng 0.0346 0.0203 0.0473 0.0222 (0.0282) (0.0286) (0.0288) (0.0279) Testet * 2.kl.(2010) -0.0649-0.0267-0.0931** -0.0380 (0.0470) (0.0494) (0.0460) (0.0448) Testet * 4.kl.(2010) -0.133*** -0.0672-0.163*** -0.108** (0.0510) (0.0607) (0.0497) (0.0457) Testet (1.trin) Nedbrud -0.500*** -0.500*** -0.500*** -0.500*** -0.536*** -0.536*** -0.536*** -0.536*** (0.0213) (0.0213) (0.0213) (0.0213) (0.0303) (0.0303) (0.0303) (0.0303) Nedbrud * dreng -0.00518-0.00518-0.00518-0.00518 (0.00695) (0.00695) (0.00695) (0.00695) Nedbrud * 2.kl.(2010) 0.00356 0.00356 0.00356 0.00356 (0.0361) (0.0361) (0.0361) (0.0361) Nedbrud * 4.kl.(2010) 0.0845** 0.0845** 0.0845** 0.0845** (0.0345) (0.0345) (0.0345) (0.0345) Nobs 136,887 136,887 136,887 136,887 136,887 136,887 136,887 136,887 R-squared 0.158 0.116 0.100 0.149 0.158 0.116 0.100 0.149 Note: Alle kontrolvariable er medtaget, inklusiv de relevante main effects. Robuste standard fejl i parenteser. *** p<0.01, ** p<0.05, * p<0.1 Tabel A.5 Heterogene effekter, forældres uddannelse og indvandrerbaggrund (1) (2) (3) (4) (5) (6) Total score Total score Total score Sprogforståelse Afkodning Tekstforståelse Test Score (2.trin) Testet 0.0907*** 0.0914*** 0.0950*** 0.0844*** 0.103*** 0.0603*** (0.0219) (0.0253) (0.0245) (0.0266) (0.0239) (0.0230) Testet * Indvandrer 0.0118 (0.0587) Testet * Mor, videregående udd. 0.00119 (0.0285) Testet * Far, videregående udd. -0.0110 0.00811-0.0504* 0.00970 (0.0304) (0.0314) (0.0303) (0.0328) Testet (1.trin) Nedbrud -0.504*** -0.502*** -0.503*** -0.503*** -0.503*** -0.503*** (0.0216) (0.0203) (0.0202) (0.0202) (0.0202) (0.0202) Nedbrud * Indvandrer 0.00825 (0.0266) Nedbrud * Mor, videregående udd. -0.00194 (0.0165) Nedbrud * Far, videregående udd 0.000768 0.000768 0.000768 0.000768 (0.0187) (0.0187) (0.0187) (0.0187) Nobs 136,887 136,887 136,887 136,887 136,887 136,887 R-squared 0.158 0.158 0.158 0.116 0.100 0.149 Note: Alle kontrolvariable er medtaget, inklusiv de relevante main effects. Robuste standard fejl i parenteser. *** p<0.01, ** p<0.05, * p<0.1 Vi har også undersøgt, om der er forskel på, hvilke skoler der har haft effekt af de nationale test. Her grupperes skolerne efter deres karakterer ved afgangsprøverne i 2009, det vil sige inden indførelsen af de nationale test. Som det ses af tabel A.6 er der ikke signifikante forskelle.
7 Tabel A.6 Heterogene effekter, karaktergennemsnit på skolen i 2009 (1) (2) (3) (4) (5) Total score Total score Sprogforståelse Afkodning Tekstforståelse Test Score (2.trin) Testet 0.0781*** 0.0727*** 0.0650** 0.0637*** 0.0598*** (0.0279) (0.0241) (0.0259) (0.0234) (0.0232) Testet * lavt scorende skole (<25%) 0.0810 (0.0732) Testet * højt scorende skole (>75%) -0.0480 (0.0483) Testet * meget lavt scorende skole (<10%) 0.146 0.166 0.185 0.0243 (0.151) (0.154) (0.159) (0.129) Testet * meget højt scorende skole (>90%) -0.0827-0.0658-0.0472-0.106 (0.0600) (0.0543) (0.0643) (0.0673) Testet (1.trin) Nedbrud -0.501*** -0.504*** -0.504*** -0.504*** -0.504*** (0.0280) (0.0240) (0.0240) (0.0240) (0.0240) Nedbrud * lavt scorende skole (<25%) 0.0284 (0.0572) Nedbrud * højt scorende skole (>75%) -0.0227 (0.0603) Nedbrud * meget lavt scorende skole (<10%) 0.103 0.103 0.103 0.103 (0.0912) (0.0912) (0.0912) (0.0912) Nedbrud * meget højt scorende skole (>90%) -0.0404-0.0404-0.0404-0.0404 (0.101) (0.101) (0.101) (0.101) Nobs 115,815 115,815 115,815 115,815 115,815 R-squared 0.163 0.162 0.120 0.101 0.152 Note: Alle kontrolvariable er medtaget, inkl. relevante main effects. Færre observationer, da ikke alle skoler har 9. kl. Robuste standard fejl i parenteser. *** p<0.01, ** p<0.05, * p<0.1 I tabel A.7 ser vi på, om elever som tager de frivillige test i dansk, læsning efter 2010 påvirkes mindre af at have været blevet testet i de obligatoriske test. Estimaterne tyder på, at betydningen af at være blevet testet i 2010 er mindre for elever, som har taget de frivillige test efterfølgende, men kun når det gælder afkodning og ikke for det samlede resultat. Det er dog væsentligt at være opmærksom på, at det ganske givet ikke er tilfældigt, hvilke lærere der efter at have været udsat for nedbruddet har valgt at lade en klasse deltage i de tilsvarende frivillige test. Dette ses også af resultaterne for første trin af estimationsproceduren, idet elever som har deltaget i de frivillige test er mere tilbøjelige til at være blevet genbooket efter at have været udsat for nedbrud.
8 Tabel A.7 Heterogene effekter, frivillige test (1) (2) (3) (4) Total score Sprogforståelse Afkodning Tekstforståelse Test Score (2.trin) Testet 0.0926*** 0.0728** 0.109*** 0.0565** (0.0263) (0.0289) (0.0256) (0.0241) Testet * frivillig test -0.0272 0.0183-0.0796** -0.00515 (0.0388) (0.0435) (0.0375) (0.0381) Testet (1.trin) Nedbrud -0.532*** -0.532*** -0.532*** -0.532*** (0.0247) (0.0247) (0.0247) (0.0247) Nedbrud * frivillig test 0.0704** 0.0704** 0.0704** 0.0704** (0.0302) (0.0302) (0.0302) (0.0302) Nobs 136,887 136,887 136,887 136,887 R-squared 0.163 0.119 0.105 0.153 Note: Alle kontrolvariable er medtaget. Robuste standard fejl i parenteser. *** p<0.01, ** p<0.05, * p<0.1 Vi har undersøgt om nedbrud i ét fag har effekt på resultaterne i andre fag. Hvis det var tilfældet, ville det indikere, at effekten af de nationale test (til dels) skyldtes, at eleverne blev bedre til det at gennemføre en test generelt og ikke så meget blev dygtigere af den feedback, som testresultaterne giver. Resultaterne viser, at dette er tilfældet for 6. klasse, hvor effekten i forvejen er meget stor, men ikke for 2. og 4.klasse, se tabel A.8. Testning i dansk, læsning i 2. og 4. har ikke nogen statistisk signifikant effekt på resultaterne i matematik i 3. og i 6. klasse, men testning i dansk, læsning i 6. klasse ser ud til at have smittet af på test scores i fysik/kemi, biologi og geografi i 8. klasse. Disse resultater indikerer, at noget af effekten af de nationale test skyldes, at eleverne bliver dygtigere til at gennemføre test i det hele taget..
9 Tabel A.8 Effekter af nedbrud på tværs af fag (1) (2) (3) (4) (5) (6) (7) (8) Matematik Læsning Læsning Matematik Læsning Fysik/Kemi Biologi Geografi 3. klasse 4. klasse 6. klasse 6. klasse 8.klasse 8.klasse 8.klasse 8.klasse Test Score (2.trin) Testet, 2.kl. 0.0400 0.0942*** (0.0434) (0.0333) Testet, 4.kl. 0.0292-0.0480 (0.0371) (0.0489) Testet, 6.kl. 0.161*** 0.0871** 0.102***0.145*** (0.0366) (0.0382) (0.0350) (0.0382) Testet (1.trin) Nedbrud, 2.kl. -0.532*** -0.532*** (0.0285) (0.0285) Nedbrud, 4.kl. -0.451*** -0.451*** (0.0285) (0.0285) Nedbrud, 6.kl. -0.535*** -0.535***-0.535***-0.535*** (0.0303) (0.0303) (0.0303) (0.0303) Nobs 46,890 46,294 46,250 46,178 44,343 43,360 43,368 43,304 R-squared 0.114 0.148 0.165 0.148 0.164 0.129 0.143 0.159 Note: Alle kontrolvariable er medtaget. Robuste standard fejl i parenteser. *** p<0.01, ** p<0.05, * p<0.1 Til analyser af effekt på landsplan for de første årgange, der gennemførte nationale test i 8. klasse, har vi med en såkaldt difference-in-differences-analyse sammenlignet karaktererne ved afgangsprøverne i testfagene (dansk, læsning, fysik/kemi, geografi og biologi) med ikke-testfagene (matematik og engelsk). Den metode beregner ændringerne (differences) i henholdsvis testfagene og ikke-testfagene fra 2009- og 2010-afgangsprøverne til 2011- og 2012-afgangsprøverne for henholdsvis testfagene og ikke-fagene. Forskellen (difference) mellem disse ændringer (differences) benyttes som mål for effekten af at indføre de nationale test. Forklaringen er, at hvis der er en generel forskel mellem på den ene side 2009- og 2010-årgangene og på den anden side 2011- og 2012-årgangene (ud over hvad der kan kontrolleres for med de tilgængelige baggrundsvariabler), så opfanges denne forskel ved at sammenligne ikke-testfagene mellem de to første og de to efterfølgende årgange. Tilsvarende: Hvis der er en generel forskel i udgangspunktet mellem testfag og ikke-testfag, så opfanges den af forskellen mellem testfag og ikke-testfag i 2009 og 2010. Den forskel, der er tilbage, når man på den måde har fratrukket både forskellen mellem årgangene og forskellene mellem fagene i udgangspunktet, kan derfor benyttes som mål for effekten af at indføre de nationale test. Vi benytter to årgange før og to årgange efter testenes indførelse for at gøre analyserne mere robuste over for ikke-kontrollerede forskelle mellem årgangene. Da årgangen, der tog afgangsprøve i 2012, var blevet testet i engelsk i 7. klasse i 2010, foretages separat analyse, der inkluderer engelsk blandt prøvefagene. Det forstærker blot resultaterne en smule. Tilsvarende foretages en robusthedstest ved at ekskludere ordenskaraktererne i dansk, læsning fra prøvefagene, da orden ikke er en del af det, der testes ved prøverne i dansk, læsning. Det ændrer heller ikke substantielt ved resultaterne. I alle analyser kontrolleres for de samme kontrolvariable, der anvendes i tabel A.1 og A.2. Der anvendes en skoleårgangs fixed effects -model for også at kontrollere for nogle faktorer, der ellers ikke er data på. Der anvendes såkaldte klyngekorrigerede standardfejl som en mere forsigtig test, der tager højde for, at elever inden for en årgang på samme skole kan ligne hinanden mere end elever på forskellige skoler og årgange. Resultaterne er også robuste for disse modelspecifikationer.
10 Resultatet ses i tabel A.9. Resultatet viser, at testfagene havde en nettostigning i karaktererne, der var 0,5 karakterpoint (på 7-trinskalaen) højere end ændringen i ikke-testfagene. Tabel A.9 Differerences-in-difference analyse af effekten af nationale test på elevårgange (1) År 2011-12 -0,4135*** (0,0308) Testfag -0,7050*** (0,0131) År 2011-12 *Testfag 0,4979*** (0,0175) Barns karakteristika: Dreng -0,3552*** (0,1340) Tidligt i skole 0,4405 (0,4689) Sent i skole -1,1690*** (0,1842) Etnisk dansker -0,3696* (0,2144) Etnisk europæer 0,0093 (0,3364) Enebarn 0,1514 (0,2630) Antal børn -0,1004 (0,0808) Forældres uddannelse: Mor, gymnasial uddannelse eller mindre 1,3623*** (0,4118) Mor, erhvervsuddannelse 0,9481*** (0,2082) Mor, kort videregående uddannelse 1,9557*** (0,4604) Mor, mellemlang videregående uddannelse 1,9031*** (0,2285) Mor, lang videregående uddannelse 2,1143*** (0,3543)
11 Tabel A.9 (fortsat) (1) Far, gymnasial uddannelse eller mindre 2,0867*** (0,3512) Far, erhvervsuddannelse 0,8542*** (0,1989) Far, kort videregående uddannelse 1,7746*** 0 (0,3343) Far, mellemlang videregående uddannelse 1,5616*** (0,2652) Far, lang videregående uddannelse 2,0637*** (0,2994) Arbejdsmarkedsstatus og forældres gns. indkomst: Mor, selvstændig -0,2413 (0,3530) Mor, under uddannelse 0,5762 (0,7134) Mor, Ledig -0,4717 (0,3849) Mor, øvrig aktivitet -0,5172** (0,2490) Far, selvstændig 0,4480* (0,2421) Far, under uddannelse 1,1771 (2,0249) Far, ledig 0,4639 (0,5434) Far, øvrig aktivitet -0,7261*** (0,2717) Gennemsnitsindkomst, m. 125.000-220.000-0,6677** (0,3383) Gennemsnitsindkomst, m. 220.000-345.000-0,4146 (0,3592) Gennemsnitsindkomst, o. 345.000 0,6544 (0,3997) Mor, ledig m. 1-50% -0,2995 (0,2387) Mor, ledig o. 50% -0,5859 (0,4166) Far, ledig m. 1-50% -0,5500** (0,2640) Far, ledig o. 50% -0,4263 (0,5446) Nobs 147.197