Skole- og dagtilbudsafdelingen Undervisningseffekter Januar 2013
Baggrund for notatet Undervisningseffekterne indgik i Kvalitetsrapporten første gang i 2011. Dette skete med henblik på fremadrettet at bruge undervisningseffekterne som en indikator for overbygningsskolernes kvalitet. Således indgår undervisningseffekterne som ét af de mål, som effekterne af Politik for inklusion og tidlig indsats samt Politik for 7.-10. årgang fremadrettet vurderes ud fra. Tilbage i 2011 blev undervisningseffekterne indhentet fra en rapport, som KREVI udarbejdede i juni 2011. KREVI er efterfølgende blevet fusioneret med Anvendt Kommunal Forskning (AKF) og Dansk Sundhedsinstitut (DSI) til et fælles nationalt analyse- og evalueringsinstitut for kommuner og regioner. Det fælles institut hedder KORA. Beregningerne af undervisningseffekterne fortsætter i det nye institut, og vil fra 2013 blive opdateret én gang årligt. Skole- og dagtilbudsafdelingen har siden august 2012 haft kontakt med KORA med henblik på at få de opdaterede beregninger af undervisningseffekterne. Det har været en længere proces, blandt andet pga. KORAs fusionsproces. Her i januar 2013 har vi dog modtaget uofficielle undervisningseffekter for vores lokale skoler i Norddjurs. Årsagerne til, at tallene benævnes uofficielle forklares i nedenstående korrespondance fra KORA: Tallene er uofficielle af primært to grunde. Beregningen er foretaget på nøjagtigt samme måde som sidst, men vi kunne godt finde på at lave nogle mindre justeringer af metoden inden vi udsender en generel opdatering. Formentlig vil det ikke have den store effekt på resultaterne. Desuden kan det også være, at vi så får 2012 med. Endvidere skal man være opmærksom på, at beregninger af graden af skævhed i undervisningseffekten ikke er med i dette notat. Dette skyldes, at KORA ikke har kunnet levere dem på nuværende tidspunkt. Disse beregninger indgik i Kvalitetsrapporten for 2011, og de vil givetvis også indgå i den endelige opdatering af undervisningseffekterne for alle landets skoler. Indhold i notatet Dette notat viser undervisningseffekterne for de seks skoler i kommunen, der i årene 2009-2011 havde elever til Folkeskolens Afgangsprøver (FSA). I notatet belyses også udviklingen i skolernes undervisningseffekter i forhold til den tidligere beregning af effekterne, der var en del af Kvalitetsrapporten for 2011. Beregningen af undervisningseffekten tog her udgangspunkt i årene 2007-2009. Det er i læsningen af undervisningseffekterne væsentligt at holde sig for øje, at der er tale om en beregnet effekt. Det vil sige, at undervisningseffekten ikke kan tages som udtryk for sandheden om en skoles undervisningseffekt der er netop tale om en beregning. Omvendt er vi i skole- og dagtilbudsafdelingen af den overbevisning, at KORAs beregning af undervisningseffekten er metodisk velfunderet, og at målingen derfor er brugbar i bestræbelserne på at sikre en høj kvalitet i vores skoler. Læs eventuelt mere om metoden i bilag 1. 1
Skolernes undervisningseffekt Undervisningseffekten udtrykker, hvordan skolens undervisning påvirker elevernes karakterer, når der tages højde for elevernes socioøkonomiske baggrund. En positiv undervisningseffekt betyder, at eleverne karaktermæssigt klarer sig bedre, end man skulle forvente ud fra deres socioøkonomiske baggrund. Omvendt betyder en negativ undervisningseffekt, at eleverne klarer sig dårligere end forventet. Den enkelte skole kan bruge tallene til at blive klogere på, hvordan deres undervisningseffekt udvikler sig over en længere årrække. Herunder kan skolerne blive klogere på, hvorvidt de forskellige processer og indsatser, som skolen har sat eller sætter i gang, har en effekt i forhold til elevernes faglige niveau. I den nedenstående analyse gennemgår først skolernes samlede undervisningseffekt, hvorefter billedet nuanceres ved at analysere undervisningseffekterne fordelt på hhv. de humanistiske fag og naturfagene. Undervisningseffekt samlet billede Tabel 1 viser undervisningseffekterne for de seks skoler med overbygningselever fordelt på årene 2007-2009 og 2009-2011. Ser vi isoleret på den seneste måling, der er foretaget med baggrund i årene 2009-2011 har Ørum, Auning og Vestre skole en positiv undervisningseffekt, mens Søndre, Østre og Allingåbroskolen har en negativ undervisningseffekt. På Ørum skole klarer eleverne sig således 0,3 karakterpoint bedre, end man kunne forvente ud fra elevernes socioøkonomiske baggrund. Tilsvarende klarer eleverne sig på Auning skole 0,16 karakterpoint bedre end forventet, mens eleverne på Vestre skole klarer sig 0,18 karakterpoint bedre end forventet. Omvendt klarer eleverne på Søndre skole sig 0,09 karakterpoint dårligere end forventet, eleverne på Østre skole klarer sig 0,11 karakterpoint dårligere, og eleverne på Allingåbroskolen klarer sig 0,3 karakterpoint dårligere end forventet. Tabel 1. Skolernes undervisningseffekter i hhv. 2007-2009 og 2009-2011. Skole Beregnet undervisningseffekt 2007-2009 Beregnet undervisningseffekt 2009-2011 Søndre Skole 0,1861-0,09 Ørum Skole -0,0707 0,30 Østre Skole 0,2318-0,11 Auning Skole 0,0300 0,16 Allingåbroskolen -0,2744-0,30 Vestre Skole -0,0024 0,18 Ser vi herefter på udviklingen imellem de to målinger har Ørum, Auning og Vestre skole alle oplevet en positiv udvikling i deres undervisningseffekt, mens Søndre og Østre skole haft en negativ udvikling i deres undervisningseffekt imellem de to målinger. På Allingåbroskolen er udviklingen stort set status quo. 2
Undervisningseffekt humanistiske fag Tabel 2 viser undervisningseffekterne for de humanistiske fag. Ser vi igen isoleret på den seneste måling med baggrund i årene 2009-2011 har tre skoler - Ørum, Auning og Vestre - en positiv undervisningseffekt i de humanistiske fag, og de tre øvrige skoler - Søndre, Østre og Allingåbroskolen - har en negativ undervisningseffekt i den seneste måling. Udviklingen i undervisningseffekten for de humanistiske fag imellem de to målinger fremgår også af tabel 2. Fire ud af seks skoler har oplevet en positiv udvikling i deres undervisningseffekt imellem de to målinger. Undtagelserne herfra er Østre og Søndre skole, der har oplevet en negativ udvikling i undervisningseffekten i de humanistiske fag. Tabel 2. Undervisningseffekten i de humanistiske fag i hhv. 2007-2009 og 2009-2011. Skole Humanistiske fag, undervisningseffekt 2007-2009 Humanistiske fag, undervisningseffekt 2009-2011 Søndre Skole -0,0670-0,24 Ørum Skole -0,4020 0,04 Østre Skole 0,0748-0,12 Auning Skole 0,0397 0,23 Allingåbroskolen -0,5642-0,44 Vestre Skole -0,0707 0,23 3
Undervisningseffekt naturfag Tabel 3 viser undervisningseffekterne for naturfagene. Den seneste måling med baggrund i årene 2009-2011 viser, at fem ud af seks skoler har en positiv undervisningseffekt i naturfagene, og en skole har en negativ undervisningseffekt. Ser man herefter på udviklingen imellem de to målinger viser tabellen, at Ørum skole har oplevet en positiv udvikling i deres undervisningseffekt, Auning og Vestre skole har oplevet status quo, mens de resterende tre skoler har oplevet en negativ udvikling i undervisningseffekterne for naturfagene. Tabel 3. Undervisningseffekten i naturfag i hhv. 2007-2009 og 2009-2011. Skole Naturfag, undervisningseffekt 2007-2009 Naturfag, undervisningseffekt 2009-2011 Søndre Skole 0,7514 0,26 Ørum Skole 0,5527 0,84 Østre Skole 0,5210-0,23 Auning Skole -0,0098 0,02 Allingåbroskolen 0,2159 0,03 Vestre Skole 0,1080 0,08 4
Konklusion Samlet set viser den ovenstående gennemgang, at skolerne overordnet fordeler sig i to grupper: Ørum, Auning og Vestre skole, der har positive undervisningseffekter både samlet set, i de humanistiske fag og i naturfagene. Ligeledes har disse skoler gennemgået en positiv udvikling eller bevaret status quo imellem de to målinger. Søndre, Østre og Allingåbroskolen, der har negative undervisningseffekter samlet set og i de humanistiske fag. I naturfagene har Søndre og Allingåbroskolen positive undervisningseffekter, mens Østre skole også her har negative undervisningseffekter. Endvidere har disse skoler generelt set gennemgået en negativ udvikling eller bevaret status quo imellem de to målinger. Undervisningseffekten er som nævnt den effekt, som skolen har på elevernes faglige niveau i folkeskolens afgangsprøver. Hvad undervisningseffekten så konkret består af kan være forskellig fra skole til skole. Det kan være undervisningsdifferentiering, forskellige læringsmiljøer, lærernes faglige niveau, fokus på elevernes personlige og sociale trivsel osv., som bidrager positivt eller negativt på undervisningseffekten. Det er derfor også disse elementer i skolens tilgang til elevernes læring, som kan være nødvendige at ændre eller tilpasse, hvis man vil forbedre sin undervisningseffekt. Det essentielle er, at ingen af de ovenstående elementer kan stå alene, hvis man skal opnå den mest optimale påvirkning af undervisningseffekten. Derfor er det uhyre vigtigt hele tiden at have fokus på, hvad der påvirker den faglige, sociale og personlige udvikling hos eleverne i alle de processer der arbejdes med på skoleområdet i Norddjurs Kommune. Dette fokus er allerede på vej til at blive forankret i kommunen gennem de tre nye politikker, der er udarbejdet i 2012: Politik for inklusion og tidlig indsats Politik for folkeskolens 7.-10. årgang Politik for it og læring. 5
Bilag 1. Fakta om metoden bag daværende KREVIs beregning af undervisningseffekten KREVI har i deres rapport Folkeskolens faglige kvalitet. Analyse af skolernes undervisningseffekt fra maj 2011 beregnet skolernes undervisningseffekter ved hjælp af en metode, der hedder multilevel modellering. Modellen inddrager en lang række baggrundsvariable omkring elevernes socioøkonomiske baggrund, fx forældrenes indkomst, uddannelse, jobstatus, alder, civilstand osv., der kan forventes at have indflydelse på elevernes faglige resultater. Ligeledes inddrages elevernes resultater i folkeskolens afgangsprøver fra 2007, 2008 og 2009. I beregningen af undervisningseffekten renses modellen for de socioøkonomiske påvirkninger, og dermed får man et tal for, hvilken andel af elevernes faglige præstationer, der specifikt kan relateres til skolens virke. I august 2011 offentliggjorde Undervisningsministeriet for første gang grundskolernes afgangsprøvekarakterer i en form, der ligeledes tager højde for elevernes socioøkonomiske baggrund. Ministeriets tal svarer tolkningsmæssigt til det, KREVI kalder undervisningseffekten. Skole- og dagtilbudsforvaltningen har valgt at bruge KREVIs tal frem for Undervisningsministeriets tal af fem årsager: Data for forskellige år. KREVIs analyse bygger på eksamensresultater for tre år, mens underrvisningsministeriets analyse bygger på tal for et enkelt år 2010. Dermed er ministeriets tal mere aktuelle end KREVIs, men også mere sårbare overfor tilfældige udsving mellem elevårgange. Korrektion for specialundervisningselever. KREVIs analyse korrigerer for det empiriske forhold, at elever, der modtager specialundervisning i 9. klasse, generelt får lavere karakterer end elever, der ikke modtager specialundervisning (1,4 karakterpoint lavere, når der samtidig kontrolleres for alle øvrige variable i KREVIs model). Undervisningsministeriets analyse indeholder ikke en sådan korrektion. Korrektion for etnisk baggrund. Begge analyser korrigerer for elevernes etniske baggrund men på forskellig vis. Undervisningsministeriet skelner mellem, om eleven kommer fra én af fire grupper Danmark, Europa mm., Asien mm. og Afrika mm. KREVI ser mere specifikt på, hvilket land den enkelte elev kommer fra, da der i visse tilfælde er store forskelle i de gennemsnitlige karakterer for elever fra forskellige lande på samme kontinent. Det gælder fx tyrkiske og vietnamesiske elever, som i ministeriets analyse er henregnet til gruppen Asien mm. Mens tyrkiske elever gennemsnitligt ligger 1,0 karakterpoint lavere end danske elever, når der samtidigt korrigeres for alle øvrige variable i KREVIs model, så ligger vietnamesiske elever omvendt 1,0 karakterpoint over de danske elever. I Undervisningsministeriets analyse forudsættes en tyrkisk elev at være karaktermæssigt ligestillet med en vietnamesisk. Korrektion for kammerateffekten En meget væsentlig forskel mellem de to beregningsmåder er, at KREVI i sin analyse korrigerer for det forhold, at elever på socioøkonomisk stærke skoler generelt får højere karakterer, end deres individuelle sociale baggrund i første omgang tilsiger, og at elever på socialt svage skoler generelt får lavere karakterer, end deres individuelle sociale baggrund tilsiger. Undervisningsministeriet foretager ikke en sådan korrektion. Forskellig forklaringsgrad. Da de to statistiske modeller er skruet forskelligt sammen, har de også forskellig forklaringsgrad. KREVIs model kan forklare 28 pct. af karaktervariationen mellem landets elever med socioøkonomiske variable, mens Undervisningsministeriets model kan forklare 22 pct. Kilde: Notat: Faglig skolekvalitet ifølge KREVI og Undervisningsministeriet. August 2011. 6