Læring af test Rapport for Skoleåret 2016 2017 Aarhus Analyse www.aarhus-analyse.dk
Introduktion Skoleledere har adgang til masser af data på deres elever. Udfordringen er derfor ikke at skaffe adgang til data men at analysere data for at finde ud af, hvor udfordringerne for skolen er størst, og hvor der kan være grund til at sætte ind med ekstra støtte. Formålet med denne rapport er at hjælpe skoleledere og deres lærere med netop det. Rapporten viserne resultaterne for skolens klasser som de ser ud i skoleåret 2016/2017. Figurerne bygger på data frem til de nationale tests i foråret 2016. Du kan gå direkte til resultaterne her: 1 Klasseoverblik 2 Elevernes progression 3 Læringshastighed Et internt arbejdsredskab Nogle skoler ligger overordnet set godt i de nationale test mens andre ligger dårligt. Det kan skyldes elevernes sociale baggrund og mange andre forhold. Men uanset hvordan skolen måtte ligge i forhold til andre skoler, er det en strategisk ledelsesopgave på enhver skole at analysere, om der er nogle klasser eller elever, der har særlig behov for en ekstra støtte. Rapporten hjælper præcis til denne analyse. Den siger ikke så meget om, hvordan skolen ligger i forhold til andre skoler, men hvilke klasser og elever på skolen, der skiller sig særligt ud. Stort set alle klasser og elever afviger fra gennemsnittet i større eller mindre grad. Det giver skolelederen den udfordring at det kan være svært at afgøre, hvornår en afvigelse fra gennemsnittet er så stor, at der er grund til at være særlig opmærksom. Det hjælper rapporten med ved at markere, når klasser eller elever ligger blandt de 10 % dårligste i kommunen. Muligheder og begrænsninger i de nationale test Debatten om de nationale test har vist, at de nationale test ikke er ufejlbarlige. Nogle gange kan tilfældigheder eller forhold omkring selve testsituationen påvirke den enkelte elevs resultat i en grad, så det bliver misvisende. Testene måler heller ikke alle aspekter af de pågældende fag. En meget grundig analyse af de nationale test har imidlertid også vist, at elever, der allerede i 6. klasse har et godt resultat i dansk eller matematik, også har en meget høj sandsynlighed for at opnå en god karakter ved afgangsprøven i 9. klasse i samme fag. Det viser, at selvom testene ikke måler alle aspekter af dansk eller matematik og selvom de ikke altid måler præcist, så kan elever, der er dygtige i den nationale test, ofte meget af det, som lærer og censor giver en høj vurdering ved afgangsprøven. For brugen af de nationale test betyder det, at hvis en elev eller klasse har meget et dårligt resultat, så er det meget sandsynligt, at det faglige niveau er tilsvarende lavt. Men det er ikke sikkert. Det kan skyldes at testresultat var misvisende. Rapporten kan derfor kun bruges som et første trin til at finde ud af, hvilke klasser eller elever, som der er grund til at være særlig opmærksom på. Næste trin bør være at inddrage anden viden om eleven eller klassen (lærernes iagttagelser, fraværsmønstre, resultater i andre fag, trivselsmåling, forældrenes input m.v.) mhp. at vurdere, om der er et reelt problem hos eleven eller i klassen, eller om det i dette tilfælde bare var testresultatet, der var misvisende. Rapportens opbygning Rapporten er opdelt i tre afsnit. Første afsnit giver skolelederen et overblik over alle skolens klasser i alle de obligatoriske nationale test. Overblikket fremhæver fag og klasser, som klarer sig særligt dårligt i forhold til resten af skolen, og som der derfor kan være grund til at være særlig opmærksom på. Figurerne bygger på de obligariske tests. Andet afsnit giver et overblik klasse for klasse, der fremhæver, hvilke elever, der har en særligt lav progression fra klassetrin til klassetrin i de obligatoriske test i dansk og matematik. Det giver lederen og læreren en mulighed for at drøfte, om der er enkelte elever, der har særligt behov for ekstra støtte. Overblikket giver også mulighed for at se, om det er bestemte grupper af elever i klassen, der har særlig lav eller høj progression. Figurerne i afsnit 2 bygger også på de obligatoriske tests. Tredje afsnit giver et overblik klasse for klasse, der udnytter resultater fra de frivillige nationale test til at finde de elever, der har haft en særlig langsom læringshastighed ved at beregne et mål for elevernes progression måned. Dette er gjort, fordi det på tværs af klasser kan være meget forskelligt hvor lang tid der er gået mellem eleverne har taget en frivillig og en obligatorisk test. Tabellerne bygger både på frivillige og obligatoriske tests. Hvert afsnit indledes med en kort forklaring på, hvordan figurerne og tabellerne skal læses. Afsnittene indeholder også en mere teknisk forklaring på, hvordan tallene i afsnittet er beregnet. I rapporten er eleverne anonymiserede og tildelt et tilfældigt ID-nummer. Rapporten ledsages af et fortroligt dokument som viser hvilke elever, der har hvilke ID-numre. Det gør det muligt på den ene side at anvende rapporterne uden at afsløre de enkelte elever, 2
og på den anden side at lærere og ledere kan arbejde specifikt med de enkelte elever, når der er grund til det. Teknik Rapportens analyser baseres på data fra de nationale test for elever som i øjeblikket går på skolen. Alle beregninger tager udgangspunkt i den såkaldte thetascore, som er de nationale test beregning af den enkelte elevs dygtighed målt på en logit skala. Dette er det mest præcise mål for eleven. Andre mål såsom elevens point score (på skala fra 0 100) og de kriteriebaserede resultater baserer sig på theta-scoren. Den samlede theta-score er beregnet som gennemsnittet af elevens theta-score på de tre profilområder. Theta-scorerne standardiseres testvis, således at gennemsnittet for alle elever i kommunen er 0 og en score på 1 svarer til én standardafvigelse fra kommunens gennemsnit. 3
1 Klasseoverblik
Hvad viser figurerne i dette afsnit? Figurerne viser testresultater for hver årgang, sådan at man let kan sammenligne klasserne. Der er en figur for hver obligatorisk test på hver årgang. Figurerne kan bruges til at finde styrker og svagheder hos de enkelte klasser. Samtidig fremhæver figurerne de klasser, hvor der er grund til at være ekstra opmærksom. Læsevejledning Se på eksemplet til nedenfor. Figuren viser resultaterne for Læsning i 6. klasse. De blå søjler viser det samlede resultat for skolens tre klasser. Ligger man på 0, svarer resultaterne til kommunens gennemsnit på testen. Man kan bl.a. se, at C-klassen har klaret sig bedre end gennemsnittet og at B-klassen har klaret sig dårligere. Skolens gennemsnit er vist med den orange stiplede linje. De grønne, gule og grå søjler til højre i figurerne viser resultaterne fordelt på de tre profilområder. Her kan man f.eks. se, at B-klassen har et problem med sprogforståelse. De røde søjler De klasser, der ligger markant under skolens sædvanlige resultater er markeret med rødt. Det kan være udtryk for, at klassen har et særligt problem i faget. Det kan også være udtryk for, at testen blev taget på en dårlig dag og der er også tilfældig variation i testresultater. En rød markering betyder derfor ikke nødvendigvis, at klassen har et problem. Men de markant lavere testresultater kan være en anledning til at fokusere ekstra på klassen Teknik De nationale tests giver god mulighed for at sammenholde den enkelte klasse med landsgennemsnittet og for at danne sig et indtryk af den enkelte elevs resultat. Til gengæld er det vanskeligt at danne sig et overblik over skolens styrker og svagheder. Ved at sammenholde resultaterne på klasseniveau i de forskellige fag med det samlede billede i hele kommunen er det muligt at skabe et sådant overblik. Afsnittets formål er at skabe overblik over skolens styrker og svagheder ved at opgøre sammenlignelige resultater for skolens klasser for obligatoriske tests. Datagrundlaget er obligatoriske tests for alle klasser i samtlige fag. Metode: Alle klassers testresultater opgøres som deres samlede theta-score (beregnet som gennemsnittet af de tre profilområder) samt de tre profilområder i den senest afholdte obligatoriske test i hvert fag. De seneste obligatoriske tests anvendes, også for evt. omgængere. Theta-scorerne standardiseres testvis, således at gennemsnittet for alle elever er 0 og en score på 1 svarer til en standardafvigelse fra kommunens gennemsnit. De enkelte resultater sammenholdes med tilsvarende resultater for samtlige elever i hele kommunen. Skolens gennemsnitlige afvigelse fra kommunegennemsnittet beregnes. Herefter beregnes det om enkelte klasser på enkelte profilområder adskiller sig markant fra skolens samlede afvigelse fra kommunegennemsnittet, hvorved særligt gode og særlige svage resultater ift. til skolens forventede resultater kan identificeres. Gennemsnittene sammenholdes med skolens forventede resultat (beregnet pba. samtlige elever i kommunen). Afvigende resultater beregnes som markante afvigelser fra skolens gennemsnitligt afvigelse og markeres grafisk med rødt. 5
3. klasse Læsning (dansk) Samlet resultat Profilområder -1 -.5 0.5 1-1 -.5 0.5 1 A B C Klasse Klassernes gennemsnit: Orange stiplet linje A B C Klasse Sprogforståelse: Grøn Afkodning: Gul Tekstforståelse: Grå 4. klasse Læsning (dansk) Samlet resultat Profilområder -1 -,5 0,5 1-1 -,5 0,5 1 A B C Klasse Klassernes gennemsnit: Orange stiplet linje A B C Klasse Sprogforståelse: Grøn Afkodning: Gul Tekstforståelse: Grå 6
4. klasse Matematik Samlet resultat Profilområder -1 -,5 0,5 1-1 -,5 0,5 1 A B C Klasse Klassernes gennemsnit: Orange stiplet linje A B C Klasse Tal og algebra: Grøn Geometri: Gul Matematik i anvendelse: Grå Tilsvarende figurer vises for samtlige klasser og samtlige nationale test 7
2 Elevernes progression
Hvad viser figurerne i dette afsnit? Figurerne viser for hver klasse de enkelte elevers progression i dansk og matematik. Figurerne udnytter, at eleverne har flere obligatoriske tests i både læsning og dansk. Det giver mulighed for at se, hvilke fremskridt den enkelte elev har haft. Samtidig giver det mulighed for at se, om der er grupper af elever, det er værd at have særlig opmærksomhed på. Læsevejledning Se på eksemplet i figuren. Figurens venstre side viser resultaterne for Læsning for 8. B. På den vandrette akse ses elevernes resultater i klassens nationale test i 6. klasse. Man kan f.eks. se, at den bedste læser i 2. klasse var eleven med ID-nummer 30. Du kan finde elevens navne i den fortrolige navneliste, som udleveres sammen med rapporten. På den lodrette akse kan man se elevernes progression fra testen i 6. klasse til testen i 8. klasse. En progression på 0 (dem, der som elev 1105 ligger på den røde linje) betyder, at man har haft en progression i læsning, der svarer til gennemsnittet i kommunen. Man kan se, at den dygtige læser i 2. klasse har haft en meget lav progression. Bemærk at i hele kommunen vil cirka halvdelen af eleverne ligge under den gennemsnitlige progression. At ligge under 0 betyder altså ikke, at man ikke har haft progression men at den er mindre end gennemsnittet. Det er umuligt at beregne et tal for ingen progression, da der er tale om obligatoriske test på forskellige klassetrin. De elever, der har markant lavere progression end andre elever i kommunen er markeret med rødt (blandt de laveste 10 %). Det kan være udtryk for, at eleven har et særligt problem i faget. Det kan også være udtryk for, at testen blev taget på en dårlig dag og der er også tilfældig variation i test-resultater. En rød markering betyder derfor ikke nødvendigvis, at eleven har et problem. Men de markant lavere testresultater indikerer, at der er grund til at forholde sig særligt til den elev. De blå søjler De blå søjler i figurens højre side fokuserer på elevernes progression. Eleverne er rangordnet fra mindste progression til største progression. Husk at en progression på 0 svarer til, at eleven har haft en fremgang svarende til gennemsnittet i kommunen. Et negativt tal betyder ikke, at eleven er blevet dårligere til faget, blot at elevens progression er lavere end den gennemsnitlige progression Fortolkning af figurerne Figuren til højre viser figurernes fire felter. Det grønne felt viser elever, som allerede lå højt i den foregående obligatoriske test, og som ovenikøbet har haft en høj progression efterfølgende. Omvendt er elever i det røde felt nogen, der lå lavt i klassen i forvejen, og som har haft en lav progression. Hvis de fleste elever i klassen ligger i enten det grønne eller det røde felt, kan det tyde på, at undervisningen har fokuseret på de dygtigste, men tabt de svageste. Hvis de fleste elever ligger i enten det blå eller det gule felt, kunne det tyde på, at undervisningen har fokuseret på at løfte de svageste, men på bekostning af ikke at udfordre de dygtigste nok. Dette er dog kun mulige fortolkninger og på samme måde som for den enkelte elevs resultat kan det kun bruges som første trin i en nærmere snak om klassen og dens resultater. Tilfældigheder i testen vil give en tendens i retning af at eleverne ligger mere i det blå og gule felt. De røde prikker 9
Teknik De nationale tests i dansk og matematik afholdes som obligatoriske tests flere gange i skoletiden. Det giver mulighed for at belyse eleverne progression i disse to fag. Formålet er at belyse elevers progression og at sætte denne i forhold til eleverne faglige niveau. Herved kan eleverne opdeles i forskellige meningsfulde grupper. Formålet er endvidere at identificere elever, som har så lav progression, at det ikke er særlig sandsynligt at det er en tilfældighed, og som der således kan være særlig grund til at fokusere på. Datagrundlaget er obligatoriske tests i dansk (2., 4., 6. og 8. klasse) og matematik (3. og 6. klasse). Metode: Elevernes faglige progression beregnes som differencen mellem resultatet (theta-score) i de seneste to obligatoriske test i hhv. dansk og matematik. Eleverne faglige standpunkt måles som elevens theta-score i foregående test. På kommuneniveau identificeres de 10 % af eleverne der har den laveste progression i testen. Eleverne markeres med et ID-nummer, som kan kobles til navn på en fortrolig liste. Det understreges, at elevernes testresultater er forbundet med usikkerhed. Samtidig vil billedet blive påvirket, hvis klasserne har en særlig sammensætning (f.eks. specialklasser og idrætsklasser). Derfor er resultaterne kun egnede til at rette opmærksomheden mod potentielle problemer. Det kræver en professionel vurdering at afklare, om det er relevant at reagere på bestemte testresultater. 10
5A Læsning Ekstra progression i matematik -1.0-0.5 0.0 0.5 1.0 2804 3369 Niveau og progression i klassen 1161 44965160 2491 1578 4462 3144 4644 2151 749 3921 560 5608 878 3773-1.0 0.0 1.0 Niveau i 3. klasse Matematik Lodret linje er klassens gennemsnitlige niveau i testen Orange linje er klassens gennemsnitlige progression Rød prik markerer 10% med lavest progression 5668 3369 3144 4496 5160 749 1578 4644 1161 2151 3921 2491 5608 560 878 3773 5668 4462 2804 Elevernes progression -1.0-0.5 0.0 0.5 1.0 Ekstra progression, Matematik, samlet 5B Læsning Ekstra progression i matematik -1.0-0.5 0.0 0.5 1.0 2804 3369 Niveau og progression i klassen 1161 44965160 2491 1578 4462 3144 4644 2151 3921 560 749 878 3773 5608-1.0 0.0 1.0 Niveau i 3. klasse Matematik Lodret linje er klassens gennemsnitlige niveau i testen Orange linje er klassens gennemsnitlige progression Rød prik markerer 10% med lavest progression 5668 3369 3144 4496 5160 749 1578 4644 1161 2151 3921 2491 5608 560 878 3773 5668 4462 2804 Elevernes progression -1.0-0.5 0.0 0.5 1.0 Ekstra progression, Matematik, samlet 11
7A Matematik Ekstra progression i matematik -1.0-0.5 0.0 0.5 1.0 2804 3369 Niveau og progression i klassen 1161 44965160 2491 1578 4462 3144 4644 2151 749 3921 560 5608 878 3773-1.0 0.0 1.0 Niveau i 3. klasse Matematik Lodret linje er klassens gennemsnitlige niveau i testen Orange linje er klassens gennemsnitlige progression Rød prik markerer 10% med lavest progression 5668 3369 3144 4496 5160 749 1578 4644 1161 2151 3921 2491 5608 560 878 3773 5668 4462 2804 Elevernes progression -1.0-0.5 0.0 0.5 1.0 Ekstra progression, Matematik, samlet Tilsvarende figurer vises for samtlige klasser og samtlige nationale test 12
3 Læringshastighed
Hvad viser tallene i dette afsnit? Tabellen i dette afsnit bygger på en sammenligning af resultatet af en frivillig test med den tilsvarende obligatoriske test. Da de to tests er ens, er der mulighed for at få et indblik i elevens læringshastighed. Læsevejledning Se på eksemplet. Tabellen viser oplysninger om hver elevs læringshastighed og de tests, målingen bygger på. Den første kolonne angiver elevens klasse. Den anden kolonne er eleven ID-nummer. Du kan finde elevens navne i den fortrolige navneliste, som udleveres sammen med rapporten. Tredje kolonne er datoen for den nyeste test test. Fjerde kolonne datoen for den foregående test, som er sammenligningsgrundlaget. Den 5. kolonne viser læringshastigheden. 6. kolonne angiver med et 1, hvis eleven skiller sig særligt ud Dansk Klasse Elev-ID Dato for test 2 Dato for test 1 Læringshastighed Markant resultat 7A 75 14/04/2015 18/11/2014 0,25 1 7A 261 14/04/2015 18/11/2014 0,21 1 7A 183 14/04/2015 18/11/2014 0,14 0 7A 372 14/04/2015 18/11/2014 0,08 0 7A 669 14/04/2015 09/12/2013 0,02 0 7A 1572 14/04/2015 18/11/2014 0,04 0 7A 1602 24/04/2015 18/11/2014 0,05 0 7A 1732 14/04/2015 18/11/2014 0,08 0 7A 1753 14/04/2015 18/11/2014 0,12 0 7A 2295 14/04/2015 18/11/2014 0,13 0 7A 2733 14/04/2015 18/11/2014 0,15 0 7A 3217 14/04/2015 18/11/2014 0,16 0 7A 1552 14/04/2015 18/11/2014 0,17 0 7A 3611 14/04/2015 18/11/2014 0,24 0 7A 3845 24/04/2015 18/11/2014 0,29 0 7A 4007 14/04/2015 18/11/2014 0,30 0 7B 4104 14/04/2015 18/11/2014 0,18 1 7B 4182 14/04/2015 18/11/2014 0,05 0 Den sjette kolonne De elever, der ligger markant under skolens sædvanlige resultater er markeret med et 1-tal. Det kan være udtryk for, at eleven har et særligt problem i faget. Det kan også være udtryk for, at testen blev taget på en dårlig dag og der er også tilfældig variation i testresultater. En markering betyder derfor ikke nødvendigvis, at eleven har et problem. Men de markant lavere testresultater kan være en anledning til at fokusere ekstra på eleven Teknik Afholdelse af frivillige nationale tests giver skolen en fleksibel mulighed for at foretage tests efter klassers og elevers individuelle behov. De frivillige tests er mindre velegnede til at opgøre elevernes faglige progression på en standardiseret og sammenlignelig måde. Særligt for de frivillige tests er, at de altid kan sammenlignes med en obligatorisk test. Tager en elev i 3. klasse en frivillig test i dansk, vil der være muligt at lade eleven tage den nationale test for 2. klasse eller for 4. klasse. Uanset testvalg er det muligt at opgøre elevens læringshastighed ved at sammenholde resultatet af den frivillige test med resultatet af den tilsvarende obligatoriske test. Formålet er at elevernes individuelle læringshastighed og at identificere elever, som adskiller sig markant fra den typiske elev. Datagrundlaget er de seneste frivillige tests i hvert fag sammenholdt med tilsvarende obligatoriske test. Metode: For hvert fag og for hver elev identificeres den seneste tagne frivillige test. Resultatet heraf sammenholdes med den tilsvarende obligatoriske test. Læringshastigheden opgøres som forskellen mellem de to resultater, divideret med antallet af skoledage mellem de to tests. 14
Dansk Klasse Elev-ID Dato for test 2 Dato for test 1 Læringshastighed Markant resultat 9A 5909 29//2015 31/10/2014 0,2153 1 9A 6023 29//2015 31/10/2014 0,0765 0 9A 4096 29//2015 31/10/2014 0,0051 0 9A 3295 29//2015 31/10/2014 0,0075 0 9A 4298 29//2015 31/10/2014 0,0124 0 9A 3612 29//2015 31/10/2014 0,0340 0 9A 2239 29//2015 31/10/2014 0,0410 0 9A 6071 29//2015 31/10/2014 0,0613 0 9A 2354 29//2015 31/10/2014 0,0662 0 9A 1344 29//2015 31/10/2014 0,1308 0 9A 2886 29//2015 31/10/2014 0,1367 0 9A 1611 29//2015 31/10/2014 0,1517 0 9A 903 29//2015 31/10/2014 0,1519 0 9A 4440 29//2015 31/10/2014 0,1550 0 9A 5818 29//2015 31/10/2014 0,3049 0 9A 4770 29//2015 31/10/2014 0,3184 0 9A 1690 29//2015 31/10/2014 0,3923 0 9A 3056 29//2015 31/10/2014 0,5772 0 Dansk Klasse Elev-ID Dato for test 2 Dato for test 1 Læringshastighed Markant resultat 9B 5589 28/04/2015 31/10/2014 0,0894 0 9B 5588 28/04/2015 31/10/2014 0,0716 0 9B 2340 28/04/2015 31/10/2014 0,0689 0 9B 662 28/04/2015 31/10/2014 0,0317 0 9B 880 28/04/2015 31/10/2014 0,0257 0 9B 778 28/04/2015 31/10/2014 0,0475 0 9B 526 28/04/2015 31/10/2014 0,1044 0 9B 2405 28/04/2015 31/10/2014 0,1123 0 9B 670 28/04/2015 31/10/2014 0,1178 0 9B 3571 28/04/2015 31/10/2014 0,1193 0 9B 3062 28/04/2015 31/10/2014 0,2131 0 9B 4355 28/04/2015 31/10/2014 0,2383 0 15
Dansk Klasse Elev-ID Dato for test 2 Dato for test 1 Læringshastighed Markant resultat 9C 5313 23/04/2015 13/11/2014 0,2523 1 9C 1806 23/04/2015 13/11/2014 0,2263 1 9C 1639 23/04/2015 13/11/2014 0,2119 1 9C 5407 23/04/2015 09/12/2014 0,1649 1 9C 1125 23/04/2015 13/11/2014 0,0794 0 9C 3572 23/04/2015 13/11/2014 0,0683 0 9C 4948 23/04/2015 13/11/2014 0,0219 0 9C 1501 23/04/2015 13/11/2014 0,0280 0 9C 1825 23/04/2015 13/11/2014 0,0426 0 9C 4453 23/04/2015 13/11/2014 0,0447 0 9C 5168 23/04/2015 13/11/2014 0,0516 0 9C 5287 23/04/2015 13/11/2014 0,0775 0 9C 3045 30/04/2015 13/11/2014 0,0926 0 9C 5964 23/04/2015 13/11/2014 0,0998 0 9C 962 23/04/2015 09/12/2014 0,1207 0 9C 985 23/04/2015 13/11/2014 0,1574 0 9C 2920 23/04/2015 13/11/2014 0,1612 0 9C 4953 23/04/2015 13/11/2014 0,2386 0 9C 3587 23/04/2015 13/11/2014 0,2518 0 9C 1463 23/04/2015 13/11/2014 0,2543 0 9C 4223 23/04/2015 13/11/2014 0,2908 0 9C 4908 30/04/2015 13/11/2014 0,6478 0 16