Analyser og resultater af Trintest 2010 i den grønlandske folkeskole

Transkript

1 Analyser og resultater af Trintest 2010 i den grønlandske folkeskole Naliliisarfik Institut for Læring Inerisaavik Januar 2013

2 Analyser og resultater af trintest 2010 i den grønlandske folkeskole Institut for Læring Inerisaavik 2013 Forfattere: Peter Allerup, Ellen J. Karlsen, Esekias Therkelsen og Carsten Petersen Layout og grafik: Institut for Læring - Inerisaavik Tryk: Institut for Læring - Inerisaavik Oplag: udgave, 1. oplag ISBN: Bestillingsnummer:

3 Indholdsfortegnelse 1. Forord Resume og læsevejledning Indledning Metode Fortolkning af resultaterne Hovedresultater Antallet af elever til trintest Løsningssikkerhed Fagene Sammenhænge mellem fagene Løsningshastighed Sammenhæng mellem løsningssikkerhed og løsningshastighed Kommuner Byer og bygder Piger og drenge Sprog og præstationer Fagligt stærke og svage elever Fagligt stærke elever Fagligt svage elever Eliteelever Tema: Dynamiske analyser af trintestresultaterne Normative sammenligninger Formative sammenligninger Eksempel Eksempel Afslutning Referencer Bilag

4 4

5 1. Forord I denne rapport præsenteres resultaterne af de trintest, der blev afholdt på 3. og 7. klassetrin i foråret Trintestrapport 2009 udkom i 2011, mens trintestrapport 2008 udkom senere i Den sene offentliggørelse af resultaterne skyldes først og fremmest vanskeligheder med konstruktionen og opbygningen af trintestdatabasen. Udviklingen og analyserne af trintest er en løbende proces og Inerisaavik arbejder på, at de grønlandske trintest evalueres eksternt i løbet af I de tidligere trintestrapporter har fokus været rettet mod den såkaldte median-værdi i forbindelse med elevernes faglige færdigheder. I denne rapport udvides vurderingen af trintestresultaterne til også at omfatte beskrivelser af, hvor stor variationen omkring medianen er, dvs. den faglige spredning. Desuden introducerer denne rapport begrebet elitepræstationer, der dermed sætter fokus på meget flotte præstationer, som det kan være interessant at studere nærmere og lære af. I trintestrapporten for 2008 blev der som noget nyt indført et temakapitel. Formålet med et temakapitel er at gå dybere ned i et specifikt emne i relation til trintest og evaluering i folkeskolen i det hele taget. I denne rapport omhandler temakapitlet dynamiske overgange mellem folkeskolens forskellige trin med særlig fokus på matematik. Når man medregner Main Study i 2006, foreligger der i 2010 trintestresultater for 5 efterfølgende år. Det er derfor blevet muligt at se på, hvordan elever i 3. klasse udviklede sig frem til 7. klasse og samtidig se på, hvordan elever fra 7. klasse udviklede sig frem mod afgangsprøverne i 10. klasse. Analyserne ser både på udviklingen i elevernes generelle faglige færdigheder, såvel som på mere specifikke didaktiske færdigheder. I de første år med trintest har Inerisaavik haft fokus på kvaliteten og sammenligneligheden af de opgaver og spørgsmål, som stilles til eleverne, så det bliver muligt at følge den faglige udvikling over tid. Den næste opgave, som prioriteres fremover, er at udvikle præstationsskalaer til trintest, så det bliver muligt at vurdere, om elevernes præstationer er tilfredsstillende eller ikke. Denne opgave forventes at ske på forskningsmæssige vilkår i første omgang i faget matematik og siden hen i sprogfagene. Arbejdet kræver en del analyser og dokumentation, som vil vare det meste af Arbejdet med at udvikle metoder til socioøkonomisk justering af trintestresultaterne pågår i samarbejde med Grønlands Statistik. For Grønlands vedkommende mangler vi officiel statistik over forældrenes erhverv, som er en af de tre parametre, som indgår i disse beregninger. De to andre parametre er forældrenes uddannelse og indkomst, som Grønlands Statistik allerede har. I løbet af 2013 udgives trintestrapporterne med resultater for årene 2011 og Det er håbet, at man fra 2013 vil kunne offentliggøre trintestrapporterne forholdsvis hurtigt efter afholdelse af testene, så rapporterne fremstår som aktuelle og dermed mere brugbare. Jens Jakobsen - Leder af Inerisaavik Institut for Læring 5

6 6

7 2. Resume og læsevejledning I foråret 2010 blev der igen afholdt trintest på 3. og 7. klassetrin. På 3. klassetrin blev der afholdt test i fagene grønlandsk, dansk og matematik. På 7. klassetrin blev der afholdt test i de samme fag samt i faget engelsk. Det var fjerde år i træk, at der blev afholdt egentlige landsdækkende trintest efter tredje og sidste afprøvning i Arbejdet med udvikling af trintest i Grønland er kort beskrevet i Kapitel 3: Indledning. Trintestene er udviklet således, at opgaver og spørgsmål også kaldet items opfylder de psykometriske krav, der sædvanligvis er opfyldt i internationale test af denne type. Det er en forudsætning for, at elevernes præstationer kan måles og sammenlignes ved et enkelt mål for antal rigtigt løste opgaver. Ved analyser af resultaterne anvendes en nordisk tradition, hvor der ikke alene ses på antal rigtige besvarelser i form af løsningssikkerhed, men også på den tid, eleverne har brugt på at løse opgaverne, dvs. løsningshastighed. Udover disse mål introduceres der i denne rapport også mål for, hvor stor variation der er omkring løsningssikkerheden. Denne variation illustreres ved hjælp af box-plots, som på en overskuelig måde sammenfatter megen information om variationen i løsningssikkerhed. Se mere herom i kapitel 4: Metode. Trintest har i 2010 været afholdt fire år i træk og fem år, hvis året 2006, hvor der blev afholdt Main Study, medregnes. Der foreligger efterhånden data for så mange år, at man begynder at kunne drage mere sikre statistiske konklusioner om tendenser og mønstre. Trintest er dog fortsat under udvikling, hvor trintestdatabasens egenskaber samt nye analysemåder af elevernes besvarelser til stadighed undersøges. Med det forbehold drages der følgende konklusioner for perioden og konkret for året 2010: Det er obligatorisk for alle elever at deltage i trintest, dog er der mulighed for fritagelse. Antallet af elever, der ikke deltog i trintest i 2010, kan ikke opgøres med sikkerhed, men skønnes til at ligge på 10 % af det samlede elevgrundlag på begge trin. Hvad angår løsningssikkerheden kan følgende konkluderes for perioden : 1. er gået pænt frem vedrørende løsningssikkerhed for både 3. klasse og 7. klasse. 2. er gået frem på 3. klassetrin, mens faget stagnerer på 7. klasse. 3. Engelsk udviser stagnation over perioden. 4. udviser status quo i 3. klasse og fald i 7. klasse. Løsningshastigheden er meget høj for de fleste fag, hvilket lige nu gør det vanskeligt at adskille eleverne på denne faktor. En af de største forskelle i løsningssikkerhed i trintest ligger i de kommunale forskelle. Det gælder først og fremmest for fagene grønlandsk og dansk, mens forskellen er mindre udtalt i matematik. 7

8 Elever fra byskoler er bedre i faget dansk end elever fra bygdeskoler. Omvendt er elever fra bygdeskoler bedre i faget grønlandsk end elever fra byskoler. Der er ikke stor forskel i faget engelsk, dog er elever i byskoler en anelse bedre. I faget matematik er bygdeelever ligeså gode som byelever i 3. klasse, men bedre i 7. klasse. Piger er bedre end drenge i alle fag på både 3. og 7. klassetrin. Den sproglige baggrund spiller en rolle for præstationerne i trintest. Elever med en dansk eller blandet sproglig baggrund klarer sig generelt bedre i fagene dansk, engelsk og matematik. Blandt eleverne til trintest kan der peges på elever, der fagligt er meget stærke henholdsvis meget svage. Der er en betydelig variation blandt kommuner med hensyn til hyppigheden af fagligt stærke og svage elever i de forskellige fag. Der kan udpeges såkaldte elitepræstationer, hvor en elev har løst mere end 90 % af opgaverne rigtigt. Disse eliteelever er spredt jævnt over skoler og kommuner. En mere detaljeret gennemgang af ovenstående findes i Kapitel 6: Hovedresultater. Med afholdelse af trintest på 3. og 7. klasse for femte år i træk opstår der nye analysemæssige muligheder. Elever, der gik til Main Study i 3. klasse i 2006, kan for en dels vedkommende genfindes i trintestene på 7. klasse i Ligeledes kan elever, der gik til trintest i 7. klasse i 2007, for en dels vedkommende genfindes ved afgangsprøverne i 10. klasse i Dermed er der mulighed for at studere, hvordan eleverne rent fagligt bevæger sig både på et generelt, normativt niveau samt på et mere detaljeret, formativt niveau. Analysen i dette temakapitel har to hovedkonklusioner: Mange elever skifter plads fra 3. til 7. klasse, og bevæger sig fra at have været bedre til at være dårligere end landsnormen. Ligeledes bevæger mange elever sig den modsatte vej. Fra 7. og frem mod 10. klasse fastholder langt de fleste elever derimod deres indbyrdes placering. Kapitel 8 indeholder en kort afslutning, mens Kapitel 9 indeholder en liste over de referencer, der er anvendt ved udarbejdelsen af denne rapport. Kapitel 10 indeholder bilagstabeller og figurer, der for land, kommuner og skoler dokumenterer tallene for trintestene

9 3. Indledning Et af de vigtige formål med folkeskoleforordningen fra 2002 er at styrke undervisningen ved bl.a. at intensivere og forbedre evaluering på alle niveauer i folkeskolen. De eksterne og interne evalueringsmetoder og dokumentationsformer i yngste- og mellemtrinnet blev udviklet for at realisere dette formål. Disse metoder blev indført for at sikre, at eleverne får tilbudt en undervisning i overensstemmelse med folkeskolens grundlag og formål, trinformål, fagformål og læringsmål. Mens den interne evaluering finder sted fra eleverne begynder i 1. klasse til de er færdige med 10. klasse, afvikles de eksterne evalueringsmetoder trintest og afgangsprøver på et bestemt tidspunkt i skoleforløbet, dvs. ved afslutningen af hvert trin. De interne evalueringsmetoder anvendes, ved at lærerne i samarbejde med eleverne foretager pædagogiske evalueringer som led i den daglige undervisning. Dette gøres ved at lærer og elever samarbejder om at lave en helhedsvurdering af den daglige undervisning, som tager udgangspunkt i fagbeskrivelserne, læringsmålene og elevernes faglige udvikling med henblik på at danne basis for planlægning af den enkelte elevs videre skolegang. De eksterne evalueringsmetoder er standardiserede og er udviklet ud fra centralt fastsatte, fælles kriterier, dvs. trinlæringsmål for fagene. Det skal præciseres, at hovedformålet med de skriftlige trintest på yngste- og mellemtrinnet er, at elever, lærere, skoler og forældre samt centrale og lokale myndigheder kan få et nationalt og lokalt indblik i de enkelte elevers faglige udbytte af undervisningen i forhold til trinlæringsmålene inden for centrale fagområder ved afslutningen af 3. og 7. klasse, dvs. yngste- og mellemtrinnet. Trintestresultater bør benyttes sammen med resultater fra den løbende interne evaluering til planlægning af den enkelte elevs videre skoleforløb på de enkelte skoler. Trintestresultaterne benyttes endvidere som grundlag for pædagogisk forskning og kan dermed være statistisk dokumentation for evalueringer og udviklingsbestræbelser inden for den grønlandske folkeskole. Det er vigtigt, at de opgaver, der bliver anvendt i trintestene, lever op til moderne psykometriske krav om homogenitet 1, som stilles ved internationale undersøgelser som f. eks. TIMSS og PIRLS 2 samt PISA 3. Kravet om homogenitet af opgaverne er et relativt nyt krav i den europæiske testkultur, selv om Georg Rasch i Danmark lagde grundprincipperne klar allerede i I USA har man i de nationale test, NAEP 4, konstant anvendt homogenitetsprincipperne siden Det danske 1 Psykometriske krav om homogenitet forklares nærmere i kapitel 4. 2 IEA, som står for International Association for the Evaluation of Educational Achievement, er en uafhængig, international samarbejdsorganisation bestående af nationale forskningsinstitutioner, som gennemfører store sammenlignende undersøgelser i mange lande inden for uddannelse, bl. a. TIMSS (matematik og naturfag) og PIRLS (læsning) i DK i 4. og 8. klasse. 3 OECD gennemfører Program for International Student Assessment/PISA -undersøgelser i fagene matematik, naturfag og læsning. Elever, som indgår i disse undersøgelser, er 15 år gamle. 4 NAEP står for National Assessment of Educational Progress. 9

10 Psykologiske forlags test og prøver lever stort set alle op til de samme krav og har gjort det siden Psykometriske krav om homogenitet i forbindelse med opgavernes egenskaber undersøges ved hjælp af den statistiske Rasch model 5. Først når opgaverne på tilfredsstillende vis har passeret de psykometriske krav, og dermed er homogene, kan de benyttes i en normal testpraksis. Arbejdet med at udvikle trintestene startede i efteråret Til og med 2006 blev der i alt gennemført tre afprøvninger, før opgaverne første gang blev taget i brug i Første afprøvning fandt sted i 2004, hvor en pilottest 6 i samtlige trintestfag blev gennemført for at finde ud af, om opgaveformuleringerne bliver forstået af eleverne. Her blev spørgsmålene testet på et meget lille udsnit af elever, der i dialog med opgavekonstruktørerne og andre fagpersoner gav et væsentligt input til at forbedre opgaverne. Næste afprøvning 7 fandt sted i 2005/2006, hvor data blev indsamlet som stikprøver blandt landets skoler. Her var hovedformålet at undersøge, om det evalueringssystem, man bygger op, fungerer inkl. om de tilrettede opgaver kan benyttes på landsplan. Erfaringer fra denne test gav anledning til yderligere tilretninger af opgaverne samt fastlæggelse af de administrative rutiner i forbindelse med de kommende trintest. Den sidste afprøvning 8 var landsdækkende og fandt sted i 2006, hvor elevernes faglige niveau i trintestfagene blev testet. En løbende bearbejdning, forbedring og udvikling af metoderne og måleredskaberne har fundet sted i denne periode. Denne udvikling fortsætter med løbende tilpasninger og skabelse af muligheder for at sammenholde årets trintestresultater med de landsnormer, der fag for fag dannes som referencer. Dataindsamlingerne over årene 2004 til og med 2009 har bidraget meget til analyserne af opgavernes kvalitet og til studier af variationer. I 2006 svingede skolernes deltagelse noget. Først ved dataindsamlingen i 2007 har deltagelsen været så høj, at der kan dannes grundlag for beregning af egentlige grønlandske landsnormer. Disse landsnormer er statistiske referencefordelinger, der udtrykker hvad elever i den grønlandske folkeskole kan inden for fagene grønlandsk, dansk og matematik på 3. og 7. klasse og engelsk på 7. klasse. Resultaterne fra 2010 skal ses som et løbende bidrag til opbygningen af sådanne normer. I yngste- og mellemtrinnet gives der ikke karakterer. Eleverne skal ikke bestå trintest som en forudsætning for at rykke op i næste trin. Derimod bør resultaterne indgå i den samlede vurdering, som finder sted ved afslutningen af hvert trin. Det er heller ikke formålet med trintest at rangordne skoler, klasser eller elever efter resultater i trintest. Formålet med trintest har først og fremmest et pædagogisk sigte, hvor den enkelte elevs faglige udbytte af undervisningen og planlægning af hans / hendes videre skolegang står centralt. 5 Rasch modellen forklares nærmere sammen med de psykometriske krav i Kapitel 4. 6 også kaldt Venneprøver. 7 som også kaldes Field Trial Test. 8 som også kaldes The Main Study. 10

11 4. Metode Den måde man fremlægger resultaterne fra trintestene ligger i forlængelse af en sædvanlig nordisk praksis, der tilsiger at beregne mål for både løsningssikkerhed og løsningshastighed. Det er vigtigt, at begge aspekter kan evalueres, og at der kan skelnes mellem eleverne ved hjælp af disse to mål. Det gælder for øvrigt størstedelen af de evalueringsinstrumenter, der anvendes i den daglige pædagogiske praksis, at de er i stand til at skelne mellem de elever, der evalueres. Det bliver på denne måde et kvalitetsaspekt, at testene er sådan indrettet, at kun relativt få elever når at besvare alle opgaver, og at der tilsvarende er relativt få elever, der har besvaret samtlige opgaver korrekt. Det er en egenskab ved trintestenes opgaver, at elevens samlede resultat af besvarelser af opgaverne kan gøres simpelt op ved hjælp af elevscoren, dvs. totalt antal rigtige besvarelser. Dermed skaffes der adgang til at måle elevens faglige færdighed i de enkelte fag blot ved at tælle antallet af korrekt besvarede opgaver pr. elev. Noget tilsvarende gælder for optællinger på den anden led, dvs. opgave for opgave, hvor antallet af elever, der har løst en bestemt opgave rigtigt, er et mål for denne opgaves sværhed eller lethed om man vil. Disse to råscore-mål for henholdsvis elevfærdighed og opgavesværhed omdannes ved hjælp af Rasch-modellen til nogle latente scores for elevfærdighed og opgavesværhed, fordi det normalt er vanskeligt at regne på de rå scoreværdier. Den internationale undersøgelse PISA har f. eks. benyttet et internationalt midtpunkt på 500 og en standardafvigelse på 100 som forankring af de omregnede råscores, de såkaldte PISA scores. Det samme gælder for en række pædagogiske instrumenter, der anvendes i den daglige evaluering, hvor rå scores omsættes til point scores. Der er nogle fordele ved at omregne råscores til latente scores, som hovedsageligt er af teknisk og statistisk art. Bl.a. er det nemmere og teknisk set mere korrekt at benytte elev-scores i form af latente scores i stedet for rå-scores i bestemte efterfølgende analyser, hvor man sammenholder mål for elevens færdighed med forskellige baggrundsvariable som f. eks. køn, socioøkonomisk baggrund mv. Ulemperne ved denne omregning er umiddelbart klare, bl.a. fordi det kræver en omregningstabel mellem rå- og latente scores for at kunne udføre det. Når den praktiske brug af resultaterne skal sættes i fokus sammen med en fornemmelse for, hvem der skal kunne foretage orienteringer f. eks. med hensyn til pædagogiske interventioner som følge af resultaterne, ligger det lige for at undgå dette mellemled. Det svarer til at benytte en tidligere anvendt PISA-test i en evaluering af f. eks. læsning, og når resultaterne skal gøres op, være henvist til alene at se på rå-scores i form af antal rigtige besvarelser uden at have efterfølgende mulighed for at sammenligne egne resultater med de øvrige PISA prøvetagninger, der er opgjort ved hjælp af den omtalte internationale skala over latente scores med midtpunkt 500. Resultaterne fra trintestene opgøres derfor i princippet ud fra rå-scores, dvs. antal rigtige besvarelser. Før man omsætter dette tal til procent rigtige besvarelser for den enkelte elev, 11

12 skal man overveje, hvilket antal opgaver antallet af rigtigt løste opgaver skal ses i forhold til: Det totale antal opgaver i testen eller det antal opgaver, som eleven har forsøgt at løse. Den løsning, som er valgt i denne rapport, er i overensstemmelse med den praksis, som har været anvendt de fleste steder i den pædagogiske hverdag i Danmark og andre nordiske lande. Man beregner procent rigtige i relation til antallet af opgaver, som eleven har forsøgt at løse de såkaldte antal passerede opgaver. Opgaver, der ligger senere end den sidste opgave, som eleven har set på, kaldes for ikke nåede opgaver. Dette antal benyttes ikke ved beregningen af elevens færdighed, men indgår i vurderingen af elevens løsningshastighed, der udregnes som procentdelen af passerede opgaver i relation til det totale antal stillede opgaver i testen. Også på dette punkt ligger opgørelsen af resultater fra trintestene i forlængelse af sædvanlig nordisk praksis der således tilsiger at se på både en løsningssikkerhed og en løsningshastighed udregnet som procent. Faktaboks: Beregning af elevens score. En elev har til en test fået udleveret 10 opgaver, som er løst sådan: Opg. nr Elev hvor 1 = rigtig besvaret opgave 0 = forkert besvaret opgave - = ikke besvaret opgave Ud fra disse tal kan følgende scores beregnes: Antal passerede opgaver = 5, idet opgave 6-10 er ubesvarede Antal ikke nåede opgaver = 5 Antal rigtige (elevscoren) = 3 Løsningssikkerhed (procent rigtige) = (3/5)*100 = 60 %, idet løsningssikkerheden beregnes i forhold til antallet af passerede opgaver. Løsningshastighed = (5/10)*100 = 50 %, dvs. mål beregnet ud fra hvor langt eleven er nået uden brug af ur. Rå score Latent score Denne elev nåede altså halvdelen af opgaverne (50 %). Blandt de passerede opgaver var der 3 rigtige besvarelser, der giver en løsningssikkerhed på 60 %. Om denne elev kan karakteriseres faglig stærk, god eller svag, kan der ikke umiddelbart siges noget klart om ud fra dette resultat. Det kræver en reference i forhold til alle elever og/eller en national pædagogisk norm for, hvad der anses for en god/tilfredsstillende præstation. Opbygning af disse referencenormer og præstationsskala til trintest kommer til at ske i de kommende år. 12

13 Indplacering af løsningssikkerhed og løsningshastighed i det såkaldte kategorisystem sker på følgende måde, når f. eks. 2 elever har løst 10 opgaver hver, efter følgende mønster: Opg. nr Elev Elev De to elever har begge en løsningssikkerhed på 100 %, idet alle passerede opgaver er løst korrekt. Forskellen mellem de to elever ligger i løsningshastigheden, hvor elev nr. 1 har værdien 30 %, mens elev nr. 2 har værdien 100 %. Når løsningssikkerheden udregnes i forhold til antal passerede opgaver og løsningshastigheden i forhold til alle opgaver opstår muligheden, og måske nødvendigheden, af at vurdere eleverne på to variable, løsningssikkerhed og løsningshastighed, i stedet for en variabel. Således har elev nr. 1 løsningssikkerhed på 100 %, men har løsningshastighed på 30 %, hvilket giver en indikation af, at eleven mangler træning i opgaveløsning. Elev nr. 2 har 100 % både i løsningssikkerhed og løsningshastighed og er således en hurtig og sikker elev. Andre elevprofiler kan også beskrives ud fra de opnåede elevresultater, jf. tegningen nedenfor. F. eks. er der den usikre og langsomme elev, der først skal opnå mere sikkerhed, før hastigheden kan sættes op. Ideelt set burde alle elever være sikre og hurtige. Pilene herunder i figuren viser, hvordan eleverne eventuelt kan bevæge sig fra langsom og usikker over langsom, men sikker til hurtig og sikker. Usikker Hurtig Sikker Hurtig Elev 2 Usikker Langsom Sikker Langsom Elev 1 Det gælder for størstedelen af hensigtsmæssigt udformede evalueringsinstrumenter, at de er i stand til at skelne mellem de elever, der evalueres. Det betyder, at trintestene bør kunne skelne mellem elever både mht. løsningssikkerheden og løsningshastigheden. Under udarbejdelsen af trintestene måtte det derfor tilstræbes, at variationen af svære og lette opgaver var stor. Det giver stor variation i målet for løsningssikkerhed ligesom længden af den samlede test giver stor variation i løsningshastighed. En del elever når derfor ikke at blive færdige med at løse alle opgaverne. Hvis alle gjorde det, ville løsningssikkerheden og løsningshastigheden ikke kunne benyttes til at skelne mellem eleverne. Variationen af løsningssikkerheden tegner et nuanceret billede af elevernes færdigheder i de fire fag, både på 3. og 7. klasse, uden at der er mange elever, som opnår meget ringe eller meget gode 13

14 Andel af elever i % resultater 9. I figur 1 er vist et eksempel herpå ud fra fordelingen af løsningssikkerheden i 7. klasse i faget dansk i Fordelingen har mange værdier af løsningssikkerheden hvor de fleste elever, nemlig 18 %, havde mellem 40 og 50 % rigtige. Spørgsmålene er altså konstrueret på en sådan måde, at alle elevgrupper har mulighed for at besvare spørgsmål i testen. Figur 1: Fordelingen af løsningssikkerheden i i 7. klasse i Løsningssikkerhed i % Det fremgår af figur 1, at eleverne deler sig i to store grupper. Den første gruppe af elever opnår resultater mellem 40 og 60 % med midtpunkt i 50 %. Den anden store gruppe gennemfører hele testen med en løsningssikkerhed på 100 %. I forbindelse med trintestrapport 2010 er det ikke blevet nærmere undersøgt, hvilke elevgrupper det drejer sig om med hensyn til den sproglige baggrund. Testen ser dog ud til at være for nem for den dygtige elevgruppe, og det må overvejes at revidere testen for denne gruppe af elever. Det fremgår ligeledes af eksemplet i figur 2 fra trintest i faget dansk på 7. klasse i 2010, at der ikke er stor variation fra elev til elev i løsningshastigheden i dette fag, hvor ca. 50 % af eleverne passerer mellem 90 og 100 % af opgaverne. Det samme gælder for de fleste trintestfag både på 3. og 7. klassetrin. Testenes samlede længde er derfor noget, der bør tages op til revision, hvis ønsket er, at man også vil benytte løsningshastigheden som et aktivt element af evalueringen. I så fald bør testene laves længere. Principielt set kan man i stedet vælge at afkorte den afsatte tid til det enkelte fag i trintestene, f. eks. til 30 minutter. Denne løsning er dårligere end den første, fordi man ved at forkorte tiden sætter præcision tilsvarende ned ved målingerne af elevernes færdigheder. 9 lave værdier af løsningssikkerhed under % eller meget høje præstationer over %. 14

15 Andel af elever i % Figur 2: Fordelingen af løsningshastigheden i i 7. klasse i Løsningshastighed i % På grund af den generelt lille variation af målet for løsningshastighed er for nærværende rapport opgivet at anvende en ellers velkendt opgørelsesteknik fra f. eks. læseprøverne OS64, 120 og SL40 og 60, hvor de to mål indsættes samtidigt i et todimensionalt kategorisystem, et system, som med succes er viderebragt i de grønlandske læseprøver OAM1 og OAM2 samt ATUARIT5. Når resultatet skal beregnes for flere elever på én gang, f. eks. på klasseniveau, er udgangspunktet en række værdier af løsningssikkerhed og løsningshastighed beregnet for alle klassens elever. Et samlet billede af hele klassens færdighedsniveau kan derefter tegnes på mange måder, afhængigt af de statistiske egenskaber ved tallene for løsningssikkerhed og løsningshastighed. Ofte er det ikke relevant at beregne gennemsnit, fordi fordelingerne er skæve, som antydet i figur 1 og 2, eller begrænsningerne for procenttallene med 0 % og 100 % som absolutte grænser kan gribe forstyrrende ind i fortolkningen af gennemsnitstal. I denne rapport benyttes derfor medianværdier, når flere værdier fra klasser, skoler, kommuner eller resultater fra hele landet skal sammenfattes til én værdi. For de to mål for hhv. løsningssikkerhed og løsningshastighed betyder det, at de værdier, der præsenteres, repræsenterer værdier, hvor 50 % af eleverne ligger over og 50 % af eleverne ligger under den angivne værdi. Når der eksempelvis for faget matematik i 3. klasse står opført en værdi, f. eks. 52 %, betyder det altså, at 50 % af eleverne løser mindre end 52 % af opgaverne rigtigt, mens andre 50 % løser mere end 52 % af matematiktesten korrekt. 15

16 Antal besvarelser Faktaboks: Nøgletal for en statistisk fordeling. 11 elever har løst et bestemt opgavesæt og opnået følgende værdier for procent rigtige: Elev nr % rigt %-25% 25%-50% 50%-75% 75%-100% Løsningssikkerhed i % Denne fordeling af tallene for løsningssikkerhed kan beskrives ved forskellige statistiske nøgletal. Det mest anvendte nøgletal er det simple statistiske gennemsnit, der beregnes således: Gennemsnit = ( )/11 = 65,8 Gennemsnittet egner sig bedst til at beskrive statistiske fordelinger, der er symmetriske, dvs. fordelinger der ikke hælder mod enten venstre eller højre. Det er ikke tilfældet for eksemplet i figuren ovenfor. For ikke symmetriske fordelinger anvendes i stedet medianen som et mål for positionen i fordelingen. Hvis tallene stilles op i stigende rækkefølge: findes medianen som den midterste værdi i talsættet. I eksemplet er medianen 69. Det skal forstås således, at halvdelen af eleverne har procent rigtige på under 69, mens den anden halvdel har procent rigtige på over 69. Når medianen er større end gennemsnittet, som det her ses at være tilfældet, siges fordelingen at være venstreskæv, idet tallene i fordelingen er koncentreret mod venstresiden. Gennemsnittet og medianen er såkaldte positionsmål. De beskriver hvor fordelingen af tallene har deres tyngdepunkt. Derimod fortæller de ikke noget om, hvor meget tallene spreder sig omkring positionsmålet. Den information er meget væsentlig at supplere med. Således kan et konstant gennemsnit dække over at fordelingen bliver mere spredt (flere dårlige og flere gode elever) eller mindre spredt (eleverne nærmer sig hinanden). Forskellige begreber i relation til spredningsmål er gennemgået i nedenstående faktaboks. 16

17 Faktaboks: Mål for spredningen i en statistisk fordeling. Tre elever har opnået følgende karakterer i seks fag. Eleverne er blevet bedømt efter den nu afskaffede 13-skala, hvilket gør eksemplet klarest. Elev 1 Elev 2 Elev 3 Fag Fag Fag Fag Fag Fag Gennemsnit Varians 0 0,33 3 Spredning 0 0,58 1,7 Alle elever har samme gennemsnit, nemlig 8. Variationen er imidlertid meget forskellig. Elev nr. 1 har opnået karakteren 8 i alle fag og der er derfor ingen variation omkring gennemsnittet. Elev nr. 2 har også 8 i gennemsnit, men der er nu tale om en vis variation omkring gennemsnittet. De to mest almindelige mål for denne variation er variansen og spredningen, der begge kan beregnes via almindelige it-redskaber som f. eks. EXCEL. Bemærk at spredningen beregnes som kvadratroden af variansen. Endelig har elev nr. 3 også 8 i gennemsnit, men varians og spredning er endnu større end for elev nr. 2. Læg også mærke til, at elev nr. 3 ikke har fået karakteren 8, selv om gennemsnittet for eleven er udregnet til 8. Eksemplet illustrerer, at gennemsnitstal kun beskriver en dimension af en fordeling af tal, men ikke siger noget om variationen i et konkret datamateriale. Endnu mere detaljerede mål for spredningen er de såkaldte kvartiler. Således er 25 % fraktilen den værdi for f. eks. løsningssikkerhed, der adskiller elevgruppen i 25 % under og 75 % over værdien. 50 % fraktilen svarer til den tidligere nævnte medianværdi. I nedenstående talrække kan disse fraktil-værdier beregnes ved f. eks. statistikfunktioner i EXCEL: % - fraktilen bliver 62,5 (mellem 62 og 63), 50 % fraktilen (medianen) som før 69 og 75 % fraktilen 74. Ofte sammenfattes fraktilværdien i et såkaldt box plot. Den sorte streg til venstre markerer den laveste værdi som opnås. De to kasser markerer spændet mellem 25 % og 75 % fraktilerne. Endelig markerer den sorte streg til højre den højeste værdi, som en eller flere elever har opnået

18 Det er vigtigt at bemærke, at der ikke foretages rangordninger af skolerne med hensyn til løsningssikkerheden. Det skyldes to forhold. For det første kan udviklingen fra år til år på særligt de mindre skoler været præget af tilfældigheder, så der ofte ikke er solidt belæg for at drage konklusioner om en udvikling. Data er til rådighed på skoleplan, men det kan være vanskeligt at udtale sig om den enkelte skole ud fra gennemsnitsværdier eller medianer, fordi antallet af elever på skoleniveau undertiden ofte er meget lille, mange gange mindre end 8 elever. For det andet kan de enkelte skolers elevpræsentationer være præget af socioøkonomiske forhold hos forældrene i skolernes opland. Evalueringsafdelingen råder på nuværende tidspunkt ikke over metoder til at korrigere for socioøkonomiske forhold og andre forhold, såsom kulturelle forhold, til at justere elevresultaterne. I bilaget vises tabeller over skolernes præstationer for løsningssikkerheden uden justeringer for socioøkonomiske faktorer, og ønsker man selv at foretage sammenligninger af skolerne med hensyn til præstationsniveau, skal det ske med varsomhed. 18

19 5. Fortolkning af resultaterne Med angivelse af procent rigtige for hver elev har man et præcist mål for elevens færdighedsniveau i form af løsningssikkerheden og den procentvise gennemførelse af antallet af opgaver som præcist mål for løsningshastigheden. Men er en værdi på f. eks. 67 % i løsningssikkerhed udtryk for, at eleven på tilfredsstillende vis har indfriet kravene stillet i undervisningen? Disse krav er formuleret gennem læringsmål i de enkelte fag og udtrykker for hvert fag på hvert trin de krav, som undervisningen skal tilstræbe, at eleverne bringes i stand til at indfri. Man kan derfor spørge, om en rigtighedsprocent på f. eks. 67 % er udtryk for, at eleven i det store og hele har indfriet de krav, som opgaverne er bygget over? Eller bør det være 75 % eller er 50 % tilstrækkelig? Svaret er flydende, fordi enhver opgave inden for fastlagte faglige, didaktiske rammer kan gøres nemmere eller sværere gennem ganske få ændringer, en proces, der er som at dreje op eller ned på en sværhedsknap, og som enhver opgavestiller kender fra sit arbejde. Der kan være gode grunde til at skrue på denne knap. Bl.a. er det hensigtsmæssigt ikke at gøre opgaverne så svære, at eleverne taber modet undervejs eller gøre dem så lette, at de dygtigste elever misforstår udfordringerne og læser noget andet ind i opgaverne, end det oprindeligt var hensigten. Noget tilsvarende gælder for vurderingen af løsningshastigheden. Her er det klart længden af de samlede opgaver, der fungerer som en knap til at skrue op og ned på forventede, gennemsnitlige værdier af løsningshastighederne. Det flydende element, mht. hvad der er acceptabelt og i overensstemmelse med læringsmålene, er klart til stede. Sædvanligvis benyttes såkaldte omsætningstabeller til at markere, om en bestemt værdi af færdighedsmålet er udtryk for en tilfredsstillende eller ikke-tilfredsstillende præstation set i forhold til læringsmålene. For at illustrere dette kan man benytte 2010-fordeling med løsningssikkerheden i 7. klasse i faget dansk i figur 1 ovenfor. Den vandrette x-akse repræsenterer en gruppering af værdierne i løsningssikkerhed i 10 grupper tilfældigvis det samme antal skridt, som findes på den tidligere anvendte 13-karakterskala, der har 10 skridt. Lader man den nederste søjle repræsentere karakteren 00 får ca. 0,3 % af eleverne denne karakter. Derefter tildeles hver søjle sin karakter fra 03 til 13. F. eks. ses, at karakteren 03 gives til ca. 1,2 % og karakteren 13 til ca. 14,5 % af eleverne, mens det største andel 10 svarer til karakteren 7, som 18,2 % af eleverne efter denne omsætningstabel får tildelt. Denne korte illustration er ikke så langt fra virkelighedens karakterfordelinger ved 10. klasses afgangsresultater, og ved at flytte fra procentværdiansættelsen af løsningssikkerheden til karakterer på 12-skalaen flyttes samtidigt over i et regi, hvor der på forhånd via 12-skalaens trin er tilskrevet faste kvalitative fortolkninger af præstationen. F. eks. er karakterer under 2 ikke tilfredsstillende, mens karakterer på 10 og 12 er udtryk for præstationer ud over det normale og forventede. 10 svarende til den højeste søjle i figur 1. 19

20 Denne omregningsteknik kan gennemføres med den nye karakterskala, GGS, som indføres fra skoleåret 2009/2010 i den grønlandske folkeskole eller med den i Danmark indførte 12-skala eller med en hvilken som helst anden skala, der repræsenterer grupperinger af de grundlæggende procent-rigtige tal, og som har fået navngivet grupperingskategorierne eller karaktertrinnene som beskrivelser bag ved GGS-skalaens, 12-skalaens eller 13-skalaens trin. Det er i denne forbindelse ikke afgørende, om den anvendte karakterskala udelukkende anvender bogstaver som kvalitativ markering eller eventuelt anvender både bogstaver og tal således, at der f. eks. kan beregnes gennemsnit. De grønlandske trintest er i en udviklingsfase, hvori det bl.a. skal vurderes, om en given løsningssikkerhed på f. eks. 67 % som udtryk for de konkrete udfordringer, som opgaverne i et fag stiller eleven over for, resulterer i en kvalitativ bedømmelse som tilfredsstillende indfrielse af de krav, læringsmålene stiller eller ej. Denne proces er igangsat og bør hensigtsmæssigt kædes sammen med, at der på forskningsmæssige vilkår gennemføres undersøgelser, hvor eleverne både afprøves med de nye grønlandske trintest og samtidigt med andre kendte typer af opgaver i test, hvor man allerede har skaffet sig en holdning til, om en gennemsnitlig procent rigtig på 67 % er godt eller skidt. Under sådanne forsøgsplaner kan fortolkninger af score-niveauer af procent-rigtige værdier fra de traditionelle test overføres til de nye trintest. Der bliver ikke introduceret omsætningstabeller og præstationsskalaer i forbindelse med trintestene for Dermed udskydes en afgørelse af, om bestemte værdier af løsningssikkerheden repræsenterer tilfredsstillende eller ikke-tilfredsstillende respons på test af læringsmålene. Det bliver i denne omgang statistiske fordelinger over løsningssikkerheden og løsningshastigheden, der benyttes som normative referencer for evalueringen, altså evalueringer, hvor resultaterne alene vurderes relativt. 20

21 Antal elever 6. Hovedresultater I dette afsnit beskrives resultaterne af trintest, der blev afholdt i 2010, og de sammenlignes med resultaterne for de fem foregående år. Det skal bemærkes, at en tidsserie på fem år fra 2006 til og med 2010 stadig er af beskeden længde, og det er derfor ofte svært at fremdrage statistisk signifikante resultater på denne baggrund, og derfor skal alle sammenligninger i det følgende tages med forbehold. I takt med at mængden af data øges, vil mulighederne for at drage mere sikre statistiske konklusioner naturligvis også blive større. Præsentationen af resultaterne i dette kapitel sker primært vha. grafiske illustrationer, der har til hensigt at give overblik over tendenserne i materialet. De præcise tal bag figurerne fremgår af bilagstabellerne. 6.1 Antallet af elever til trintest Antallet af elever, der aflægger trintest, varierer fra år til år og fra fag til fag. Udviklingen i antal elever, der gik til trintest i 3. klasse i perioden , fremgår af figur 3. Figur 3: Antal elever til trintest i 3. klasse i peroden I 2010 gik i alt 769 elever til en eller flere trintest i 3. klasse. Heraf deltog 661 elever i alle tre test, 97 elever deltog i to test og endelig deltog 11 elever i kun en af de tre test. Det samlede antal elever, der var indskrevet i 3. klasse året før afholdelsen af disse trintest, var på i alt 848 ifølge skolernes indberetning til Inerisaavik pr. 1. oktober Dette tal inkluderer ikke elever, der var omfattet af vidtgående specialundervisning i det pågældende skoleår. Det betyder, at 79 elever (= ) under almindelig undervisning, eller 9,3 % af alle elever i 3. klasse, slet 21

22 Antal elever ikke deltog i testen 11. Denne beregning af manglende deltagelse i trintest skal dog tages med betydeligt forbehold, indtil mere sikre tal for det samlede elevgrundlag foreligger, hvilket forventes i løbet af Udviklingen i antal elever, der gik til trintest i 7. klasse i perioden , fremgår af figur 4. Figur 4: Antal elever til trintest i 7. klasse i perioden Engelsk I 2010 gik i alt 866 elever til en eller flere trintest i 7. klasse. Heraf deltog 757 elever i alle fire test, 78 elever deltog i tre test, 25 elever deltog i to test og endelig deltog 6 elever i kun en af de fire test. Det samlede antal elever, der var indskrevet i 7. klasse året før afholdelsen af trintest, var på i alt 972 ifølge skolernes indberetning til Inerisaavik pr. 1. oktober Dette tal inkluderer heller ikke elever, der var omfattet af vidtgående specialundervisning i det pågældende skoleår. Det betyder, at 106 elever ( ) under almindelig undervisning, eller 10,9 % af alle elever i 7. klasse, slet ikke deltog i testene. Denne beregning af manglende deltagelse i trintest skal ligesom for 3. klasse tages med betydeligt forbehold, indtil mere sikre tal for det samlede elevgrundlag foreligger, hvilket forventes i løbet af Tallene for deltagelse og frafald på 3. og 7. klasse er opsummeret i nedenstående tabel 1: 11 Mellem opgørelsestidspunktet for 1. oktober-indberetningen og afholdelse af trintest i foråret året efter kan elevtallet have ændret sig bl. a. som følge af til- eller fraflytning mellem Grønland og udlandet. Opgørelsen af andelen af elever, der ikke deltog i testene, er derfor skønsmæssig. 22

23 Tabel 1: Antal deltagende og frafald til trintest klasse Antal 3. klasse Procent 7. klasse Antal 7. klasse Procent 4 prøver ,9 3 prøver ,9 78 8,0 2 prøver 97 11,4 25 2,6 1 prøve 11 1,3 6 0,6 Ingen prøve 79 9, ,9 Elevgrundlag , ,0 Deltagelse i trintest er obligatorisk for alle elever fra normale klasser. Fritagelsesbestemmelser kan anvendes vedrørende elever, der f. eks. modtager vidtgående specialundervisning. Manglende deltagelse i trintest kan også skyldes naturlige forhold såsom sygdom. Skolerne har mulighed for at afholde trintest senere på foråret, så elever, der var forhindret i at deltage i den ordinære trintest, kan tage testen, men dette ser ikke ud til at være en udbredt praksis. 12 I perioden lå fraværsprocenten mellem 10 % og 16 % ved trintest. Denne fraværsprocent er faldet til ca. 10 % af eleverne i Det ligger dog stadig over det niveau, man ser i mange andre lande trods usikkerheden på disse størrelsesordener. De høje tal tyder på, at andre forhold end blot sygdom og andre formelle fritagelsesbestemmelser spiller en rolle for den manglende deltagelse. Om frafaldet fra testene sker efter skolens vurdering i samråd med forældrene, er desuden ikke afdækket. Det kan antages, at det specielt er fagligt svage elever, der af den ene eller anden grund ikke deltager i testene. Det er f. eks. uklart, i hvor stort omfang elever under vidtgående specialundervisning deltager i testene, eller om de friholdes fra testene. Hvis disse elever friholdes fra trintest, hvilket der dog på nuværende tidspunkt ikke kan siges noget præcist om, vil det betyde, at de resultater, der nedenfor præsenteres for løsningssikkerheden i de forskellige fag, til en vis grad vil overvurdere det reelle resultat blandt alle landets elever. I PISA-undersøgelserne udtrækkes eleverne ved lodtrækning, men efterfølgende frasorteres elever, der falder i den særlige kategori af elever, hvor man på forhånd skønner, at det er umuligt for eleven at gennemføre en test. Ved PISA-undersøgelsen fra 2009 var tallet for Danmark 8 %, hvilket var det største blandt de deltagende lande, som typisk frasorterer op til 3 % af deres elever. PISA lægger vægt på nogle klare kriterier, for at elever på forhånd ekskluderes fra at deltage i testen: Kognitive og fysiske handicaps samt (stærkt) begrænsede sproglige færdigheder, evt. at sproget anvendt i testen ikke svarer til elevens sprog. PISA sætter en normalgrænse på 2,5 % for ikke-deltagelse. Evalueringsafdelingen er fortsat opmærksom på problematikken omkring den forholdsvis høje fraværsprocent, og der er igangsat initiativer til at fremskaffe et mere systematisk billede af, hvilke elever, der ikke deltager i testene og af hvilke grunde. 12 Det skal i den forbindelse nævnes, at der er hjemmel i lovgivningen i Grønland i forhold til at friholde elever fra at deltage i testen, hvilket skal ske i samråd med forældrene. 23

24 Faktaboks: Opgørelsen af antal elever i folkeskolen. Udgangspunktet for opgørelsen af antallet af elever i folkeskolen er skolernes fælles administrationssystem TABULEX, der indeholder et særligt elevregistreringsmodul, som kaldes TEA. TABULEX/TEA er et dansk-udviklet administrationssystem, der anvendes af de fleste folkeskoler i Danmark. Systemet blev introduceret i Grønland i 2005 og anvendes nu af langt de fleste skoler her i landet, men anvendelsen og udbygningen af systemet er en løbende proces. I systemet registrerer skolerne dens indskrevne elever med navn, cpr- nummer samt en række øvrige stamoplysninger såsom adresse mv. I systemet opbevares elevernes historiske oplysninger, således at det er muligt at følge elevernes vej gennem folkeskolen, f. eks. deres skift mellem skoler. Inerisaaviks evalueringsafdeling har en on-line adgang til dette system for alle skoler. Dermed burde det principielt være muligt for Evalueringsafdelingen at danne en opgørelse af antallet af elever i folkeskolen på et givet tidspunkt. Helt så enkelt er det dog ikke på nuværende tidspunkt. For det første kræver det naturligvis, at skolerne rent faktisk anvender TABULEX/TEA løbende og systematisk. Det har vist sig ikke altid at være tilfældet, og skoler kan af forskellige grunde være bagefter med at opdatere deres elevgrundlag. Det kan særligt være et problem lige omkring starten af et nyt skoleår. Hertil kommer, at elever der midlertidigt eller permanent skifter skole, f. eks. kan registreres som udmeldt af den afgivende skole, men først med en tidsforsinkelse indskrives i den modtagende skole og i dette tidsrum vil eleven ikke fremgå af TEA. Den officielle kilde til opgørelsen af antallet af elever i folkeskolen totalt og fordelt på klasser/klassetrin er den såkaldte 1. oktober-indberetning, som skolerne årligt er forpligtet til at foretage til Inerisaavik. I denne indberetning skal alle skoler indberette det antal elever, som er indskrevet på skolen præcis den 1. oktober i det pågældende skoleår. Mange skoler anvender TEA til at danne de tal, der skal indberettes. Det er helt afgørende, at skolerne anvender 1. oktober som skæringsdato. Hvis skoler anvender en dato før eller efter den 1. oktober opstår der problemer, hvis elever skifter skole. Opgørelsen af antallet af elever har ikke betydning for analysen af trintestresultaterne, men alene betydning for opgørelsen af det antal elever, som ikke går til prøve. Inerisaavik vil prioritere arbejdet med kvalitetssikring af TEA højt i årene fremover. 6.2 Løsningssikkerhed Fagene I figur 5 er løsningssikkerheden i faget grønlandsk vist. 24

25 Lsøningssikkerhed i % Figur 5: Løsningssikkerhed i i 3. og 7. klasse klasse 7. klasse Der er fremgang at spore på både yngstetrinnet og mellemtrinnet over hele perioden For 3. klasse er løsningssikkerheden steget fra 42 % til 45 %, mens den for 7. klasse er gået op fra 56 % til 60 %. Figur 1 viser dog, at udviklingen har vekslet mellem op- og nedgang i perioden. For 3. klasserne var der en nedgang i elevresultaterne fra 2006 til 2007, hvorefter der var fremgang frem til Fra 2009 til 2010 var der igen et mindre fald. I 7. klasse var der fremgang fra 2006 til Fra 2007 til 2008 var der ingen ændringer i elevernes resultater, mens der mellem 2008 og 2010 har været tale om en tilbagegang. Det har interesse at vurdere, hvad der har drevet udviklingen i faget grønlandsk. Det kan der fås et indtryk af ved at studere nedenstående box plots, der dog af tekniske grunde kun beskriver udviklingen i perioden Udviklingen på 3. klassetrin ser ud til at være sket ved, at gruppen af svagere elever (markeret med gult) såvel som gruppen af stærkere (markeret med grønt) elever er blevet hævet i den pågældende periode. Figur 6: Box plots for faget grønlandsk i 3. klasse ,2 0,4 0,6 0,8 1 1,2 25

26 Løsningssikkerhed i % For grønlandsk i 7. klasse syntes tendensen at være den modsatte for perioden , idet både de lidt svagere såvel som de lidt stærkere elever synes at være blevet en smule svagere. Figur 7: Box plots for faget grønlandsk i 7. klasse ,2 0,4 0,6 0,8 1 1,2 Et interessant aspekt ved grønlandsk er i øvrigt den meget store niveauforskel, der er mellem løsningssikkerheden i 3. og 7. klasse, hvor niveauet for 7. klasser er markant højere end for 3. klasser. Det kan skyldes, at trintestopgaverne på 7. klassetrin er lettere i forhold til læringsmålene end på 3. klassetrin, men det kan også være en forklaring på niveauforskellen, at den faglige udvikling i faget på yngstetrinnet lader noget tilbage og først udvikles senere frem mod afslutningen af mellemtrinnet. Denne vurdering kræver, at sværhedsskalaerne for 3. og 7. klassetrin bringes til at være en sammenhængende skala. Det vil umiddelbart kræve, at der er overlap mht. opgaverne i 3. og 7. klasse. Der vil fremover arbejdes på at etablere en sådan sammenhæng. Figur 8 viser udviklingen i løsningssikkerheden i faget dansk. Figur 8: Løsningssikkerhed i i 3. og 7. klasse klasse 7. klasse

27 Løsningssikkerhed i % Løsningssikkerhed i % Der er vis fremgang at spore i 3. klasse, hvor løsningssikkerheden er gået op fra 43 % til 46 %. I 7. klasse steg løsningssikkerheden fra 57 % i 2006 til 60 % i 2007, en værdi den herefter lå på i nogle år. I 2010 er løsningssikkerheden faldet tilbage til 56 %, altså en smule under udgangspunktet i For faget dansk ses i øvrigt samme billede som i faget grønlandsk, hvor niveauet for 7. klasserne ligger markant over niveauet i 3. klasse. Her kan der formentlig gives samme forklaringer som i faget grønlandsk. I figur 9 vises udviklingen i løsningssikkerheden i faget engelsk, der kun afholdes i 7. klasse. Figur 9: Løsningssikkerhed i Engelsk i 7. klasse Heller ikke løsningssikkerheden i faget engelsk har bevæget sig specielt. Fra et niveau på 48 % i 2006 faldt det til 46 % i 2007, for herefter at rette sig til 49 % i Endelig vises løsningssikkerheden i faget matematik i figur 10. Figur 10: Løsningssikkerhed i i 3. og 7. klasse klasse 7. klasse

28 Hverken 3. klasse eller 7. klasse har vist nogen nævneværdig positiv udvikling i faget matematik. Tendensen har derimod været negativ. For 3. klasse er sikkerheden faldet en anelse fra 63 % i 2006 til 60 % i For 7. klasse er sikkerheden faldet fra 50 % i 2006 til 47 % i Box-plots for faget på de to trin fortæller noget om hvad denne udvikling dækker over. For faget på begge klassetrin tyder begge figurer på, at det specielt er gruppen af de noget stærkere elever, der er gået tilbage. Figur 11: Box-plots for faget matematik i 3. klasse ,2 0,4 0,6 0,8 1 1,2 Figur 12: Box-plots for faget matematik i 7. klasse ,2 0,4 0,6 0,8 1 1,2 Niveauet for 3. klasser ligger over niveauet i 7. klasser, helt modsat billedet for fagene grønlandsk og dansk. En forklaring kan igen være, at opgaverne i matematiktesten i 3. klasse er nemme i forhold til læringsmålene. En anden forklaring kunne være, at eleverne i yngstetrinnet er motiverede og har interesse for dette fag, men at interesse og motivation mistes i løbet af mellemtrinnet. Som i sprogfagene kræver dette, at de to skalaer for sværhedsgraden i 3. og 7. klasse kan sammenlignes på en skala. 28

29 Engelsk Sammenhænge mellem fagene I folkeskoleforordningen lægges der op til tværfagligt samarbejde. I den forbindelse er det relevant at undersøge, om elevernes præstationer i de forskellige fag følges ad. Er det sådan, at en høj løsningssikkerhed i et fag hænger sammen med en høj løsningssikkerhed i et andet fag? Hvis det er tilfældet, siger man, at præstationerne er positivt korrelerede, hvilket mere præcist udtrykkes ved den såkaldte korrelationskoefficient. 13 I figur 13 vises et eksempel på sammenhængen mellem løsningssikkerheden i faget dansk og i engelsk. Det fremgår af figuren, at der er en forholdsvis høj sammenhæng mellem præstationerne i disse to fag: Er man god til dansk, er man med stor sandsynlighed også god til engelsk. Indtrykket understøttes ved at se på værdien af korrelationskoefficienten, der er på 0,75, hvilket er den højeste værdi af korrelationskoefficienter blandt alle fag ved testene 2010, jf. tabel 2. Figur 13: Sammenhæng mellem løsningssikkerhed i og Engelsk i 7. klasse i I figur 14 vises sammenhængen mellem fagene grønlandsk og matematik i 7. klasse. 13 Korrelationskoefficienten er et statistisk beregnet tal, der kan antage alle værdier mellem -1 og +1. Værdier tæt på 0 indikerer at der ikke er nogen nævneværdig sammenhæng. Værdier tæt på -1 eller +1 markerer omvendt stærk sammenhæng, enten i negativ eller positiv retning. 29

30 Figur 14: Sammenhæng mellem løsningssikkerhed i og i 7. klasse i Her ses en mindre klar sammenhæng mellem præstationerne i de to fag, da punkterne ligger væsentligt mere spredt omkring linjen i figuren. Det indtryk understøttes da også ved at se på værdien af korrelationskoefficienten, som i dette tilfælde er på 0,43. I tabel 2 og tabel 3 er korrelationskoefficienten for alle kombinationer af fag angivet for 3. og 7. klassetrin i Korrelationsværdierne ligger faktisk ikke særligt højt mellem de fleste fag og man efterlades med et indtryk af, at forventningen om, at hvis man er god til ét fag, så er man sikkert også god til de andre fag, ikke holder helt. Tabel 2: Korrelationskoefficienten i 3. klasse i ,00 0,41 0,37 0,41 1,00 0,51 0,37 0,51 1,00 Tabel 3: Korrelationskoefficienten i 7. klasse i Engelsk 1,00 0,47 0,41 0,43 0,47 1,00 0,75 0,44 Engelsk 0,41 0,75 1,00 0,42 0,43 0,44 0,42 1,00 30

31 6.3 Løsningshastighed Udover løsningssikkerheden måles også løsningshastigheden ved trintest. Fokus har i de tidligere rapporter været rettet mod analyser af løsningssikkerheden, men ved at sammenholde sikkerhed og hastighed i elevresultaterne opstår nye interessante analysevinkler i forhold til trintest. For langt de fleste fags vedkommende er medianværdien for løsningshastigheden 100. Det betyder, at 50 % eller flere af eleverne når at se på samtlige opgaver i løbet af den tid, der er afsat til testen. Kun for fagene grønlandsk og matematik på 3. klassetrin er medianværdien mindre end 100, hvilket altså betyder, at mindre end 50 % af eleverne når alle opgaver. Tabel 4 viser et mere nuanceret billede af hastigheden blandt eleverne til trintest. Her er den langsomste tiendedel 14 og den langsomste fjerdedel 15 af eleverne angivet. F. eks ser man, at de 10 % langsomste elever i faget grønlandsk for 7. klasse kun når at se på 36 % af de stillede opgaver og i 3. klasse gælder det, at 10 % af eleverne højst når at se på 15 % af de stillede opgaver i dette fag. Tabel 4: Løsningshastigheden blandt grupper af elever til trintest i % langsomste 10 % langsomste" Engelsk 7.kl Generelt set er der ikke opgaver nok, hvis man vil fastholde at kunne skelne mellem eleverne. Hvis man ønsker at benytte løsningshastighed som en del af evalueringen, også for den hurtigste halvdel af eleverne, må antallet af opgaver i trintestene øges, således at der opnås bedre adskillelse af eleverne, da det skal være muligt at skelne mellem alle elever ved hjælp af løsningshastigheden, uanset om der er tale om en hurtig eller langsom elev. 6.4 Sammenhæng mellem løsningssikkerhed og løsningshastighed Det er almindeligt i mange standardiserede systemer, som benyttes som referencer for den praktiske prøvetagning, at man sammenholder sikkerhed og hastighed i ét system. Nedenfor vises nogle eksempler på dette. I figur 15 er sikkerheden i faget matematik i 3. klasse holdt sammen med hastigheden i samme fag for trintest i Hvert punkt repræsenterer en elevs præstationer på disse to mål. Som det fremgår er næsten alle kombinationsmuligheder repræsenteret i grafen. Det skal dog bemærkes, at der bag 14 langsomste tiendedel udgør 10 % af eleverne. 15 langsomste fjerdedel udgør 25 % af eleverne. 31

32 Sikkerhed - % Sikkerhed - % ved et enkelt punkt i grafen kan ligge én eller flere elever, således at tyngden i figuren forsvinder i de enkeltpunkter, der måtte befinde sig andre steder. Imidlertid sker dette sammenfald ikke hyppigt på grund af selve konstruktionen af værdierne for hastighed og sikkerhed. Et stort sammenfald ville også betyde, at tegningen skulle indeholde væsentlig færre punkter end de knap 700, som vides at have leveret værdier til testen. Figur 15: Sammenhæng mellem sikkerhed og hastighed i 3. klasse Hastighed - % Der ses en tendens til, at elever, der når at løse alle opgaver, præsterer alle mulige værdier af sikkerheden, mens elever med lav hastighed tilsyneladende præsterer højt på sikkerheden. Hermed tegner der sig et billede af den langsomme, men grundige elev, der svarer korrekt på de opgaver, som nås selv om de ikke er mange. I figur 16 er sammenhængen mellem sikkerhed og hastighed i faget matematik i 7. klasse opstillet. Her synes billedet endnu mere udtalt, hvor den langsomme elev er forholdsvis sikker, mens den hurtige elev præsterer alle mulige løsningsværdier. Figur 16: Sammenhæng mellem sikkerhed og hastighed i i 7. klasse i Hastighed - % 32

33 Sikkerhed - % Endelig viser figur 17 sammenhængen mellem hastighed og sikkerhed i faget grønlandsk i 7. klasse for Her tegner der sig det klassiske billede, hvor langsomme elever har lav sikkerhed og modsat, at hurtige elever har høj sikkerhed. Figur 17: Sammenhæng mellem sikkerhed og hastighed i i 7. klasse i Hastighed i % De klassiske kategorier af langsomme og usikre og hurtige og sikre elever findes ikke blandt præstationerne i de fleste grønlandske trintest, noget som vil blive taget op senere. Den umiddelbare konsekvens af en manglende eller stærkt skiftende sammenhæng mellem sikkerhed og hastighed er, at man ikke simpelt kan kategorisere elever i disse grupper. 6.5 Kommuner I figur 18 er løsningssikkerheden vist for 3. klasse i Det bemærkes for det første, at der er markante forskelle i fagligt niveau både inden for faget matematik og inden for sprogfagene mellem kommunerne. Ud over variation mellem skoler og mellem sprog er det variationen mellem kommuner, der viser de største forskelle i elevbesvarelserne i trintest. Med hensyn til faget grønlandsk er der markant forskel mellem Qeqqata Kommunia, der topper, og Kommuneqarfik Sermersooq, der ligger i bund. I faget dansk er det Kommuneqarfik Sermersooq og Qeqqata Kommunia, der har de højeste værdier for løsningssikkerhed. I faget matematik har Kommune Kujalleq den laveste løsningssikkerhed, mens Qaasuitsup Kommunia har den højeste. 33

34 Løsningssikkerhed i % Løsningssikkerhed i % Figur 18: Løsningssikkerhed pr. kommune i 3. klasse i alle trintestfag i Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia 0 I figur 19 er løsningssikkerheden vist for 7. klasse i Her er variationen inden for fagene grønlandsk og dansk størst med Qeqqata Kommunia som den kommune, der har den højeste løsningssikkerhed i faget grønlandsk og Kommuneqarfik Sermersooq med højeste løsningssikkerhed i faget dansk. Det er inden for faget matematik, de laveste løsningssikkerheder findes i 7. klasse med Qeqqata Kommunia med den laveste løsningssikkerhed. Figur 19: Løsningssikkerhed pr. kommune i 7. klasse i alle trintestfag i Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia 10 0 Engelsk 34

35 Løsningssikkerhed i % Løsningssikkerhed i % 6.6 Byer og bygder Der knytter sig en særlig interesse for at måle forskellen mellem elever fra byer og bygder. Selvom bygderne i en årrække har oplevet en tilbagegang i deres befolkningsgrundlag, bor ca. 15 % af alle landets børn dog stadigvæk i bygderne. Figur 20 og 21 viser løsningssikkerheden på 3. henholdsvis 7. klassetrin for 2010 for byer og bygder. Figur 20: Løsningssikkerhed mellem byer og bygder i alle trintestfag på 3. klassetrin i By Bygd 10 0 Figur 21: Løsningssikkerhed mellem byer og bygder i alle trintestfag på 7. klasse i By Bygd 10 0 Engelsk Eleverne i byerne klarer sig generelt bedre end eleverne i bygderne i fagene dansk og engelsk. Især i faget dansk er forskellen tydelig. I faget grønlandsk, både for 3. og 7. klasses vedkommende, gælder 35

36 Løsningssikkerhed i % Løsningssikkerhed i % det, at eleverne i bygderne klarer sig bedre end eleverne i byerne. I faget matematik ligger løsningssikkerheden i bygderne i 3. klasse på niveau med byerne, mens bygderne ligger markant over niveauet i 7. klasse i byerne. 6.7 Piger og drenge Forskelle mellem piger og drenge i forhold til læring og undervisningssystemet i det hele taget er et meget omdiskuteret emne i den internationale litteratur. Emnet har dog ikke tiltrukket megen opmærksomhed i grønlandske studier, og viden om kønsforskelle i uddannelsessystemet er meget begrænset. Figur 22 og figur 23 viser løsningssikkerheden for piger og drenge på 3. hhv. 7. klassetrin for året Figur 22: Løsningssikkerhed for piger og drenge på 3. klasse i Piger Drenge 10 0 Figur 23: Løsningssikkerhed for piger og drenge på 7. klasse i Piger Drenge 10 0 Engelsk 36

37 Løsningssikkerhed i % Løsningssikkerhed i % Det fremgår, at piger klarer sig bedre end drenge i alle fag både i 3. og i 7. klasse. Pigernes præstationer i 7. klasse er markant bedre i fagene grønlandsk og dansk. Forskellen i fagene engelsk og matematik er også i pigernes favør, men er her mindre udtalt end i de andre fag. 6.8 Sprog og præstationer På opgavernes forside har eleverne krydset af, om deres sproglige baggrund er grønlandsk, dansk eller blandet. Det fremgår at 6 % af eleverne mener at have dansk sproglig baggrund, 71 % mener at have grønlandsk sproglig baggrund og 16 % mener at have blandet sproglig baggrund. En del elever undlod at svare på spørgsmålet, måske fordi afkrydsningen ikke var tydelig og fordi formuleringen i spørgsmålet ikke var dækkende. Figur 24: Løsningssikkerhed og sproglig baggrund 3. klasse i sproglig -sprog Blandet-sprog Figur 25: Løsningssikkerhed og sproglig baggrund 7. klasse i Engelsk -sproglig -sproglig Blandet-sprog 37

38 Det er bemærkelsesværdigt, at der er markant niveauforskel mellem elever med grønlandsk og dansk sproglig baggrund. Dette er et gennemgående billede i samtlige fag og som fastholdes igennem hele forløbet, når det ses bort fra faget grønlandsk, hvor grønlandsksprogede elever ikke overraskende klarer sig bedre i forhold til rent dansksprogede elever. Dette er også bemærkelsesværdigt i betragtning af, at elever med grønlandsk sproglig baggrund udgør 71 % af samtlige elever i 3. og 7. klasse, mens elever med dansk sproglig baggrund udgør 7 % og grønlandsk-dansk baggrund 21 % i Resterende 1 % er uoplyst eller opgiver at have anden sproglig baggrund. 6.9 Fagligt stærke og svage elever Man kan ikke ud fra objektive kriterier fastlægge, hvornår man ser en god eller mindre god præstation, eller om en elev er faglig stærk eller svag. Det skyldes, at der i forbindelse med trintestene endnu ikke er taget stilling til, hvad der set fra didaktisk side skal til for at opnå en god eller dårlig præstation. Det er derfor helt op til testkonstruktører at bestemme, hvor svær en samlet test skal være ud fra samlingen af enkeltopgaver eller items, som de også kaldes. Hvis items er gennemgående svære, bliver niveauet af procent korrekte svar tilsvarende lav. Det er en erfaring, at trænede opgavekonstruktører kan styre sværhedsgraden, således at de fleste elever besvarer et sted mellem ca. 20 % og 80 % af opgaverne korrekt. Tallene 20 % og 80 % er ikke tilfældigt valgte tal, fordi de repræsenterer testpsykologiske grænser for, hvor langt ud til siderne, man i praksis bør gå. Det er international erfaring fra PISA eller TIMSS og PIRLS undersøgelserne, at man bør tilstræbe en gennemsnitlig eller median løsningssikkerhed på ca. 60 % for en test som et tilfredsstillende resultat Fagligt stærke elever Figur 26 viser, hvor mange elever i procent der klarer at besvare trintesten med en løsningssikkerhed på mere end 80 %. Under alle omstændigheder vil en sådan præstation være bemærkelsesværdig, hvis ikke opgaverne er meget lette. Elever, der klarer at besvare opgaverne med mere end 80 % rigtige, kaldes fagligt stærke elever. Figuren viser, hvor hyppigt forekommende denne kategori af elever er for året 2010, opdelt på de nye kommuner. 38

39 Hyppighed i % Hyppighed i % Figur 26: Hyppighed af fagligt stærke elever på 3. klassetrin pr. kommune i Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia 5 Qaasuitsup Kommunia 0 Det ses, at Kommuneqarfik Sermersooq har markant flere stærke elever i faget dansk i 3. klasse end de øvrige kommuner. Modsat ligger Qaasuitsup Kommunia og Kommune Kujalleq lavest i dette fag. Kommune Kujalleq har den laveste hyppighed, hvad angår fagligt stærke elever i testdisciplinerne dansk og matematik i 3. klasse, mens Qaasuitsup Kommunia og Kommuneqarfik Sermersooq ligger lavest i faget grønlandsk. I figur 27 vises hyppigheden af fagligt stærke elever på 7. klassetrin. Her skiller Kommuneqarfik Sermersooq og Qeqqata Kommunia sig markant ud i forhold til fagligt stærke elever inden for de fleste fag. Det skal understreges, at man ikke kan tage ændringen fra 3. klassetrin til 7. klassetrin som et generelt billede af, at disse kommuner udvikler deres elever markant fra yngstetrinnet til mellemtrinnet, idet der jo er tale om to forskellige læringsmål, som testes i hhv. 3. og 7. klasse. Figur 27: Hyppighed af fagligt stærke elever pr. kommune på 7. klasse i Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia 5 0 Engelsk 39

40 Hyppighed i % Hyppighed i % Fagligt svage elever I figur 28 og figur 29 vises billedet af hyppigheden af fagligt svage elever. Det er elever, som opnår løsningssikkerhed, der er lavere end 20 %. Disse elever har dermed løst mindre end en femtedel af de opgaver, der er forsøgt besvaret. Uanset en generel diskussion om gode eller mindre gode præstationer er dette kriterium en karakteristik af en præstation, som er svag. Der er her tale om et spejlbillede af figurerne med stærke elever, hvor f. eks. Kommuneqarfik Sermersooq har en relativ stor hyppighed af fagligt svage elever i faget grønlandsk. Det er også i dette fag, den største andel af fagligt svage elever i 3. klasse findes i alle kommuner. Kommuneqarfik Sermersooq er også den kommune, som ud over at have størst andel af fagligt stærke elever, også har den største andel af fagligt svage elever i faget dansk i 3. klasse. Figur 28: Hyppighed af fagligt svage elever pr. kommune på 3. klasse i Kommune Kujalleq Kommuneqar fik Sermersooq Qeqatta Kommunia Qaasuitsup Kommunia Figur 29: Hyppighed af fagligt svage elever pr. kommune på 7. klasse i Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia 0 Engelsk 40

41 Den relative største andel af fagligt svage elever findes i Kommune Kujalleq i alle trintestfag i 7. klasse. Kommuneqarfik Sermersooq har også relativ stor andel af disse elever i faget matematik. Qaasuitsup Kommunea er den kommune med lavest andel af fagligt svage elever i alle trintest fag på mellemtrinnet Eliteelever Ved siden af eller over de fagligt stærke elever findes en kategori af elever, der øjensynligt kan det hele. Ud fra en vurdering af løsningssikkerheden, som ligger over 90 % kan man optælle, hvor hyppigt kategorien forekommer og i hvilke skoler præstationerne observeres. Tabel 5 angiver de 313 elitepræstationers sproglige baggrund og tilsvarende kontrastgruppen ikkeelitepræstationers sproglige baggrund i Tabel 6. Det er tydeligt ved sammenligning mellem de to tabeller, at gruppen blandet og dansk sproglig baggrund til sammen vejer tungere i gruppen af elitepræstationer med 55 % i forhold til gruppen af ikke-elitepræstationer, hvor procentandelen i alt er på 20 %, når man ser på den totale fordeling af elitepræstationer. Billedet nuanceres lidt, hvis man ser på de enkelte fag, men hovedtendensen er fastlagt af totalen. Tabel 5: Den sproglige baggrund for elitepræstationerne i Antal og i procent. 3. kl 7. kl 3. kl Fag og klasse 7. kl Engelsk 7. kl 3. kl 7. kl Total i antal I procent Blandet % % % Uoplyst % Total % Tabel 6: Den sproglige baggrund for ikke-elitepræstationerne i Antal og i procent. 3. kl 7. kl 3. kl Fag og klasse 7. kl Engelsk 7. kl 3. kl 7. kl Total i antal I procent Blandet % % % Uoplyst % Total % 41

42 7. Tema: Dynamiske analyser af trintestresultaterne I forbindelse med trintest i 2010 blev der indsamlet en række observationer, som ud over at beregne elevernes standpunkt i dette år kan benyttes til at studere den individuelle udvikling hos eleverne. I dette år blev det nemlig muligt at analysere elevresultater over tid, da mange elever, der blev testet i 2006 i forbindelse med Main Study på yngstetrinnet, igen blev testet på mellemtrinnet i Desuden er der mange elever, som blev testet i 2007 som mellemtrinselever og som er registreret igen i 2010 med 10. klasses afgangsresultater. De muligheder, der nu er til stede for dynamiske analyser 16, er vist i figur 30. Figur 30: Dynamiske overgange mellem trin og folkeskolens afgangsprøve. Det er nu blevet muligt at følge elevernes trintestresultater i fagene grønlandsk, dansk og matematik i 3. klasse i 2006 og frem til trintestene i 7. klasse i de samme fag i Det er også muligt at følge elever i de samme fag fra 7. klasse i 2007 frem til deres aflæggelse af 10. klasses afgangsprøve i Ved trintestene i 3. klasse og 7. klasse er der adgang til at analysere elevernes besvarelser på to niveauer. Det første niveau er det normative niveau, som består i at analysere elevens besvarelser, der er registreret som korrekt eller ikke-korrekt. Her beregnes en elev-score for antallet af rigtige besvarelser eventuelt omregnet til procent rigtige efter de retningslinjer, som er beskrevet tidligere. 17 De dynamiske analyser går i dette tilfælde ud på at undersøge, om eleven har ændret sit 16 Begrebet dynamiske analyser anvendes til at betegne analyser af en udvikling af elevernes resultater over tid, mens statiske analyser betegner analyser af elevernes resultater på et givent tidspunkt. 17 Se f. eks. Kapitel 4 om metode, hvor beregning af procent rigtige svar ud fra antallet af rigtige besvarelser sat i relation til antallet af opgaver, som eleven har nået at se på, bliver beskrevet. 42

43 7. klasse præstationsniveau eller har bevaret sit faglige færdighedsniveau i sammenligning med de andre elever evt. i relation til en norm, der er fælles for alle elever i folkeskolen. Analyserne kan evt. suppleres med analyser af elevens løsningshastighed, som er den anden komponent i den normative opgørelse af elevens præstation. Inddragelse af løsningshastighed i de dynamiske analyser sker dog ikke i denne rapport. Det er vigtigt at være opmærksom på, at normative analyser kun ser på elevernes indbyrdes eller relative placering. At elever over tid skifter plads fra f. eks. at tilhøre de bedre elever til at være blandt de dårligere, behøver ikke nødvendigvis at betyde,at de absolut set er blevet fagligt dårligere og har mistet færdigheder, selvom det kan være tilfældet. Det kan nemlig også betyde, at elever omkring dem er blevet relativt bedre. Det andet niveau er det didaktiske niveau, som består i, at man noterer selve indholdet af elevens besvarelse. I tilfælde af multiple choice opgaver 18 går dette ud på at notere præcis, hvilken svarmulighed eleven faktisk har valgt som svar uanset om det er rigtigt eller ej. Ved at sammenholde elevens faktiske svar på flere opgaver, kan der opnås en forståelse af elevens styrker og svagheder vurderet på et didaktisk niveau set i relation til læringsmålene for faget. Det giver læreren et betydeligt mere detaljeret billede af elevernes forståelse af faget og er dermed et grundlag for at ændre på undervisningen, som passer godt ind i den løbende evaluering af eleverne. 7.1 Normative sammenligninger De dynamiske sammenligninger og analyser på det normative niveau består i at sammenholde elevscores fra to forskellige evalueringer. Elev-scores fra trintest 2006 i 3. klasse i fagene grønlandsk, dansk og matematik sammenlignes i denne rapport med elev-scores fra trintest 2010 i 7. klasse, elev for elev, idet tallene er bundet sammen via elevernes cpr-nummer. Relationerne gengives grafisk i figurerne nedenfor. Figur 31: Sammenhæng mellem elevpræstationer i 3. og 7. klasse. 1 0,8 0,6 0,4 0, ,2 0,4 0,6 0, klasse 18 Opgaver med faste svarmuligheder, som eleven skal vælge imellem, ofte fire muligheder. 43

44 7. klasse 7. klasse Figur 32: Sammenhæng mellem elevpræstationer i 3. og 7. klasse. 1 0,8 0,6 0,4 0, ,2 0,4 0,6 0, klasse Figur 33: Sammenhæng mellem elevpræstationer i 3. og 7. klasse. 1 0,8 0,6 0,4 0, ,2 0,4 0,6 0, klasse Der dannes fire felter ved hjælp af de to røde linjer for landsnormtallene i hver af de tre grafer. Kategorierne under landsnormen og over landsnormen giver nogle karakteriseringer for hver elev: 1. at være under landsnorm i 2006 og under landsnorm i 2010 (nederst venstre hjørne) 2. at være over landsnorm i 2006 og under landsnorm i 2010 (nederst højre hjørne) 3. at være over landsnorm i 2006 og over landsnorm i 2010 (øverste højre hjørne) 4. at være under landsnorm i 2006 og over landsnorm i 2010 (øverste venstre hjørne) Man kan sige at især eleverne i gruppe 2 og 4 påkalder sig interesse, fordi disse elever viser en negativ henholdsvis positiv dynamisk udvikling fra 2006 til Det faktum at der er relativt mange elever i netop disse to kategorier viser, at korrelationen mellem 2006-trintest resultater og 2010-trintest resultater ikke er høj. 44

45 Numerisk kan der beregnes graden af overensstemmelse mellem målingerne i 3. klasse og 7. klasse via en simpel korrelationskoefficient. 19 Beregningerne viser, at korrelationerne er 0,34 i faget grønlandsk, 0,51 i dansk og 0,39 i matematik. Der er altså tale om en betydelig ændring af elevernes indbyrdes placering fra 2006 til 2010, selv om de ekstremt svage eller ekstremt dygtige elever i 2006 vil være at finde på samme pladser i Men for mange elever sker der en forandring i deres normative placering fra 3. klasse til 7. klasse. Størst forudsigelighed mht. til den dynamiske udvikling gælder for faget dansk, hvor et velkendt mønster god før god nu, svag før - svag nu er synlig. De dynamiske analyser kan også studeres ved at sammenholde præstationer fra de samme elever ved 7. klasses trintest med 10. klasses afgangseksamen. Dette er gjort for faget matematik ved trintesten og matematik i færdighedsregning ved 10. klasse vurderet ved 7-trins karakterskala. Ved 10. klasses afgangseksamen er der valgmulighed mellem flere prøveresultater i faget matematik 20, men skriftlig færdighedsregning er valgt, fordi dette fagligt set bedst kan sammenlignes med trintestresultaterne i 7. klasse. Korrelationskoefficienten 0,39 mellem 3. klasse og 7. klasse i faget matematik kan sammenlignes med det tilsvarende tal for graden af overensstemmelse mellem resultaterne mellem 7. klasse og 10. klasse. Det kendte mønstre god før god nu og svag før svag nu er tydeligere ved overgangen fra 7. klasse til 10. klasse sammenlignet med overgangen fra 3. klasse til 7. klasse. Man kan karakterisere dette træk ved de dynamiske analyser inden for matematik som en påpegning af, at det er ved overgangen fra 3. til 7. klasse der sker noget, nemlig at elever går op eller ned, mens tingene ligger mere fast ved overgangen fra 7. til 10. klasse. Der flyttes ikke så meget rundt på elevernes niveau af præstationer efter 7. klasse. I tabel 7 er grænserne for kategorierne God, Middel, og Svag sat sådan, at der for afgangsprøvens vedkommende benyttes karaktererne 2 og 7 som delepunkter mellem de tre kategorier. For trintestvurderingen benyttes 40 % og 70 % procent rigtige ved løsningen af opgaverne, som grænser mellem de tre kategorier. Det fremgår, at 55 % af eleverne bevarer deres position fra trintestvurderingen til afgangsprøvevurderingen 21. Der er 108 elever (20 %), som går fra en position som en Middel ved trintest til en Svag position ved afgangsprøven, mens der kun er 8 elever går fra God til Svag. 19 Spearman s korrelation. 20 mundlig/skriftlig, færdighedsregning/ problemregning, årskarakter/ prøvekarakter. 21 Dvs. God God, Middel Middel og Svag Svag : (( )/539*100 = 55 %). 45

46 Tabel 7: Overgange mellem 7. og 10. klasse i Afgangsprøve/Trintest God Middel Svag I alt God Middel Svag I alt Formative sammenligninger I de normative sammenligninger ses der på, hvordan elevernes indbyrdes placering udvikler sig over tid. Det siger imidlertid ikke noget om, hvordan elevernes faglige udvikling er. Formålet med de formative sammenligninger er derimod at se på, hvordan eleverne rent didaktisk udvikler sig. Der er i modsætning til de normative sammenligninger tale om mere komplicerede analyser, idet læringsmål og elevernes generelle færdigheder udvikler sig over tid. I de følgende bringes to eksempler på sådanne formative analyser Eksempel 1 Nedenfor vises tre opgaver fra trintesten i matematik i 7. klasse i Figur 34: Opgave 5, 6 og 7 i matematik i 7. klasses trintest i De to første opgaver er ret simple fratrækningsopgaver 22, mens den sidste er lidt mere kompliceret ved, at der opereres med at låne. De overordnede tal for procent rigtige var på 56 %, 56 % og 48 %, der støtter antagelsen om, at den sidste opgave er den sværeste. Men hvad gemmer sig bag ved de forkerte svar også når man ser på alle tre opgaver på én gang? Det viser sig, at der var mange forskellige kombinationer af svar fra de elever, der løste opgaverne. Dog er det bemærkelsesværdigt, at ingen var i stand til at løse alle opgaver rigtigt. 22 lodret fratrækning. 46

47 De fleste elever, 219 i alt, har svaret korrekt på opgave 5 og 6 ved at svare 14 og 43, men har fået resultatet 22 på opgave 7. Denne gruppe kan klare den simpleste form for subtraktion, men går galt af, at der er en bestemt algoritme, man skal følge, når det er nødvendigt at låne. Det er en ganske stor gruppe af elever, der bare trækker fra i begge talkolonner og ikke registrerer, at når 8 skal trækkes fra 6, så bliver resultatet ikke 2. Der er øjensynligt ingen elever, der har alle tre opgaver rigtige. Der blev i sommeren 2010 indsamlet resultater fra alle elever i matematik, som gik op til 10. klasses afgangsprøve. Prøven i faget bestod af færdighedsregning og problemregning. Ud over at registrere opgave for opgave om besvarelsen er korrekt eller ej, blev det faktiske svar på opgaven noteret. To af disse opgaver lå inden for samme matematiske område simpel talbehandling som opgaverne 5, 6 og 7 i trintesten oven for. De overordnede tal for korrekt besvarelse var 77 % for opgave 1 og 80 % for opgave 2. Der var altså tale om relativt lette opgaver på 10. klasses afgangsniveau, som det er muligt at sammenligne med 7. klasses niveau. Der var 296 elever, eller ca. 58 %, som har begge opgaver korrekt besvaret. Som et eksempel på dynamiske analyser på det didaktiske niveau kan man sammenholde elevsvar på en bestemt opgave i trintest i 7. klasse med samme elevs besvarelse af en bestemt opgave ved 10. klasses afgangsprøve. 23 Ved 10. klasses afgangsprøve var i alt 409 elever, som besvarede opgave 2 korrekt. De demonstrerede en viden om at låne ved subtraktion, og de kunne anvende den. Blandt dem var der ved 7. klasses trintest 96 elever, knap 25 %, som oprindeligt lavede låne-fejl-typen, og som kom frem til rigtigt svar ved opgave 7. De har altså lært noget i mellemtiden. Der var imidlertid 332 elever, som ved trintesten svarede 18, som er det korrekte svar. Blandt dem var der kun 6 elever (2 %), som svarede 662 på afgangsprøvens opgave 2 og dermed demonstrerede, at de i mellemtiden fra trintesten til afgangsprøven har glemt, hvordan man låner. Eksemplet viser, at elever heldigvis kan lære og fastholde det, de har lært. Men eksemplet viser lidt overraskende, at elever også kan tabe den viden, de har oparbejdet. Det kunne tyde på, at disse elever ikke har øvet eller trænet i færdigheder. Eksemplet viser altså med al tydelighed vigtigheden af, at øvelse i allerede lærte færdigheder er vigtigt Eksempel 2 Et andet eksempel fra de dynamiske analyser på et didaktisk niveau gives ved hjælp af besvarelserne på to opgaver, nr. 13 og nr. 14 i færdighedsregning. Her skal eleven løse simple 1. grads ligninger med én ubekendt. 23 nr. 7 ved 7. klasse i trintest og nr. 2 i færdighedsregning i 10. klasse. 47

48 Figur 35: Opgave med simpel ligning af 1. grad i 10. klasses afgangsprøve, færdighedsregning i I opgaveheftet fra 7. klasses trintest, som eleverne deltog i 4 år tidligere, fandtes der to opgaver, nr. 29 og nr. 30. Som det ses, drejer dette sig også om at løse en simpel 1. gradsligning med én ubekendt. Figur 36: Opgave nr. 29 og nr. 30 i matematik i 7. klasses trintest i Vurderet ud fra faglige kriterier ser det ud til, at opgaverne i 10. klasse ligger på samme sværhedsniveau som opgaverne i 7. klasse. Ser man dernæst på besvarelserne ud fra den overordnede vurdering, om de er korrekt besvarede eller ej, finder man i tabel 8, at især udfordringen i trintestopgave nr. 29, hvor en del af løsningen består i at kunne dividere 39 med 3, ikke lykkes for ret mange. Denne grundlæggede færdighed mht. division synes at være bedre på plads i både opgave 13 og 14 i 10. klasses opgaverne, selv om det registreres, at ca. halvdelen af eleverne ikke kan klare at løse opgaverne korrekt. Tabel 8: Svarmønstre på opgaver i 7. klasse og 10. klasse Procent rigtige Færdighedsregning Opgave nr. 13 Færdighedsregning Opgave nr. 14 Trintest Opgave nr. 29 Trintest Opgave nr. 30 % rigtige 50 % 45 % 10 % 51 % Antal