Analyser og resultater af Trintest 2012 i den grønlandske folkeskole

Transkript

1 Analyser og resultater af Trintest 2012 i den grønlandske folkeskole Institut for Læring Inerisaavik Naliliisarfik Marts 2014

2 Analyser og resultater af trintest 2012 i den grønlandske folkeskole Institut for Læring Inerisaavik 2014 Forfattere: Peter Allerup, Ellen J. Karlsen, Esekias Therkelsen og Carsten Petersen Layout og grafik: Institut for Læring Inerisaavik Tryk: Institut for Læring Inerisaavik Oplag: udgave, 1. oplag ISBN: ISSN: Bestillingsnummer:

3 Indhold Figurliste... 4 Tabelliste... 5 Faktaboks Forord Resume og læsevejledning Indledning Metode Fortolkning af resultaterne Værdier af løsningssikkerhed Anvendelse af resultater til vurdering af en skoles resultater Hovedresultater Antallet af elever til trintest Løsningssikkerhed Fagene Sammenhænge mellem fagene Løsningshastighed Sammenhæng mellem løsningssikkerhed og løsningshastighed Kommuner Byer og bygder By og bygd over tid Piger og drenge Piger og drenge over tid Sproglig baggrund og præstationer Fagligt stærke og svage elever Fagligt stærke elever Fagligt svage elever Dynamiske sammenhænge og overgange mellem de forskellige trin Aspekter af etabl ering af en præstationsskala for trintest i Grønland Indledning Rammer for et evalueringsdesign Grundlæggende evalueringsrammer Læringsmål Hvordan evalueres der? Måling af løsningssikkerhed og løsningshastighed Etablering af en præstationsskala en pragmatisk tilgang Internationale målinger som grundlag for en præstationsskala Afrunding Afslutning Referencer Bilag

4 Figurliste: Figur 1: Fordelingen af løsningssikkerhed i dansk i 7. klasse i Figur 2: Fordelingen af løsningshastighed i faget dansk i 7. klasse i Figur 3: Sammenligning af en skoles resultater for 7. klasse i 2012 med kommune og land Figur 4: Antal elever til trintest i 3. klasse i perioden Figur 5: Antal elever til trintest i 7. klasse i perioden Figur 6: Løsningssikkerhed i faget grønlandsk i 3. klasse Figur 7: Løsningssikkerhed i faget grønlandsk i 7. klasse Figur 8: Box-plots for faget grønlandsk i 3. klasse Figur 9: Box-plots for faget grønlandsk i 7. klasse Figur 10: Løsningssikkerhed i faget dansk i 3. klasse Figur 11: Løsningssikkerhed i faget dansk i 7. klasse Figur 12: Box-plots for faget dansk i 3. klasse Figur 13: Box-plots for faget dansk i 7. klasse Figur 14: Løsningssikkerhed i faget engelsk i 7. klasse Figur 15: Box-plots for faget engelsk i 7. klasse Figur 16: Løsningssikkerhed i faget matematik i 3. klasse Figur 17: Box-plots for faget matematik i 3. klasse Figur 18: Løsningssikkerhed i faget matematik i 7. klasse Figur 19: Box-plots for faget matematik i 7. klasse Figur 20: Sammenhæng mellem løsningssikkerhed i fagene dansk og engelsk i 7. klasse i Figur 21: Sammenhæng mellem løsningssikkerhed i fagene grønlandsk og matematik i 7. klasse i Figur 22: Sammenh. mellem løsningssikkerhed og løsningshastighed i faget matematik i 3. klasse i Figur 23: Sammenh. mellem løsningssikkerhed og løsningshastighed i faget matematik i 7. klasse i Figur 24: Sammenh. mellem løsningssikkerhed og løsningshastighed i faget grønlandsk i 7. klasse i Figur 25: Løsningssikkerhed pr. kommune i 3. klasse i alle trintestfag i Figur 26: Løsningssikkerhed pr. kommune i 7. klasse i alle trintestfag i Figur 27: Løsningssikkerhed mellem byer og bygder i alle trintestfag i 3. klasse i Figur 28: Løsningssikkerhed mellem byer og bygder i alle trintestfag i 7. klasse i Figur 29: Forskellen mellem elevernes resultater i trintest over tid i byer og bygder - 3. klasse Figur 30: Forskellen mellem elevernes resultater i trintest i byer og bygder - 7. klasse Figur 31: Løsningssikkerhed for piger og drenge i 3. klasse i Figur 32: Løsningssikkerhed for piger og drenge i 7. klasse i Figur 33: Forskellen mellem pigernes og drengenes resultater i trintest - 3. klasse Figur 34: Forskellen mellem pigernes og drengenes resultater i trintest - 7. klasse Figur 35: Løsningssikkerhed og sproglig baggrund - 3. klasse i Figur 36: Løsningssikkerhed og sproglig baggrund - 7. klasse i Figur 37: Hyppighed af fagligt stærke elever i 3. klasse pr. kommune i Figur 38: Hyppighed af fagligt stærke elever i 7. klasse pr. kommune i Figur 39: Hyppighed af fagligt svage elever i 3. klasse pr. kommune i Figur 40: Hyppighed af fagligt svage elever i 7. klasse pr. kommune i Figur 41: Overgange mellem trin Figur 42: Sammenhæng mellem elevpræstationer i faget grønlandsk i 3. og 7. klasse i Figur 43: Sammenhæng mellem elevpræstationer i faget dansk i 3. og 7. klasse i Figur 44: Sammenhæng mellem elevpræstationer i faget matematik i 3. og 7. klasse i Figur 45: Eksempel på en opgave fra PISA Figur 46: Relationen mellem løsningssikkerhed og løsningshastighed i klasse 3.a Figur 47: To grafer over fordelingen af løsningshastighed Figur 48: To grafer over fordelingen af løsningssikkerhed Figur 49: Eksempel på en skoles placering i faget dansk i forhold til hele landet

5 Tabelliste: Tabel 1: Eksempel på trintestresultater på mellemtrinnet fra en skole Tabel 2: Antal deltagende elever og fravær til Trintest Tabel 3: Korrelationskoefficienten mellem fag i 3. klasse i Tabel 4: Korrelationskoefficienten mellem fag i 7. klasse i Tabel 5: Overgange mellem 7. og 10. klasse i faget matematik Tabel 6: Beskrivelse af læringsmål i Curriculum baserede opgaver Tabel 7: Elevernes resultater opgjort på løsningshastighed og løsningssikkerhed Tabel 8: Krydstabel mellem løsningssikkerhed og løsningshastighed i klasse 3.a Tabel 9: Krydstabel mellem løsningssikkerhed og løsningshastighed i klasse 3.b Tabel 10: Sammenligning af resultater fra klasse 3.a og klasse 3.b Tabel 11: Omsætningstabel for elevresultater i Danmark Tabel 12: Forskel mellem grænser anvendt ved Box-plot og 7-trinsskala Faktaboks: Faktaboks 1: Beregning af elevens score Faktaboks 2: Nøgletal for en statistisk fordeling Faktaboks 3: Mål for spredningen i en statistisk fordeling Faktaboks 4: Eksempler på didaktisk anvendelse af testsvar Faktaboks 5: Opgørelse af antal elever i folkeskolen Faktaboks 6: Elever under vidtgående specialundervisning til trintest Faktaboks 7: Eksempler på beregning af elevens løsningssikkerhed Faktaboks 8: En konkret anvendelse af sikkerhed og hastighed

6 1. Forord Denne rapport præsenterer resultaterne fra de trintest, der blev afholdt i foråret Samtidig vurderes elevernes præstationer i forhold til de fire foregående år, der er blevet afholdt trintest i, nemlig årene Af hensyn til overskueligheden af de grafiske illustrationer præsenteres data kun fra de sidste fem år i rapportens figurer og tabeller. I bilagstabellerne vil man dog finde data tilbage til 2007, hvor de første trintest blev afholdt. I nogle bilagstabeller er resultater fra Main Study i 2006 også taget med. Der foreligger nu en længere dataserie, der dermed gør det muligt at komme med mere sikre vurderinger af den faglige progression i de forskellige fag. Data inddateres på en sådan måde, at det bliver muligt at komme med vurderinger af forskellige aspekter af resultaterne i trintest. Det er forhåbningen, at de beskrivende opgørelser og sammenligninger kan danne udgangspunkt for fremtidig forskning på området og til en dybere forståelse af forskellene og dermed lede frem mod konkrete og praktiske tiltag, som vil gavne folkeskolen. Vi er glade for at disse muligheder er til stede, og bemærker samtidigt, at vi har sådanne muligheder for at lave analyser af folkeskolen. I denne trintestrapport gøres der nu mere ud af at beskrive variationen i data, fremfor kun at fokusere på, hvordan data samles omkring medianværdien. Det sker vha. af en grafisk metode som benævnes et Box-plot, og som bliver anvendt i samtlige fagvise oversigter af resultater i Kapitel 6. Det er Inerisaaviks opfattelse, at en beskrivelse af variationen i elevernes besvarelser giver et mere nuanceret billede af udviklingen i fagenes didaktiske udvikling. Inerisaavik lægger megen vægt på, at resultaterne fra trintestene gøres tilgængeligt i elektronisk form via databaserne på Inerisaaviks hjemmeside og således, at der er ensartet fremstilling af data mellem rapportens tal og de tal, der kan hentes fra databaserne. Indtil videre må data, som offentliggøres i disse trintestrapporter, betragtes som mere pålidelige end de data, som kan hentes fra databasen. Dermed opstår der ikke uenighed om, hvilke data der er gældende. Inerisaavik lægger samtidig vægt på, at trintestrapporterne er baseret på forskning, der kan komme mange til gavn. Derfor har vi i de seneste rapporter haft et temakapitel, der har haft fokus på et særligt område. I denne rapport sættes fokus på, hvordan der eventuelt kunne etableres nationale pædagogiske normer til trintest i form af en såkaldt præstationsskala, altså en skala som eleverne kan vurderes ud fra. Som det vil fremgå af Kapitel 8 er det ikke uden problemer at etablere en sådan skala, hvis den vel at mærke skal være retvisende og fair. Det er Inerisaaviks håb, at temaafsnittet kan skabe debat omkring den fremtidige udvikling af evalueringskulturen i vores folkeskole. Formålet med at etablere en præstationsskala til yngste- og til mellemtrinnet er ikke at indføre en karakterskala i disse trin, men at udvikle et redskab så skolernes og lærernes evalueringer af elevpræstationerne ved trintest bliver nemmere og mere ensartet. Analyser af resultater i Kapitel 6 viser, at der finder en faglig udvikling sted over år i flere trintestfag i de yngste klasser i folkeskolen. Selv om resultaterne i flere fag ligger under middel niveau, finder der en glædelig udvikling sted i elevernes præstationer, som gøres op og følges. Dermed sættes der ikke kun fokus på resultaterne, men også på udviklingen over år. God læselyst. 6

7 2. Resume og læsevejledning I foråret 2012 blev der igen afholdt trintest på 3. og 7. klasse. Efter den gældende evalueringsbekendtgørelse for folkeskolen skal der hvert år afholdes trintest i fagene grønlandsk, dansk og matematik i 3. klasse og i 7. klasse afholdes test i de samme fag samt i faget engelsk. Det var sjette år i træk, at der blev afholdt egentlige landsdækkende trintest efter tredje og sidste afprøvning i Arbejdet med udvikling af trintest til folkeskolen er beskrevet i tidligere trintestrapporter. Trintestene er udviklet således, at opgaver og spørgsmål også kaldet items opfylder de psykometriske krav, der sædvanligvis er opfyldt i internationale test af denne type. Det er en forudsætning for, at elevernes præstationer kan måles og sammenlignes ved et enkelt mål for antal rigtigt løste opgaver. Ved opgørelse og analyser af resultaterne ses der først og fremmest på antal rigtige besvarelser i form af løsningssikkerhed. Ligeledes ses der også på den tid, eleverne har brugt på at løse opgaverne, dvs. løsningshastighed. Udover disse mål præsenteres også mål for, hvor stor variation der er omkring løsningssikkerheden. Denne variation illustreres ved hjælp af Box-plots, som på en overskuelig måde sammenfatter megen information om variationen i løsningssikkerhed. Se mere herom i kapitel 4: Metode og Kapitel 5: Fortolkning af resultaterne. Efter afholdelsen af Trintest 2012 foreligger der efterhånden data for så mange år, at man begynder at kunne drage mere sikre statistiske konklusioner om tendenser og mønstre og i den forbindelse opstår der nye analysemåder af elevernes besvarelser. Trintestdatabasens egenskaber undersøges til stadighed og med det forbehold drages der følgende konklusioner for året 2012 med sammenligninger for perioden : Antallet af elever, der ikke deltog i trintest i 2012 skønnes at ligge på knap 10% af det samlede elevgrundlag på begge trin. Det konstateres, at fraværsprocenten er faldet betragteligt i 7. klasse, men er steget igen en smule for elever i 3. klasse. I 2011 var fraværsprocenten 6,3% i 3. klasse og 18,8% i 7. klasse. Fraværsprocenten er noget højere ved afholdelsen af trintest her i landet sammenlignet med TIMSS- og PISA-undersøgelserne, hvor det accepterede fraværsprocent ligger på 5%, men alt i alt konstateres det dog, at der har været et markant fald siden den første nationale trintest i 2007, hvilket tyder på, at trintest er ved at blive en rutine for skolerne som også har betydning for den daglige undervisning. Løsningssikkerheden i fagene på landsplan er opgjort for 2012 med sammenligninger for perioden efter de metoder, som er beskrevet i Kapitel 4 og i Kapitel 5 med følgende konklusioner: 1. Grønlandsk i 3. klasse viser et faglig niveau under middelpræstation. Løsningssikkerheden var på 40% i 2008 og 47% i Denne udvikling viser dog, at løsningssikkerheden i 3. klasse er gået markant frem i perioden. Niveauet i 7. klasse er i en stor del af perioden i den pæne del og over en middelpræstation med løsningssikkerhed mellem 60% og 64%. Tendensen har været negativt i 7. klasse i perioden , men blev erstattet af en fremgang både i 2011 og i

8 2. i 3. klasse viser et faglig niveau under middel med præstationer mellem 44% og 50% i perioden Ligesom i faget grønlandsk i yngstetrinnet har der dog været markant fremgang i faget, hvor løsningssikkerheden er gået markant op fra 44% i 2008 til 52% i klasse har en pæn middel løsningssikkerhed, som har ligget stabilt omkring 60% i hele perioden, dog med en mindre fald i 2010 og en fremgang til 61% i 2011 og 59% i Siden trintest blev indført i 2007 har forskellen mellem bygdeelever og byelever i dette fag været tydelig, dog er denne forskel blevet mindre med tiden i begge trin og i 2012 har elever i 3. klasse i bygder første gang opnået bedre resultater end tilsvarende byelever i dette fag. 3. Engelsk udviser stabil fremgang over hele perioden. Det faglige niveau har været under middel de fleste år med løsningssikkerhed på 49% i alle årene , dog er de faglige præstationer kommet op på middel niveau både i 2011 og i 2012 med en løsningssikkerhed på 54% begge år. 4. i 3. klasse har ligget på et pænt og over middel niveau med 62% i 2008 og 60% i Præstationerne i 3. klasse er gået pænt frem til 65% i 2011 og 64% i I 7. klasse ligger præstationerne til gengæld under middel niveau i hele perioden med 50% i 2008 og 47% i Der har således været tilbagegang i dette fag i hele denne periode i 7. klasse. Løsningshastigheden er meget høj for de fleste fag, hvilket lige nu gør det vanskeligt at adskille eleverne på denne faktor. Det kan tyde på, at antallet af opgaver i opgavesættene er for lille. Der vil til stadighed være fokus på denne faktor fremover. En af de største forskelle i løsningssikkerhed i trintest ligger i de kommunale forskelle. Det gælder først og fremmest for fagene grønlandsk og dansk, mens forskellen er mindre udtalt i matematik og engelsk. Den sproglige baggrund spiller også en stor rolle for præstationerne i trintest. Elever med en dansk eller blandet sproglig baggrund klarer sig generelt bedre i fagene dansk, engelsk og matematik, mens den største andel af eleverne, som har grønlandsk sproglig baggrund og som udgør ca. 70% af hele elevmassen i begge trin, har klart lavere præstationer i disse fag. Elever fra byskoler har i de tidligere år været bedre i faget dansk end elever fra bygdeskoler. Dette mønster er dog skiftet i 2012, hvor bygdeeleverne har klaret sig bedre, men om dette mønster vil fortsætte vil tallene i de kommende rapporter vise. Det ses fortsat, at elever fra bygdeskoler er bedre i faget grønlandsk end elever fra byskoler. Der er ikke stor forskel i faget engelsk, dog er elever i byskoler en anelse bedre. I faget matematik er bygdeelever ligeså gode som byelever i 3. klasse, men bedre i 7. klasse. Piger præsterer bedre end drenge i alle fag både i 3. og i 7. klasse, bortset fra at drenge i 3. klasse har lidt bedre præstationer i matematik. 8

9 Elever, der gik til trintest i 3. klasse i 2008, aflagde for en stor dels vedkommende trintest i 7. klasse i 2012, ligesom mange elever, der aflagde trintest i 7. klasse i 2008, gik til folkeskolens afgangsprøver i 10. klasse i Derved opstår muligheden for at undersøge, hvordan elevernes indbyrdes placering har forskudt. Denne type af dynamisk analyse blev introduceret i temaartiklen i Trintestrapport 2010 og er nu blevet til en fast bestanddel af de kommende års rapporter, da det er vigtigt at følge dette mønster over tid. Resultaterne i 2012 ligner sidste års resultater: der er megen dynamik blandt eleverne fra 3. til 7. klasse i alle fag. Til gengæld ses der en tendens til, at billedet fryser fra 7. til 10. klasse, forstået således at eleverne fastholder deres relative placering som dygtige eller svage elever fra 7. klasse til afgangsprøverne i 10. klasse. Se mere herom i Kapitel 7. Som i de foregående trintestrapporter indeholder denne rapport også en temaartikel, der går i dybden med et særligt emne. Emnet for denne rapports temaartikel er aspekter af etablering af en præstationsskala, dvs. en skala der kan anvendes i skolerne til at vurdere elevernes præstationer. Temakapitlet viser, at det ikke er uden problemer at lave en sådan skala, men der gives et bud på, hvordan den kunne etableres. Se mere herom i Kapitel 8. Kapitel 9 indeholder et afsluttende afsnit, mens man kan læse om de referencer, der er anvendt ved udarbejdelsen af denne rapport i Kapitel 10. Ind til videre angives referencer ved udarbejdelsen af trintestrapporterne overvejende kun i en kapitel for sig og ikke som egentlige kildehenvisninger inde i teksten. I takt med at temaartikler bliver en fast del af trintestrapporterne fremover vil det være naturligt at opgive egentlige kildehenvisninger inde i teksten, så rapporternes troværdighed kan øges, ligesom læserne også kan gå direkte til de anvendte kilder, også i metodeafsnittet. Kapitel 11 indeholder bilagstabeller og figurer, der for land, kommuner og skoler dokumenterer tallene for trintestene 2006/

10 3. Indledning Begrebet evalueringskultur er tidens mantra i politik, forvaltning og inden for forskning til at beskrive og vurdere et procesforløb og graden af målopfyldelse i forbindelse med igangsatte projekter. Det er et paradigmeskift og en ændring, efter man i perioden fra 1970 havde megen fokus på ledelses- og organisationskulturer, som senere førte til et ønske om at sætte særlig fokus på effekten af de projekter og interventioner man igangsatte. Der blev bl.a. udtrykt et stadig større behov for evalueringer i forbindelse med et ønske om mere målstyring i politik, i den offentlige forvaltning og i den private sektor, da evalueringer kan være et vigtigt styringsredskab ved vurdering af grad af opfyldelse af formulerede mål, og efterfølgende benyttes i et udviklingsarbejde og i beslutningsprocesser (Sverdrup 2002:11). Folkeskolen er på ingen måde en undtagelse fra denne udvikling. Også i Grønland har dette skift sat sine spor meget tidligt. I 1994 blev en ny evalueringsbekendtgørelse introduceret i folkeskolen og siden har både formative og summative evalueringsformer blevet indført i forbindelse med folkeskoleforordningen fra 2002, hvor man indførte løbende evaluering og trintest. Formålet har for det første været at evaluere elevernes faglige, personlige og sociale udvikling og for det andet at måle deres udbytte af undervisningen. 1 De evalueringsformer, som blev introduceret i evalueringsbekendtgørelsen i 2003, benytter bl. a. de nyoprettede læringsmål i fagene som evalueringskriterier. 2 Disse læringsmål er bindende og politisk vedtagne. Dermed har man understreget og tydeliggjort, at der sættes langt mere fokus på mål og resultater i forhold til processen i forbindelse med folkeskolens undervisning og øvrige aktiviteter end tilfældet var tidligere. Læringsmålene bliver dermed definerende og styrende for undervisningen, mens læreplanerne beskriver vejledende materialer samt undervisnings- og evalueringsformer hen imod de trinmål, fagformål og læringsmål, som undervisningen har til hensigt at realisere. Grundvilkår og forudsætninger for undervisningen er ikke længere stabile, men ændres i takt med den øvrige samfundsudvikling. Under disse betingelser må den enkelte lærer være i stand til at tilpasse sin undervisning efter forhold, der hele tiden forandrer sig. Som følge heraf må læreren foretage afvejninger i forhold til læringsmålene og tilrettelægge sin undervisning ud fra sin professionelle tilgang til pædagogik og didaktik. Introduktionen af trinmål, fagformål og læringsmål præciserer således, at læreren bør udforme og tilpasse sin undervisning, så han/hun selv og ikke mindst de enkelte elever opnår størst mulig, om end bedst mulig, målopfyldelse, og netop derfor opstår behovet for en systematisk evaluering gennem skoleforløbet. Folkeskoleforordningen fra 2002 introducerede også et ændret syn på børn og unge og et nyt læringssyn. Eleverne er ikke længere individer som passivt modtager viden, men opfattes som aktive og selvstændigt handlende personer, der selv er ansvarlige for deres egen læring i samarbejde 1 Mere specifikt drejer det sig om løbende formativ evaluering som led i den daglige undervisning, elevernes fremlæggelse af eget arbejde i 3. klasse, emneorienteret projektopgave i 7. klasse samt summative, nationale trintest ved afslutningen af 3. og 7. klasse. 2 Evalueringsformen i sådan en situation kan betegnes som Curriculum baseret, hvor man tester elevernes færdigheder i forhold til formulerede læringsmål i modsætning til den såkaldte Litteracy baserede testform, der i højere grad måler, om eleven kan anvende sine kompetencer i løsning af opgaverne. 10

11 med læreren og hjemmet. Drivkraften er de enkelte elevers egne ressourcer, forudsætninger og forskelligheder. Disse egenskaber gør, at eleverne gradvist oplæres til at kunne tage medansvar for deres egen læring sammen med en engageret lærer. Den aktive elev skal være medbestemmende for undervisningen og evaluering af sin egen læring og udarbejde handleplan for sin videre skolegang sammen med sine lærere og forældre. Det overses ofte, at evaluering som redskab i undervisningen faktisk blev introduceret før skolereformen i 2002, faktisk før mange andre lande overgik til formelle evalueringssystemer. Lærerne har altså længe skulle evaluere deres undervisning i mere eller mindre omfang. Ved vedtagelsen af folkeskoleforordningen i 1990 og evalueringsbekendtgørelse i 1994 introducerede man en stor del af den evalueringsforståelse med de begreber, formål og praksis som vi kender i dag, f. eks. intern pædagogisk evaluering og test. Denne evaluering skulle fremskaffe information til lærer og elever for at vurdere, om undervisningen har givet de forventede resultater. Disse informationer skulle benyttes som grundlag for den videre planlægning og gennemførelse af undervisningen, således som det også er formuleret i dagens regelværk. Trintest blev ikke introduceret i forbindelse med evalueringsbekendtgørelsen i 1994, men der kunne som led i evalueringen af elevernes faglige udbytte af undervisningen gennemføres forskellige tests internt på skolen. I 1. klasse skulle lærerne beskrive og vurdere elevernes målopfyldelse i form af en vidnesbyrd samt supplerende bemærkninger og allerede fra 2. klasse give standpunktsbedømmelse af elevens udbytte af undervisningen samt arbejdsindsats og holdning til arbejdet i samtlige fag ved anvendelse af en bedømmelsesskala med følgende inddeling: Udmærket for det udmærkede, helt fortrinlige standpunkt, Meget tilfredsstillende for det gode, sikre standpunkt, Tilfredsstillende for gennemsnitsstandpunkt, Jævnt tilfredsstillende for standpunktet lige under middel, Mindre tilfredsstillende for standpunkter, der kan anses for passable, men heller ikke mere og Ikke tilfredsstillende for det uantagelige standpunkt. Der er ikke nærmere undersøgt, i hvor høj grad evalueringskulturen er implementeret i folkeskolen. Gennem møder og seminarer med forskellige aktører inden for folkeskolesektoren kan man have den opfattelse, at evaluering og evalueringskultur stadig af mange betragtes som en ny metode og indfaldsvinkel i forhold til skolens undervisning efter 20 år med en moderne evalueringsbekendtgørelse fra Dette viser, at det tager meget lang tid med at introducere både en ny kultur samt effektive og præcise evalueringsmetoder i folkeskolen og at dette er en vanskelig proces. Faktisk kræver det en stor gensidig tillid mellem alle implicerede parter at opbygge en ny og holdbar evalueringskultur. Den langstrakte indfasning viser også, at skolen udgør en kompleks institution, som både inde fra og ude fra kontinuerligt må tilføres organisatorisk kapacitet og tilpasningsdygtighed i forbindelse med nye ændrede vilkår. Skolen er en institutionel enhed, som gennem alle år har haft stor bevågenhed fra politikere, myndigheder og forældre og består af mange aktører såsom kommuner, skoleledere- og lærere, forældre, de modtagende uddannelsesinstitutioner mv.. Som en vigtig medspiller i et moderne samfund er det derfor afgørende, at skolen udgør en af de første led i en langstrakt udvikling i uddannelsessystemet, som tilgodeser kvalitet i både proces og resultat. 11

12 Netop derfor er der også grund til at stille spørgsmålet, hvilke styringsideologiske og -filosofiske opfattelser, der har været gældende i grønlandsk uddannelsestænkning og praksis i de sidste 20 år, hvor den nye evalueringskultur blev introduceret i folkeskolen? Skolelederhåndbogen fra 2002 omtaler skolekultur og traditioner og at de skrevne og uskrevne regler og normer ofte er meget forskellige fra sted til sted. Lederhåndbogen beskriver, at skolen er en lærende organisation i et udviklingsperspektiv, hvor ikke bare elever, men også lærere skal lære. I tillæg anføres, at kulturen kan være et godt grundlag for udvikling eller en stærk barriere mod udvikling. Siden introduktionen af en ny evalueringskultur har taget 20 år, kan man have den opfattelse, at den praktiserede skolekultur har indeholdt institutionelle træk med barrierer til en udvikling og som har virket kontraproduktivt i forhold til en fremadrettet og refleksiv skoleudvikling. I de videre perspektiv må man gå ind i skolen, måske tilmed også i klasseværelset, og undersøge sådanne institutionelle forhold. Trintestresultater kan måske være det bindeled som åbner op for sådanne initiativer. Man må dog huske, at intensionen med trintest ikke er at fortælle sandheden om folkeskolen. Dertil udgør trintestresultaterne bare en mindre del af helheden. Snarere må trintestresultaterne og resultater fra andre dele af evalueringssystemet danne grundlaget for en erkendelse af pædagogiske, didaktiske og institutionelle forhold, som skolen og eleverne kan benytte til at træffe nogle fremtidige valg på grundlag af dokumenteret viden. Indførelse af evalueringskultur på landets skoler har foregået i forskellige tempi. En af grundene kan være, at der har været uklar koordination mellem Inerisaavik og kommunerne vedrørende delingen af ansvaret for udviklingen af en sammenhængende evalueringskultur. Praksis har været at Inerisaavik stod for de summative trintest, mens kommunerne og dermed skolerne har haft ansvaret for videreudvikling og gennemførelse af de formative evalueringsformer. En anden vigtig grund kan være kommunesammenlægningerne i 2009, hvor tidligere kommunale rutiner og praksis blev omdefineret og lagt om. I kølvandet af denne sammenlægning kan der være opstået et tomrum, hvor nye rutiner og normer skulle defineres og oparbejdes. I den næste udviklingsfase må Inerisaavik og kommunerne specielt rette deres fokus på udvikling af den løbende evaluering blandt skolens lærere og ledere, ligesom der må sættes ressourcer ind på videreudvikling af trintest som pædagogiske og didaktiske redskaber. De summative og formative evalueringer bør ikke betragtes som adskilte aktiviteter, da de supplerer hinanden og er hinandens forudsætninger. Inerisaavik lægger meget vægt på at fremme udbredelsen af en fremadskuende evalueringskultur, baseret på tillid, og hvor evalueringen ses som pædagogisk og didaktisk værktøj, der i sidste ende skal komme eleverne til gode. Det håber vi sker bl.a. gennem trintestrapporter, der nu indeholder fagligt funderede temakapitler, hvor evalueringen er den røde tråd, og hvor der forhåbentlig skabes forskningsbaseret viden, som kan anvendes af lærere, ledere og forskere i øvrigt i og omkring dagens folkeskole. 12

13 4. Metode Det er vigtigt, at de opgaver, der bliver anvendt i trintestene, lever op til moderne psykometriske krav om homogenitet, som stilles ved internationale undersøgelser som f. eks. IEA s og OECD s undersøgelser TIMSS, PIRLS 3 og PISA. 4 Kravet om homogenitet af opgaverne er et relativt nyt krav i den europæiske testkultur, selv om Georg Rasch i Danmark lagde grundprincipperne klar allerede i I USA har man i de nationale test, NAEP, 5 konstant anvendt disse homogenitetsprincipper siden Test og prøver fra Psykologisk Forlag lever stort set alle op til de samme krav og har gjort det siden Psykometriske krav om homogenitet i forbindelse med opgavernes egenskaber undersøges ved hjælp af den statistiske Rasch model. Først når opgaverne på tilfredsstillende vis har passeret de psykometriske krav, og dermed er homogene, kan de benyttes i en normal testpraksis. Den måde man fremlægger resultaterne fra trintestene ligger i forlængelse af en sædvanlig nordisk praksis, der tilsiger at beregne mål for både løsningssikkerhed og løsningshastighed. Det er vigtigt, at begge aspekter medtages, og at der kan skelnes mellem eleverne ved hjælp af disse to mål. Det gælder for øvrigt størstedelen af de evalueringsinstrumenter, der anvendes i den daglige pædagogiske praksis, at de er i stand til at skelne mellem de elever, der evalueres. Det bliver på denne måde et kvalitetsaspekt, at testene er sådan indrettet, at kun relativt få elever når at besvare alle opgaver, og at der tilsvarende er relativt få elever, der har besvaret samtlige opgaver korrekt. Det er en egenskab ved trintestenes opgaver, at elevens samlede resultat af besvarelser af opgaverne kan gøres simpelt op ved hjælp af elevscoren, dvs. totalt antal rigtige besvarelser. Dermed skaffes der adgang til at måle elevens faglige færdighed i de enkelte fag blot ved at tælle antallet af korrekt besvarede opgaver pr. elev. Noget tilsvarende gælder for optællinger opgave for opgave, hvor antallet af elever, der har løst en bestemt opgave rigtigt, er udgangspunktet for et mål for denne opgaves sværhed eller lethed om man vil. Disse to rå score-mål for henholdsvis elevfærdighed og opgavesværhed omdannes ved hjælp af Rasch-modellen til nogle latente scores for elevfærdighed og opgavesværhed, fordi det ikke kan lade sig gøre at regne på de rå scoreværdier. Den internationale undersøgelse PISA har f. eks. benyttet et internationalt midtpunkt på 500 og en standardafvigelse på 100 som forankring af de omregnede rå scores, de såkaldte PISA scores. Det samme gælder for en række pædagogiske instrumenter, der anvendes i den daglige evaluering, hvor rå scores omsættes til point scores. Der er nogle fordele ved at omregne rå scores til latente scores, som hovedsageligt er af teknisk og statistisk art. Bl.a. er det nemmere og teknisk set mere korrekt at benytte elev-scores i form af latente scores i stedet for rå scores i bestemte efterfølgende analyser, hvor man sammenholder mål 3 IEA, som står for International Association for the Evaluation of Educational Achievement, er en uafhængig, international samarbejdsorganisation bestående af nationale forskningsinstitutioner, som gennemfører store sammenlignende undersøgelser i mange lande inden for uddannelse, bl. a. TIMSS (matematik og naturfag) og PIRLS (læsning) i DK i 4. klasse i de senere år. 4 OECD gennemfører PISA-undersøgelser i fagene matematik, naturfag og læsning blandt 15-årige elever. 65 økonomier deltog i PISA PISA står for Program for International Student Assessment. 5 NAEP står for National Assessment of Educational Progress. 13

14 for elevens færdighed med forskellige baggrundsvariable som f. eks. køn, socioøkonomisk baggrund mv. Ulemperne ved denne omregning er umiddelbart klare, bl.a. fordi det kræver en omregningstabel mellem rå- og latente scores for at kunne udføre det. Når den praktiske brug af resultaterne skal sættes i fokus sammen med en fornemmelse for, hvem der skal kunne foretage orienteringer f. eks. med hensyn til pædagogiske interventioner som følge af resultaterne, ligger det lige for at undgå dette mellemled. Det svarer til at benytte en tidligere anvendt PISA-test i en evaluering af f. eks. læsning, og når resultaterne skal gøres op, være henvist til alene at se på rå scores i form af antal rigtige besvarelser uden at have efterfølgende mulighed for at sammenligne egne resultater med de øvrige PISA prøvetagninger, der er opgjort ved hjælp af den omtalte internationale skala over latente scores med midtpunkt 500. Resultaterne fra trintestene opgøres i princippet ud fra rå scores, dvs. antal rigtige besvarelser. Før man omsætter dette tal til procent rigtige besvarelser for den enkelte elev, skal man overveje, hvilket antal opgaver antallet af rigtigt løste opgaver skal ses i forhold til: Det totale antal opgaver i testen eller det antal opgaver, som eleven har forsøgt at løse. Den løsning, som er valgt i denne rapport, er i overensstemmelse med den praksis, som har været anvendt de fleste steder i den pædagogiske hverdag i Danmark og andre nordiske lande. Man beregner procent rigtige i relation til antallet af opgaver, som eleven har forsøgt at løse de såkaldte antal passerede opgaver. Opgaver, der ligger senere end den sidste opgave, som eleven har set på, kaldes for ikke nåede opgaver. Dette antal benyttes ikke ved beregningen af elevens løsningssikkerhed, men indgår i vurderingen af elevens løsningshastighed, der udregnes som procentdelen af passerede opgaver i relation til det totale antal stillede opgaver i testen. Også på dette punkt ligger opgørelsen af resultater fra trintestene i forlængelse af sædvanlig nordisk praksis der således tilsiger at se på både en løsningssikkerhed og en løsningshastighed udregnet som procent. Faktaboks 1: Beregning af elevens score. En elev har til en test fået udleveret 10 opgaver, som er løst sådan: Opg. nr Elev hvor 1 = rigtig besvaret opgave; 0 = forkert besvaret opgave; - = ikke besvaret opgave. Ud fra disse tal kan følgende scores beregnes: Antal passerede opgaver = 5, idet opgave 6-10 er ubesvarede, Antal ikke nåede opgaver = 5, dvs. opgaverne 6-10, Antal rigtige (elevscoren) = 3, dvs. opgaverne 1, 4 og 5. 14

15 Løsningssikkerhed (procent rigtige) = (3/5)*100 = 60%, idet løsningssikkerheden beregnes i forhold til antallet af passerede opgaver. Løsningshastighed = (5/10)*100 = 50%, dvs. mål beregnet ud fra hvor langt eleven er nået uden brug af ur. Denne elev nåede altså halvdelen af opgaverne (50%). Blandt de passerede opgaver var der 3 rigtige besvarelser, der giver en løsningssikkerhed på 60%. Om denne elev kan karakteriseres faglig stærk, god eller svag, kan der ikke umiddelbart siges noget klart om ud fra dette resultat. Det kræver en reference i forhold til alle elever og/eller en national pædagogisk norm for, hvad der anses for en god/tilfredsstillende præstation. Opbygning af disse referencenormer og præstationsskala til trintest pågår i øjeblikket ved Inerisaavik. Indplacering af løsningssikkerhed og løsningshastighed i det såkaldte kategorisystem sker på følgende måde, når f. eks. 2 elever har løst 10 opgaver hver, efter følgende mønster: Opg. nr Elev Elev De to elever har begge en løsningssikkerhed på 100%, idet alle passerede opgaver er løst korrekt. Forskellen mellem de to elever ligger i løsningshastigheden, hvor elev nr. 1 har værdien 30%, mens elev nr. 2 har værdien 100%. Når løsningssikkerheden udregnes i forhold til antal passerede opgaver og løsningshastigheden i forhold til alle opgaver opstår muligheden, måske også nødvendigheden, af at vurdere eleverne på to variable: løsningssikkerhed og løsningshastighed, og ikke bare på en af variablene. Således har elev nr. 1 løsningssikkerhed på 100%, men har løsningshastighed på 30%, hvilket giver en indikation af, at eleven mangler træning i opgaveløsning. Elev nr. 2 har 100% både i løsningssikkerhed og løsningshastighed og er således en hurtig og sikker elev. Andre elevprofiler kan også beskrives ud fra de opnåede elevresultater, jf. tegningen nedenfor. F. eks. er der den usikre og langsomme elev, der først skal opnå mere sikkerhed, før hastigheden kan sættes op. Ideelt set burde alle elever være sikre og hurtige. Pilene herunder i figuren viser, hvordan eleverne eventuelt kan bevæge sig fra langsom og usikker over langsom, men sikker til hurtig og sikker præstation. Usikker Hurtig Sikker Hurtig Elev 2 Usikker Langsom Sikker Langsom Elev 1 De anvendte evalueringsinstrumenter må være i stand til at skelne mellem elever, der evalueres. Det betyder, at trintestene bør kunne skelne mellem elever både mht. løsningssikkerhed og løsningshastighed. Under udarbejdelsen af trintestene måtte det derfor tilstræbes, at variationen af svære og lette opgaver var stor. Det giver stor variation i målet for løsningssikkerhed ligesom længden af den samlede test giver stor variation i løsningshastighed. En del elever når derfor ikke at blive færdige 15

16 Andel af elever (%) med at løse alle opgaverne. Hvis alle gjorde det, ville løsningssikkerheden og løsningshastigheden ikke kunne benyttes til at skelne mellem eleverne. Variationen af løsningssikkerheden tegner et nuanceret billede af elevernes færdigheder i de fire fag, som testes både i 3. og 7. klasse, uden at der er mange elever, som opnår meget ringe eller meget gode resultater. 6 I figur 1 er vist et eksempel herpå ud fra fordelingen af løsningssikkerheden i 7. klasse i faget dansk i Fordelingen har mange værdier af løsningssikkerheden, hvor de fleste elever, nemlig 17%, havde mellem 40% og 50% rigtige. Spørgsmålene er altså konstrueret på en sådan måde, at alle elevgrupper har mulighed for at besvare spørgsmål i testen. Figur 1: Fordelingen af løsningssikkerhed i dansk i 7. klasse i Løsningssikkerhed (%) Det fremgår af figur 1, at eleverne deler sig i to store grupper. Den første gruppe af elever opnår resultater mellem 40% og 60%. Den anden store gruppe gennemfører hele testen med en løsningssikkerhed på 100%. Det er ikke blevet nærmere undersøgt, hvilke elevgrupper det drejer sig om med hensyn til den sproglige baggrund. Testen ser dog ud til at være for nem for den dygtige elevgruppe, og det må overvejes at revidere testen for denne gruppe af elever. F. eks. er trintest i faget dansk udarbejdet som test i dansk som andetsprog både i 3. og 7. klasse. Det kan tænkes at elever med dansksproglig baggrund opnår høj løsningssikkerhed i dette fag. Det fremgår ligeledes af eksemplet i figur 2 i faget dansk i 7. klasse i 2012, at der ikke er stor variation fra elev til elev i løsningshastigheden i dette fag, hvor ca. 90% af eleverne passerer mellem 90% og 100% af opgaverne. Det samme gælder for de fleste trintestfag både i 3. og 7. klasse. Testenes samlede længde er derfor noget, der bør tages op til revision, hvis ønsket er, at man også vil benytte løsningshastigheden som et aktivt element af evalueringen. I så fald bør testene laves længere. Principielt set kan man i stedet vælge at afkorte den afsatte tid på 45 minutter pr. fag i trintestene, f. eks. til 30 minutter. Denne løsning er dårligere end den første, fordi man ved at afkorte tiden sættes præcisionen tilsvarende ned ved målingerne af elevernes færdigheder. 6 lave værdier af løsningssikkerhed under 15-20% eller meget høje præstationer over 80-85%. 16

17 Andel af elever (%) Figur 2: Fordelingen af løsningshastighed i faget dansk i 7. klasse i Løsningssikkerhed (%) På grund af den generelt lille variation af målet for løsningshastighed er for nærværende rapport opgivet at anvende en ellers velkendt opgørelsesteknik fra f. eks. læseprøverne OS64, 120 og SL40 og 60, hvor de to mål indsættes samtidigt i et todimensionalt kategorisystem, et system, som med succes er viderebragt i de grønlandske læseprøver OAM1 og OAM2 samt ATUARIT5. Når resultatet skal beregnes for flere elever på én gang, f. eks. på klasseniveau, er udgangspunktet en række værdier af løsningssikkerhed og løsningshastighed beregnet for alle klassens elever. Et samlet billede af hele klassens færdighedsniveau kan derefter tegnes på mange måder, afhængigt af de statistiske egenskaber ved tallene for løsningssikkerhed og løsningshastighed. Ofte er det ikke relevant at beregne gennemsnit, fordi fordelingerne er skæve, som antydet i figur 1 og 2, eller begrænsningerne for procenttallene med 0% og 100% som absolutte grænser kan gribe forstyrrende ind i fortolkningen af gennemsnitstal. I denne rapport benyttes derfor medianværdier, når flere værdier fra klasser, skoler, kommuner eller resultater fra hele landet skal sammenfattes til én værdi. For de to mål for hhv. løsningssikkerhed og løsningshastighed betyder det, at de værdier, der præsenteres, repræsenterer værdier, hvor 50% af eleverne ligger over og 50% af eleverne ligger under den angivne værdi. Når der eksempelvis for faget matematik i 3. klasse står opført en medianværdi, f. eks. 62%, betyder det altså, at 50% af eleverne løser mindre end 62% af opgaverne rigtigt, mens andre 50% løser mere end 62% af matematiktesten korrekt. 17

18 Antal besvarelser Faktaboks 2: Nøgletal for en statistisk fordeling. 11 elever har løst et bestemt opgavesæt og opnået følgende værdier for procent rigtige: Elev nr % rigtige Denne fordeling af tallene for løsningssikkerhed kan gengives grafisk og beskrives ved forskellige statistiske nøgletal %-25% 25%-50% 50%-75% 75%-100% Løsningssikkerhed i% Det mest anvendte nøgletal er det simple statistiske gennemsnit, der beregnes således: Gennemsnit = ( )/11 = 65,8 Gennemsnittet egner sig bedst til at beskrive statistiske fordelinger, som er symmetriske, dvs. fordelinger der ikke hælder enten mod venstre eller højre. Det er ikke tilfældet for eksemplet i figuren ovenfor. For ikke symmetriske fordelinger anvendes i stedet medianen som et mål for positionen i fordelingen. Hvis ovennævnte %-rigtige tal stilles op i stigende rækkefølge: findes medianen, som den midterste værdi i talsættet. I eksemplet er medianen 69. Det skal forstås således, at halvdelen af eleverne har procent rigtige på under 69, mens den anden halvdel har procent rigtige over 69. Gennemsnittet og medianen er såkaldte positionsmål. De beskriver, hvor fordelingen af tallene har deres tyngdepunkt. Derimod fortæller de ikke noget om, hvor meget tallene spreder sig omkring positionsmålet. Den information er meget væsentlig at supplere med. Således kan et konstant gennemsnit dække over at fordelingen bliver mere spredt, hvor flere svage og flere stærke elever optræder eller mindre spredt, hvor eleverne nærmer sig hinanden. Forskellige begreber i relation til spredningsmål er gennemgået i nedenstående faktaboks. 18

19 Faktaboks 3: Mål for spredningen i en statistisk fordeling. Tre elever har opnået følgende karakterer i seks fag. Eleverne er blevet bedømt efter den nu afskaffede 13-skala, hvilket gør eksemplet klarest. Elev 1 Elev 2 Elev 3 Fag Fag Fag Fag Fag Fag Gennemsnit Varians 0 0,33 3 Spredning 0 0,58 1,7 Alle elever har samme gennemsnit, nemlig 8. Variationen er imidlertid meget forskellig. Elev nr. 1 har opnået karakteren 8 i alle fag og der er derfor ingen variation omkring gennemsnittet. Elev nr. 2 har også 8 i gennemsnit, men der er nu tale om en vis variation omkring gennemsnittet. De to mest almindelige mål for denne variation er variansen og spredningen, der begge kan beregnes via almindelige it-redskaber som f. eks. EXCEL. Bemærk at spredningen beregnes som kvadratroden af variansen. Endelig har elev nr. 3 også 8 i gennemsnit, men varians og spredning er endnu større end for elev nr. 2. Læg også mærke til, at elev nr. 3 ikke har fået karakteren 8 i nogen af fagene, selv om gennemsnittet for eleven er udregnet til 8. Eksemplet illustrerer, at gennemsnitstal kun beskriver en dimension af en fordeling af tal, men ikke siger noget om variationen i et konkret datamateriale. Endnu mere detaljerede mål for spredningen er de såkaldte kvartiler /fraktiler. Således er 25% fraktilen den værdi for f. eks. løsningssikkerhed, der adskiller elevgruppen i 25% under og 75% over værdien. 50% fraktilen svarer til den tidligere nævnte medianværdi. I nedenstående talrække kan disse fraktil-værdier beregnes ved f. eks. statistikfunktioner i EXCEL: % - fraktilen bliver 62,5 (mellem 62 og 63), 50% fraktilen (medianen) som før 69 og 75% fraktilen 74. Ofte sammenfattes fraktilværdien i et såkaldt Box-plot. Den sorte streg til venstre markerer den laveste værdi som opnås. De to kasser markerer spændet mellem 25% og 75% fraktilerne. Endelig markerer den sorte streg til højre den højeste værdi, som en eller flere elever har opnået

20 Det er vigtigt at bemærke, at man ikke bruger tallene til at foretage rangordninger af skolerne med hensyn til løsningssikkerheden. Det skyldes to forhold. For det første kan udviklingen fra år til år på særligt de mindre skoler været præget af tilfældigheder, så der ofte ikke er solidt belæg for at drage konklusioner om en udvikling. Data er til rådighed på skoleplan, men det kan være vanskeligt at udtale sig om den enkelte skole ud fra gennemsnitsværdier eller medianer, fordi antallet af elever på skoleniveau undertiden ofte er meget lille, mange gange mindre end 8 elever. For det andet kan de enkelte skolers elevpræstationer være præget af forhold i skolernes opland. Evalueringsafdelingen råder på nuværende tidspunkt ikke over metoder til at korrigere for socioøkonomiske forhold og andre forhold, såsom kulturelle forhold, til at justere elevresultaterne, så de kan blive sammenlignelige. I bilaget vises tabeller over skolernes præstationer for løsningssikkerheden uden justeringer for socioøkonomiske faktorer eller andre faktorer af betydning, og ønsker man selv at foretage sammenligninger af skolerne med hensyn til præstationsniveau, skal det ske med varsomhed. 20

21 5. Fortolkning af resultaterne 5.1 Værdier af løsningssikkerhed Inerisaavik arbejder på at udvikle nationale pædagogiske normer i form af en præstationsskala til trintest. I den forbindelse kan man overveje, hvordan man kan fortolke de opnåede værdier i løsningssikkerhed. De faktorer, som vanskeliggør udarbejdelse af en præstationsskala til trintest gennemgås i temaartiklen i Kapitel 8. Med angivelse af procent rigtige for hver elev har man et præcist mål for elevens færdighedsniveau i form af løsningssikkerhed og den procentvise gennemførelse af antallet af opgaver som præcist mål for løsningshastighed. Men er en værdi på f. eks. 67% i løsningssikkerhed udtryk for, at eleven på tilfredsstillende vis har indfriet kravene stillet i undervisningen? Disse krav er formuleret gennem læringsmål i de enkelte fag og udtrykker for hvert fag på hvert trin de krav, som undervisningen skal tilstræbe, at eleverne bringes i stand til at indfri. Man kan derfor spørge, om en løsningssikkerhed på f. eks. 67% er udtryk for, at eleven i det store og hele har indfriet de krav, som opgaverne er bygget over? Eller bør det være 75% eller er 50% tilstrækkeligt? Svaret er flydende, fordi enhver opgave inden for fastlagte faglige, didaktiske rammer kan gøres nemmere eller sværere gennem ganske få ændringer, en proces, der er som at dreje op eller ned på en sværhedsknap, og som enhver opgavestiller kender fra sit arbejde. Der kan være gode grunde til at skrue på denne knap. Bl.a. er det hensigtsmæssigt ikke at gøre opgaverne så svære, at eleverne taber modet undervejs eller gøre dem så lette, at de dygtigste elever misforstår udfordringerne og læser noget andet ind i opgaverne, end det oprindeligt var hensigten. Noget tilsvarende gælder for vurderingen af løsningshastigheden. Her er det klart længden af de samlede opgaver, der fungerer som en knap til at skrue op og ned på forventede, gennemsnitlige værdier af løsningshastighederne. Det flydende element, mht. hvad der er acceptabelt og i overensstemmelse med læringsmålene, er klart til stede. Sædvanligvis benyttes såkaldte omsætningstabeller til at markere, om en bestemt værdi af færdighedsmålet er udtryk for en tilfredsstillende eller ikke-tilfredsstillende præstation set i forhold til læringsmålene. For at illustrere dette kan man benytte 2012-fordeling med løsningssikkerheden i 7. klasse i faget dansk i figur 1, side 16, ovenfor. Den vandrette x-akse repræsenterer en gruppering af værdierne i løsningssikkerhed i 10 grupper tilfældigvis det samme antal skridt, som findes på den tidligere anvendte 13-karakterskala, der har 10 skridt. Lader man den nederste søjle repræsentere karakteren 00 får ca. 0,6% af eleverne denne karakter. Derefter tildeles hver søjle sin karakter fra 03 til 13. F. eks. ses, at karakteren 03 gives til ca. 0,9% og karakteren 13 til ca. 16,0% af eleverne, mens de to største andele 7 svarer til karaktererne 7 og 8, som hver for sig udgør 18% af eleverne efter denne omsætningstabel får tildelt. 7 svarende til de to højeste søjler i figur 1 på side

22 Denne korte illustration er ikke så langt fra virkelighedens karakterfordelinger ved 10. klasses afgangsresultater, og ved at flytte fra procentværdiansættelsen af løsningssikkerheden til karakterer på 12-skalaen flyttes samtidigt over i et regi, hvor der på forhånd via 12-skalaens trin er tilskrevet faste kvalitative fortolkninger af præstationen. F. eks. er karakterer under 2 ikke tilfredsstillende, mens karakterer på 10 og 12 er udtryk for præstationer ud over det normale og forventede. Denne omregningsteknik kan gennemføres med den karakterskala, GGS-skalaen, 8 som blev indført fra skoleåret 2009/2010 i den grønlandske folkeskole eller med den i Danmark indførte 12-skala eller med en hvilken som helst anden skala, der repræsenterer grupperinger af de grundlæggende procent-rigtige tal, og som har fået navngivet grupperingskategorierne eller karaktertrinnene som beskrivelser bag ved GGS-skalaens, 12-skalaens eller 13-skalaens trin. Det er i denne forbindelse ikke afgørende, om den anvendte karakterskala udelukkende anvender bogstaver som kvalitativ markering eller eventuelt anvender både bogstaver og tal således, at der f. eks. kan beregnes gennemsnit. I den henseende er de grønlandske trintest stadig i en udviklingsfase, hvori det bl.a. skal vurderes, om en given løsningssikkerhed på f. eks. 67% som udtryk for de konkrete udfordringer, som opgaverne i et fag stiller eleven over for, resulterer i en kvalitativ bedømmelse som tilfredsstillende indfrielse af de krav, læringsmålene stiller eller ej. Denne proces er igangsat og bør hensigtsmæssigt kædes sammen med, at der på forskningsmæssige vilkår gennemføres undersøgelser, hvor eleverne både afprøves med de grønlandske trintest og samtidigt med andre kendte typer af opgaver i test, hvor man allerede har skaffet sig en holdning til, om en gennemsnitlig procent rigtighed på 67% er godt eller skidt. Under sådanne forsøgsplaner kan fortolkninger af score-niveauer af procent-rigtige værdier fra de traditionelle test overføres til de grønlandske trintest. Der bliver ikke introduceret omsætningstabeller og præstationsskalaer i forbindelse med trintestene for Dermed udskydes en afgørelse af, om bestemte værdier af løsningssikkerheden repræsenterer tilfredsstillende eller ikke-tilfredsstillende respons på test af læringsmålene. Det bliver i denne omgang statistiske fordelinger over løsningssikkerheden og løsningshastigheden, der benyttes som normative referencer for evalueringen, altså evalueringer, hvor resultaterne alene vurderes relativt. 5.2 Anvendelse af resultater til vurdering af en skoles resultater Pædagogiske normer i form af en præstationsskala kan være en stor hjælp, når lærerne udarbejder vidnesbyrd og samlet vurdering efter trin og når der holdes møder med elever og forældre. Pædagogiske normer til trintest sikrer også ensartet bedømmelse af eleverne over hele landet. Første gang dette emne blev berørt var det på en skolelederkonference i Nuuk i Dengang mente skolelederne, at en præstation på 50% kunne være et bud på en tilfredsstillende præstation uden at det på dette tidspunkt var afstemt med udenlandske erfaringer. Siden har Evalueringsafdelingen 8 GGS = Greenlandic Grading System. 22

23 løbende haft intern diskussion om emnet i tilknytning til udviklingen af trintestsystemet. Der har desværre ikke været en bred diskussion om emnet blandt skolefolk, og heller ikke internt i Inerisaavik, så der efterfølgende kunne indføres nationale pædagogiske normer i tilknytning til trintest udover de statistiske landsnormer, som allerede oparbejdes i tilknytning til trintestrapporterne. Trintestsystemet er ikke et kontrolredskab i forhold til eleven eleven skal jo ikke bestå testen for at gå videre til næste trin i skoleforløbet. Derimod giver trintestsystemet informationer, der bør pege på elevens faglige stærke og ikke mindst svage sider, så elev, lærer og hjem i samarbejde kan udarbejde en handleplan for elevens videre skolegang og dermed understøtte elevens faglige udvikling. Det er dog naturligt, hvis skoler og kommuner også benytter trintestresultaterne til at vurdere, om der finder en tilfredsstillende faglig progression sted på de enkelte skoler og kommunen som helhed. Der er flere måder at gøre det på, og der er ingen faste retningslinjer for, hvordan en sådan vurdering kan finde sted. For det første kan man se på niveauet for løsningssikkerheden, dvs. medianværdien, f. eks. ud fra nogle grænseværdier. En præstationsskala beskriver forskellige faglige niveauer og angiver grænser for tilfredsstillende hhv. utilfredsstillende præstationer. Uanset de konkrete grænseværdier, der senere vil blive udmeldt, kan en medianværdi på 60% 9 og derover eventuelt benyttes som grænse for en tilfredsstillende præstation, jf. afsnit 6.9 om fagligt stærke og svage elever. For det andet kan man vurdere udviklingen i medianværdien over en tidsperiode. Man kan f. eks. se på en 3-årig periode med medianværdier for skolen og en 5-årig periode for kommunen. I den forbindelse må man være opmærksom på, at op- og nedadgående bevægelser i medianværdierne bør have en vis størrelse førend man kan tale om stigning eller fald. Den kommende præstationsskala vil indeholde mere præcise retningslinjer for, hvornår en udvikling kan siges at være markant. Samtidig må det påpeges, at en stigning eller et fald på 1 procentpoint ikke kan være udtryk for en betydningsfuld udvikling. Et konkret eksempel kan illustrere, hvordan man kan anvende medianværdierne til at udpege indsatsområder på. Følgende trintestresultater er fra en skole, som har opnået følgende medianværdier i 7. klasse. Tabel 1: Eksempel på trintestresultater på mellemtrinnet fra en skole Grønlandsk Engelsk Ved gennemgang af resultater i Kapitel 6, benyttes medianværdi på % som udtryk for en middel præstation. 23

24 Løsningssikkerhed (%) Faget grønlandsk har et meget tilfredsstillende niveau for medianværdien, som ligger klart over 60%. Der har dog været tale om en gradvis faldende udvikling over perioden på 5 procentpoint (74% - 69%), uden at det dog siges at være udtryk for et kritisk fald. Dog bør faget have en opmærksomhed for at sikre, at faldet ikke fortsætter. Faget dansk har ligget på et tilfredsstillende niveau i perioden og med pæne resultater, der svinger mellem 63% og 68%. Faldet i 2011 rettede sig op i 2012 til niveauet i Faget engelsk ligger i alle årene under 60%. Der er dog en pæn stigning i medianværdierne på 7 procentpoint (56% - 49%) fra 2010 til 2012, altså en pæn fremgang. Her bør der rettes særlig opmærksomhed med henblik på at fastholde den positive udvikling, der synes at have fundet sted over de tre år. Endelig har faget matematik medianværdier, der i alle 3 år ligger under 50%. Medianværdien er desuden stort set uændret over perioden. Dette fag bør have særlig opmærksomhed, for at en positiv udvikling kan igangsættes og fastholdes og et mere acceptabelt niveau kan opnås. Ovenstående er et eksempel for at vise, hvordan trintestresultaterne kan anvendes for at fremskaffe information om læring på skolen og som et redskab til at få et overblik. Bag gennemsnitlige medianværdier ligger typisk en variation i det faglige niveau blandt eleverne og den bør naturligvis også indgå i en samlet vurdering af, om resultaterne er tilfredsstillende eller ej. For det tredje kan en skole sammenligne sig med den kommune, som skolen er hjemmehørende i, eventuelt med hele landet under et. Sådanne normative sammenligninger kan være usikre, da der er stor variation bag mediantallene, men de kan være interessante, og i hvert fald give plads for refleksion. Her egner grafiske illustrationer sig bedst til at skabe et overblik over tendensen. Figur 3 sammenligner skolens resultater for 7. klasse for året 2012 med kommune og land. Via figuren ses et billede af en skole, som ligger godt placeret i sprogfagene, både i forhold til kommunens øvrige skoler og landets skoler under et. I matematik er man på linje med både kommune og land. Disse tilfredsstillende niveauer til trods, viser analysen ovenfor, at der altså stadig er plads til forbedringer og opmærksomhed på visse fag. Figur 3: Sammenligning af en skoles resultater for 7. klasse i 2012 med kommune og land Skolen Kommunen Land 0 Grønlandsk Engelsk 24

25 Box-plots er også en simpel måde at sammenknytte forskellige informationer på, f. eks. andelen af stærke og svage elever i et enkelt år, men også over en periode. Disse informationer kan man med fordel også anvende sammen med informationer fra en præstationsskala, jfr. anvendelse af Boxplots i Kapitel 6. Etablering af nationale pædagogiske normer ved trintest vil betyde ensartet bedømmelse af eleverne. Det er dog naturligvis op til den enkelte skole selv at fastlægge grænseværdier, hvilket er naturligt, da det er skolen selv, der kender sine elever og derfor i sidste ende kan foretage de pædagogiske interventioner, der måtte synes nødvendige. Det er også muligt at anvende trintestresultaterne didaktisk i undervisningen, 10 når man er færdig med at analysere de enkelte elevers besvarelser, som det fremgår af nedenstående faktaboks. Faktaboks 4: Eksempler på didaktisk anvendelse af testsvar. Nedenfor vises to helt konkrete eksempler på besvarelser i trintest i matematik i 7. klasse fra en konkret skole. Eksemplerne viser, hvordan en analyse af elevernes konkrete svar kan bidrage til en frugtbar didaktisk og fremadrettet arbejde for eleven. Eleverne på skolen blev i opgavesættets item 17 bedt om at oversætte decimaltallet 0,25 til et brøktal. Elevernes besvarelser på de fire svarmuligheder, hvor det korrekte svar er ¼, mens de tre er distraktorer, fremgår af tabellen nedenfor: Respons ½ 1/3 ¼ 1/5 Antal (%) 46% 8% 15% 31% Man kan give sig til at spekulere over, hvorfor kun 15% angiver det rigtige svar. Er det 2-tallet i distraktoren ½, der snyder eller er det 5-tallet i distraktoren 1/5, der snyder i forhold til cifrene i stimulus 0,25 eller hvad? Responsmønsteret tyder ikke på, at der er gættet, men snarere på at eleverne har tænkt sig om, men tænkt i de forkerte baner. Her rækkes der ud over, hvad en evaluator kan hjælpe med og fagkyndige folk indenfor matematisk didaktik må på banen. Eksempelvis kan lærer gennem samtaler med eleverne afdække grunden til at der svares som de gør, og på denne måde give anledning til justering af måden, der undervises på. Bemærk, at distraktorerne synes velvalgte og dermed bidrager til en indsigt i elevens videre læring. Fra samme skole og test vises svarkategorierne for item 54. Det lyder: med fire svarrespons: 30, 25, 20 og *2 =? 16 elever afkrydser i første responskategori, nemlig 30. Måske er rækkefølgen af distraktorerne valgt meget lumsk, så eleverne lokkes til at svare på 30 den klassiske fejl, hvor man lægger 5 til 10 og herefter ganger med I dette arbejde kan man evt. benytte Naatsorsuut / Retteark til trintest, som Inerisaavik udarbejder hvert år i forbindelse med trintest. 25

26 6. Hovedresultater I dette afsnit beskrives resultaterne af de trintest, der blev afholdt i Årets resultater sammenlignes med tidligere resultater for årene Det bemærkes, at analyseperioden i dette afsnit er indskrænket til de sidste 5 år, altså for årene af hensyn til overskueligheden i de grafiske præsentationer. I de kommende trintestrapporter vil det blive fastholdt at vurdere udviklingen i trintestresultaterne for en rullende 5-årig periode. I bilagsmaterialet til denne og de kommende rapporter vises resultaterne dog for hele perioden fra 2007 og frem til det aktuelle år for rapporten, således at læseren selv efter behov kan definere sin analyseperiode. I enkelte tabeller i bilagsmaterialet i Kapitel 11 vises resultater også for 2006, hvor Main Study blev afholdt. I takt med at den elektroniske trintestdatabase bliver mere og mere pålidelig, vil man kunne hente data derfra for skolen, kommunen og for landet. Trintestdatabasen har nu data af en sådan længde, at det efterhånden er muligt at drage mere sikre konklusioner om den faglige udvikling indenfor de forskellige fag. I dette afsnit ses der dog alene på udviklingen på landsplan og på det kommunale niveau. Der er langt større usikkerhed forbundet med at sammenligne resultaterne for de enkelte skoler. For det første er elevtallene generelt meget små på mange af landets skoler og der kan derfor være tale om almindelig statistisk usikkerhed, når udviklingen på disse skoler vurderes fra år til år ud fra sådan spinkelt statistisk grundlag. Præsentationen af resultaterne i dette kapitel sker primært vha. grafiske illustrationer, der har til hensigt at give overblik over tendenserne i materialet. Tallene bag figurerne stammer fra en output fra januar 2013, som også er gengivet i tabellerne i Kapitel 11. Som tidligere fremført har det endnu ikke været muligt at designe en såkaldt præstationsskala for fagene. Aspekter af de problemer der er forbundet med fastlæggelse af en sådan præstationsskala tages op i denne rapport i temakapitlet 8. De vurderinger, der ligges ind i forbindelse med beskrivelse af resultaterne, svarer til de udmeldinger, som omtales i Kapitel 5, afsnit Antallet af elever til trintest Antallet af elever, der aflægger trintest, varierer naturligvis fra år til år og fra fag til fag. Udviklingen i antal elever, der gik til trintest i 3. klasse i perioden , fremgår af figur 4. I forhold til 2011 er der sket en reduktion i det totale antal elever, der gik til trintest. I 2011 gik i alt 815 elever i 3. klasse til trintest og i 2012 gik i alt 699 elever til en eller flere trintest i 3. klasse. Heraf deltog 665 elever i alle tre test, 22 elever deltog i to test og endelig deltog 12 elever i en test. Det konstateres, at langt hovedparten af de elever, der har deltaget i testene, aflagde test i alle tre fag. 26

27 Antal elever Figur 4: Antal elever til trintest i 3. klasse i perioden Grønlandsk Som det fremgår af figur 4 ovenfor, har antallet af elever til trintest i 3. klasse været voksende i perioden Det kan virke paradoksalt, da det samlede elevtal generelt er nedadgående i disse år. Her skal det indregnes, at fraværet blandt elever i 3. klasse altså elever der af en eller grund ikke aflægger prøve i samme periode er reduceret, og dette forhold mere end opvejer det faldende elevgrundlag. Faldet i fraværet noteres med tilfredshed, da det blandt andet tyder på, at skolerne generelt nu har bedre styr på praksis i forhold til afholdelse af trintest. Faldet i de totalt antal af deltagende elever i Trintest 2012 i 3. klasse er primært drevet af det fortsat faldende elevtal, men der er dog også en tendens til en mindre stigning i fravær fra 2011 til Det samlede antal elever, der var indskrevet i 3. klasse året før afholdelsen af Trintest 2012, var på i alt 774 ifølge skolernes indberetning til Inerisaavik pr. 1. oktober Det betyder, at 75 elever (= ) eller 9,7% af alle elever i 3. klasse ikke deltog i nogle test. 11 Dette tal inkluderer elever, der var omfattet af vidtgående specialundervisning i det pågældende skoleår, 12 og en del af disse elever deltager ikke i trintest, jf. faktaboksen nedenfor. Det skønnes at der lige nu på landsplan er ca. 45 elever i klasser under vidtgående specialundervisning på hvert klassetrin. Fraværsprocenten i 3. klasse på 9,7% i 2012 er en stigning i forhold til 2011, hvor den blev opgjort til ca. 6%. Der er altså tale om en mindre stigning i forhold til fraværsprocenten i 2011, men stigningen er ikke statistisk signifikant. Denne beregning af manglende deltagelse i trintest skal dog tages med betydeligt forbehold indtil mere sikre tal for det samlede elevgrundlag foreligger, hvilket forventes i løbet af Usikkerheden på opgørelsen af fraværet menes dog ikke at påvirke validiteten af de medianværdier af løsningssikkerhed og løsningshastighed, der rapporteres senere i dette kapitel. 11 Mellem opgørelsestidspunktet for 1. oktober-indberetningen og afholdelse af trintest i foråret året efter kan elevtallet have ændret sig bl. a. som følge af til- eller fraflytning mellem Grønland og udlandet. Opgørelsen af andelen af elever, der ikke deltog i testene, er derfor skønsmæssigt. 12 I trintestrapport 2010 står fejlagtigt, at det totale opgjorte antal elever ikke inkluderer elever, der modtager vidtgående specialundervisning. I denne rapport samt i Trintestrapport 2011 er denne fejl rettet. Denne fejl har dog ingen større betydning for de opgjorte resultater for løsningssikkerhed og løsningshastighed. Det har kun større betydning og usikkerhed for beregningen af fraværet ved trintest. 27

28 Antal elever Udviklingen i antal elever, der gik til trintest i 7. klasse i perioden , fremgår af figur 5. Figur 5: Antal elever til trintest i 7. klasse i perioden Grønlandsk Engelsk Ligesom i 3. klasse er der sket en reduktion i det totale antal elever, der deltog i trintest, fra 2011 til Mens der i alt var 789 elever til trintest i 2011 var der i alt 694 elever, der gik til en eller flere trintest i 7. klasse i Heraf deltog 645 elever i alle fire test, 35 elever deltog i tre test, 6 elever deltog i to test og endelig deltog 8 elever i en af de fire test. Som for deltagelsen i 3. klasse noteres det med tilfredshed, at langt størsteparten af eleverne, der gik til trintest i 7. klasse i 2012, deltog i alle prøver. Som det ses af figur 5, har antallet af elever til trintest i 7. klasse været øgende frem til 2010, hvorefter der bliver færre elever, der går til trintest i 7. klasse. Det hænger blandt andet sammen med faldende elevtal samtidig med at fraværet for deltagelse i 7. klasse fortsat ligger på ca. 10%. Det samlede antal elever, der var indskrevet i 7. klasse året før afholdelsen af trintest 2012, var på i alt 770 ifølge skolernes indberetning til Inerisaavik pr. 1. oktober Dette tal inkluderer også elever, der var omfattet af vidtgående specialundervisning i det pågældende skoleår. 13 Det betyder, at 76 elever (= ), eller 9,8% af alle elever i 7. klasse, slet ikke deltog i testene i Det noteres med tilfredshed, at fraværsprocenten i 2012 er reduceret betragteligt i forhold til 2011, hvor den udgjorde ca. 19%. Denne beregning af manglende deltagelse i trintest skal ligesom for 3. klasse tages med betydeligt forbehold indtil mere sikre tal for det samlede elevgrundlag foreligger, hvilket forventes i løbet af Som nævnt i forbindelse med beregningen af fraværet i 3. klasse, påvirker usikkerheden på dette tal ikke validiteten af de medianværdier, der rapporteres senere i dette kapitel. Tallene for deltagelse og fravær på 3. og 7. klasse er opsummeret i Tabel 2: 13 Jfr. fodnote 12, side

29 Tabel 2: Antal deltagende elever og fravær til Trintest klasse Antal 3. klasse Procent 7. klasse Antal 7. klasse Procent 4 prøver % 3 prøver % 35 5% 2 prøver 22 2% 6 1% 1 prøve 12 1% 8 1% Ingen prøve 75 9% 76 10% Elevgrundlag % % Deltagelse i trintest er obligatorisk for alle elever fra normale klasser. Skolerne kan anvende fritagelsesbestemmelser vedrørende elever, der f. eks. modtager vidtgående specialundervisning. Manglende deltagelse i trintest kan også skyldes naturlige forhold såsom sygdom blandt eleverne, hvor det dog er formodningen, at disse elever har været opmærksomme på afholdelsen af testene. Inerisaavik opfordrer skolerne til at afholde ekstraordinær trintest senere på foråret, så elever, der var forhindret i at deltage i den ordinære trintest, kan tage testen, men dette ser ikke ud til at være en udbredt praksis. 14 I perioden lå den gennemsnitlige fraværsprocent mellem 10% og 16% ved trintest. Det toppede i 2007 med en fraværsprocent på 20% i 3. klasse og 27% i 7. klasse. Fraværsprocenten faldt til ca. 9-11% i Det konstateres, at fraværsprocenten er reduceret markant fra tidligere år og ligger nu på ca. 10% for eleverne i 3. og 7. klasserne i De høje tal tyder på, at andre forhold end blot sygdom og andre formelle fritagelsesbestemmelser spiller en rolle for den manglende deltagelse. Om fraværet fra testene sker efter skolens accept er ikke afdækket. De registrerede fraværsprocenter ligger fortsat lidt over det niveau, man ser i mange andre lande. Der anvendes en anden type praksis ved deltagelse og fravær ved PISA-undersøgelsen. Det kan dog oplyses, at i 2012 var fritagelsesprocenten for Danmark 6,2 procent, 1,2 procentpoint over det tilladte 5%. I Norge var fritagelsesprocenten 6,1, i Sverige 5,4, på Island 3,8 og i Finland 1,9 i PISA lægger vægt på nogle klare kriterier, for at elever på forhånd ekskluderes fra at deltage i testen, f. eks. psykiske og fysiske handicaps samt (stærkt) begrænsede sproglige færdigheder, evt. at sproget anvendt i testen ikke svarer til elevens sprog. Det kan antages, at det specielt er fagligt svage elever, der af den ene eller anden grund ikke deltager i trintestene. Det er f. eks. uklart, i hvor stort omfang elever under vidtgående specialundervisning deltager i testene, eller om de friholdes fra testene. Hvis disse elever friholdes fra trintest, hvilket der dog på nuværende tidspunkt ikke kan siges noget præcist om, vil det betyde, at de resultater, der nedenfor præsenteres for løsningssikkerheden i de forskellige fag, til en vis grad vil overvurdere det reelle resultat blandt alle landets elever. Det skal dog understreges, at det er i tråd med lovgivningen at fritage elever fra trintest, f. eks. hvis elever under vidtgående special- 14 Det skal i den forbindelse nævnes, at der er hjemmel i lovgivningen i Grønland i forhold til at friholde elever fra deltagelse i testen, hvilket skal ske i samråd med forældrene. 29

30 undervisning har fulgt særlige læreplaner og som derfor af naturlige grunde ikke kan testes i forhold til de generelle læringsmål. Der vil under afviklingen af de kommende trintest være fortsat fokus omkring problematikken vedrørende den forholdsvis høje fraværsprocent, og der pågår stadig initiativer til at fremskaffe et mere systematisk billede af, hvilke elever, der ikke deltager i testene og af hvilke grunde. Faktaboks 5: Opgørelse af antal elever i folkeskolen. Udgangspunktet for opgørelsen af antallet af elever i folkeskolen er skolernes fælles administrationssystem TABULEX s særligt elevregistreringsmodul, TEA. TABULEX/TEA blev introduceret i Grønland i 2005 og anvendes nu af langt de fleste skoler her i landet, men anvendelsen og udbygningen af systemet er en løbende proces. I systemet registrerer skolerne de indskrevne elever med navn, cpr-nummer samt en række øvrige stamoplysninger såsom adresse mv. I systemet opbevares elevernes historiske oplysninger, så det er muligt at følge elevernes vej gennem folkeskolen, f. eks. deres skift mellem skoler. Evalueringsafdeling har en on line adgang til dette system for alle skoler og burde dermed kunne danne en opgørelse af antallet af elever i folkeskolen på et givet tidspunkt. Helt så enkelt er det ikke på nuværende tidspunkt. For det første kræver det naturligvis, at skolerne rent faktisk anvender TABULEX/TEA løbende og systematisk. Det har ikke altid været tilfældet, da skoler kan af forskellige grunde være bagefter med at opdatere deres elevgrundlag. Det kan særligt være et problem lige omkring starten af et nyt skoleår. Hertil kommer, at elever der midlertidigt eller permanent skifter skole, kan registreres som udmeldt af den afgivende skole, men først med en tidsforsinkelse indskrives i den modtagende skole og i dette tidsrum vil eleven ikke fremgå af TEA. Den officielle kilde til opgørelsen af antallet af elever i folkeskolen totalt og fordelt på klasser/klasse er den såkaldte 1. oktober-indberetning, som skolerne årligt er forpligtet til at foretage til Inerisaavik. I denne indberetning skal alle skoler indberette det antal elever, som er indskrevet på skolen præcis den 1. oktober i det pågældende skoleår. Mange skoler anvender TEA til at danne de tal, der skal indberettes. Det er helt afgørende, at skolerne anvender 1. oktober som skæringsdato. Hvis skoler anvender en dato før eller efter den 1. oktober opstår der problemer, hvis elever skifter skole. Opgørelsen af antallet af elever har ikke direkte betydning for analysen af trintestresultaterne og opgørelse af medianværdier for løsningssikkerhed og løsningshastighed, men alene har betydning for opgørelsen af det antal elever, som ikke går til prøve. Inerisaavik vil prioritere arbejdet med kvalitetssikring af TEA højt i årene fremover. 30

31 Faktaboks 6: Elever under vidtgående specialundervisning til trintest. I skoleåret 2011/2012 var i alt 443 elever registreret som specialklasseelever, jf. Folkeskolen i Grønland I denne statistik er disse elever ikke fordelt på de enkelte klasser, men skønsmæssigt kan man med god ret antage, at der er ca. 40 specialklasseelever på 3. hhv. 7. klasse. I princippet skal alle dvs. elever under almindelig og vidtgående specialundervisning deltage i trintest, men for netop denne gruppe af elever, kan der være gode grunde til at fritage dem for deltagelse i testene, f. eks. hvis de ikke har fulgt de normale undervisningsplaner. I efteråret 2012 gennemførte Selvstyret en større undersøgelse af personer med særlige behov, herunder en kortlægning af elever under vidtgående specialundervisning. En del af undersøgelsen bestod i udsendelsen et spørgeskema til skolelederne på samtlige af landets byskoler. Der var mange områder der blev adspurgt til, herunder drejede et af spørgsmålene om trintest, der lød: Deltager elever, som modtager vidtgående specialundervisning, normalt i trintest? Fordelingen af de i alt 26 fra de adspurgte skolelederes besvarelser, fremgår af nedenstående figur. Nej, det gør de ikke 12 (46%) Ja, det gør alle 3 (12%) Ja, det gør næsten alle 5 (19%) Ja, det er der få der gør 2 (8%) Ja, det er der nogen der gør 4 (15%) Det fremgår, at størsteparten af skolederne, nemlig 12 skoler eller 46%, svarer, at det gør disse elever ikke. Ellers er billedet meget forskelligartet og tyder dermed på, at der er meget forskellig praksis skolerne imellem hvad angår at lade elever under vidtgående specialundervisning deltage i trintest. Der synes behov at få skabt en mere ensartet praksis angående dette forhold. Skolelederne blev desuden adspurgt til de mere specifikke grunde til, at elever under specialundervisning ikke går til trintest. Blandt de væsentligste begrundelser var, at deres faglige kundskaber ikke er aldersvarende, at de ikke bør opleve nederlag samt at specialklasseelever arbejder med andre læringsmål. I en særskilt rapport, udarbejdet af det danske analysefirma EPINION på opdrag af det daværende Departement for Uddannelse og Forskning samt det daværende Departement for Familie, Kultur, Kirke og Ligestilling blev der foretaget en mere grundig analyse af elever under vidtgående specialundervisning i forhold til deltagelse i trintest. Herunder blev der foretaget en analyse af disse elevers særlige behov (handicaps) og sammenhængen med deres deltagelse i trintest. Denne gruppe af elever blev primært bestemt ud fra kriteriet om, at eleven skulle have en PPR journal. Disse PPR journaler blev indsamlet og registreret med elevens mest dominerende handicap samt cpr-nummeret. Disse elevers cprnumre blev sammenkørt med cpr-numrene i Evalueringsafdelingens trintestdatabase, hvorved det var muligt at bestemme hvorvidt disse elever havde aflagt trintest og desuden undersøge sammenhængen mellem elevernes eventuelle manglende deltagelse og handicap. 31

32 Et resultat af analysen var, at der var en vis kommunal variation i hvorvidt kommunerne fritager eleverne helt fra trintest. Qeqqata Kommunia har den største andel af elever med handicaps, der ikke går til prøve. Desuden viser analysen ikke overraskende at den største andel af elever, der ikke tager trintest, har såkaldt generelle indlæringsvanskeligheder (herunder retardering, hjerneskade mv.) Rapporten kan i øvrigt rekvireres ved henvendelse til de ovenstående departementer. 6.2 Løsningssikkerhed I Kapitel 5 blev det beskrevet, at der er forskellige måder at fortolke trintestresultaterne på i forhold til en vurdering af elevernes præstationer. Her blev det udmeldt, at en medianværdi, dvs. en løsningssikkerhed, på ca % foreløbig anses som middelpræstation. I analyserne af løsningssikkerheden i dette kapitel vil denne grænse blive anvendt til at vurdere, om elevernes præstationer ligger under, på eller over en middelpræstation. Ved hjælp af Rasch-modellen er sværhedsgraden af en opgavesæt og de enkelte opgaver fastlagt i alle trintestfag. Der er derimod ikke designet en fælles sværhedsskala 15 for testopgaver, der går på tværs af klasser og trin, dvs. som dækker både 3. og 7. klasse. Derfor kan man ikke umiddelbart sammenligne de opnåede elevpræstationer fra 3. og 7. klasse, da der testes blandt forskellige læringsmål. I den grad man i forbindelse med udarbejdelse med læringsmålene i de enkelte fag i sin tid har benyttet en samlet sværhedsskala til at udtrykke en faglig progression fra 3. til 7. klasse, har det været muligt konkret at vurdere den faglige udvikling fra yngste- til mellemtrin. Det er også på den baggrund, at man fra og med Trintestrapport 2011 ikke længere opstilles trintestresultater fra 3. og 7. klasse i en samlet figur i det samme fag, som tidligere ellers har været praksis i trintestrapporterne. Fra og med Trintestrapport 2011 beskrives 3. og 7. klasse i adskilte figurer og afsnit. Selvom man ikke umiddelbart kan sammenligne trintestresultaterne imellem 3. og 7. klasse er det alligevel muligt at lave en normativ sammenligning af, hvordan eleverne var placeret i 3. hhv. 7. klasse. Dette vil blive beskrevet nærmere i Kapitel 7 om dynamiske overgange mellem disse trin Fagene I de følgende afsnit vil resultater i de enkelte fag blive beskrevet. Faget grønlandsk i 3. og 7. klasse I 3. klasse har niveauet for løsningssikkerheden i faget grønlandsk været under middel med præstationer på under 50% i hele perioden. Den faglige udvikling derimod har været meget positiv og markant, nemlig fra 40% i 2008 til 47% i 2012, jf. figur 6. Den positive udvikling fra 2008 frem til 2011 blev dog erstattet af en mindre tilbagegang fra 50% i 2011 til 47% i En præstationsskala beskriver faglige niveauer for, hvor tilfredsstillende elevernes præstationer har været, mens en sværhedsskala beskriver sværhedsgraden af de enkelte items. 32

33 Løsningssikkerhed (%) Løsningssikkerhed (%) Figur 6: Løsningssikkerhed i faget grønlandsk i 3. klasse I 7. klasse har det faglige niveau været i den pæne del af en middel præstation, hvor løsningssikkerhed på mellem 60% og 64% blev opnået, jf. figur 7. Der ses dog en mindre tilbagegang fra 64% i 2008 til 60% i Udviklingen vendt efter 2010, hvor der både i 2011 og i 2012 blev opnået præstationer, som ligger på 62% i løsningssikkerhed. Figur 7: Løsningssikkerhed i faget grønlandsk i 7. klasse Den positive udvikling i 3. klasse bør forsætte og i 7. klasse bør de pæne præstationer i 2011 og 2012 fastholdes. Det har interesse at vurdere, hvad der har drevet udviklingen i faget grønlandsk. Det kan man få et indtryk af ved at studere efterfølgende Box-plots, der beskriver udviklingen i perioden Udviklingen i 3. klasse ser ud til at være sket ved, at gruppen af svagere elever 16 såvel som gruppen 16 markeret med orange. 33

34 af stærkere elever 17 er blevet hævet i den pågældende periode. Det ses ved at Box-plots generelt er forskudt mod højre side. Det kan i øvrigt ses af disse Box-plots, at der bag mediantallene gemmer sig en stor variation i elevernes præstationer fra 0-100% i løsningssikkerhed. Figur 8 viser, at de nederste 25% af eleverne er blevet bedre ved at deres løsningssikkerhed er gået fra 25% til 33% som den øverste grænse. Den næste gruppe af elever er ligeledes gået frem, den øverste grænse er løftet fra 37,5 til 47%. Igen ses det at den tredje øverste gruppe også er gået frem og når 64% mod ca. 54% i Alt i alt tegner Box-plottet et billede af, at alle elevgrupper synes at være styrket. Det er altså tale om en generel styrkelse af niveauet blandt alle elevprofiler. Figur 8: Box-plots for faget grønlandsk i 3. klasse I faget grønlandsk i 7. klasse synes tendensen at være den modsatte for perioden , idet specielt frem til 2010 har både de svagere såvel som de stærkere elever at være blevet svagere. I 2011 og i 2012 er både de svagere og stærkere elever dog blevet hævet i forhold til Ser man på hele perioden i figur 9 ses der ingen større bevægelser mellem de forskellige elevgrupper i dette fag. Figur 9: Box-plots for faget grønlandsk i 7. klasse markeret med blå. 34

35 Løsningssikkerhed (%) Et interessant aspekt ved grønlandsk er i øvrigt den meget store niveauforskel, der er mellem løsningssikkerheden i 3. og 7. klasse, hvor niveauet for 7. klasser er markant højere end for 3. klasser. Som nævnt tidligere under afsnit 6.2 kan man ikke umiddelbart sammenligne præstationer i 3. klasse med præstationer i 7. klasse, da man ikke har en fælles sværhedsskala, der går på tværs af trin og klasser. Man kan dog formode, at trintestopgaverne i 7. klasse er lettere i forhold til læringsmålene end i 3. klasse, men det kan også være en forklaring på niveauforskellen, at den faglige udvikling i faget på yngstetrinnet lader noget tilbage og først udvikles senere frem mod afslutningen af mellemtrinnet. Denne vurdering kræver, at sværhedsskalaerne for 3. og 7. klasse bringes til at være en sammenhængende skala. Det vil umiddelbart kræve, at der er overlap mht. opgaverne i 3. og 7. klasse. Det er hensigten at etablere en sådan sammenhæng. Faget dansk i 3. og 7. klasse Det faglige niveau i faget dansk i 3. klasse har været under middel det meste af perioden frem til 2011 med løsningssikkerhed mellem 44% og 50%, jf. figur 10. Bortset fra et mindre fald i 2010 har der dog været en markant fremgang i perioden, hvor løsningssikkerheden er gået op fra 44% i 2008 til 52% i I 2009 kom faget op på et middel niveau med 50% i løsningssikkerhed og fra 2011 synes der at komme en positiv udvikling i gang med præstationer, som ligger i den nedre del af et middel præstation med løsningssikkerhed på 50% i 2011 og 52% i Figur 10: Løsningssikkerhed i faget dansk i 3. klasse I 7. klasse ligger løsningssikkerheden i den pæne del af en middel præstation med en lille stigning fra 60% i 2008 til 61% i 2011, dog med et mindre fald i 2010, jf. figur 11. I 2012 er der også et mindre fald i løsningssikkerhed, som ligger på 59%. 35

36 Løsningssikkerhed (%) Figur 11: Løsningssikkerhed i faget dansk i 7. klasse I faget dansk ses i øvrigt samme billede som i faget grønlandsk, hvor niveauet for 7. klasse ligger markant over niveauet i 3. klasse. Her kan der formentlig gives samme forklaringer som i faget grønlandsk. Udviklingen i faget dansk i 3. klasse kan beskrives med Box-plots som i figur 12. Her ses der særligt en fremgang blandt midtergruppen af eleverne. Gruppen blandt 25% til 50% er gået fra 44% til 52% i løsningssikkerhed. Gruppen af de 50% - 75% af elever er ligeledes gået frem, fra 67% til 75%. Alt i alt kan man konkludere, at fremgangen i faget er sket blandt de mellemgode og gode elever, mens de svageste elever stagnerer. Figur 12: Box-plots for faget dansk i 3. klasse I faget dansk i 7. klasse ses der stort set ingen større systematiske ændringer mellem de forskellige elevgrupper i perioden , dog således at frem til 2010 har både de svagere såvel som de stærkere elever synes at være blevet svagere. I 2011 og i 2012 er både de svagere og stærkere elever dog blevet hævet i forhold til

37 Løsningssikkerhed (%) Figur 13: Box-plots for faget dansk i 7. klasse Den positive udvikling i faget dansk i 3. klasse bør fortsætte. I 7. klasse ligger præstationerne på et middel niveau. Der bør sættes fokus på stagnationen, jf. Kapitel 7 om dynamiske overgange mellem trin. Faget engelsk i 7. klasse I faget engelsk lader niveauet for løsningssikkerheden noget tilbage. Set over hele perioden har løsningssikkerheden dog bevæget sig markant og positivt fra 49% i 2008 til 54% både i 2011 og i Lige som i fagene grønlandsk og dansk i 7. klasse er der sket en fremgang fra 2010 til 2011 og som blev fastholdt i 2012, hvor løsningssikkerheden ligger på 54% i begge år. Figur 14: Løsningssikkerhed i faget engelsk i 7. klasse Mens resultaterne på landsbasis i faget stagnerer og ligger lige under middel niveau frem til 2010, sker der en faglig positiv udvikling i faget fra 2011 og 2012, som bør fastholdes. 37

38 Løsningssikkerhed (%) Figur 15: Box-plots for faget engelsk i 7. klasse Der kan konstateres positive bevægelser for alle elevgrupper i fagets Box-plots i figur 15. De lavest rangerende grupper er gået fra en løsningssikkerhed fra 37% til 41%. Den mellemste gruppe er gået fra 46% til 54%. Den næsthøjeste gruppe er samtidig gået fra ca. 63% til 72%. Alt i alt kan man sige, at udviklingen i faget engelsk har tilgodeset alle elevgrupper, både svagere og de bedre elever. Faget matematik i 3. og 7. klasse I 3. klasse har løsningssikkerheden ligget i den pæne del af middel niveau i alle år, dog har der ikke været nogen nævneværdig udvikling i faget matematik i perioden Det har endog været negativ udvikling i fra 62% i 2008 til 60% i 2010, hvorefter der kom en mere positiv udvikling i gang med pæne præstationer på 65% i 2011 og 64% i Figur 16: Løsningssikkerhed i faget matematik i 3. klasse

39 Løsningssikkerhed (%) Ser man på Box-plots i dette fag i 3. klasse ses der ingen større bevægelser mellem de forskellige elevgrupper. Figur 17: Box-plots for faget matematik i 3. klasse I samme periode har tendensen været svagt negativt i 7. klasse og har ligget under middel niveau, dog har der været en mindre positiv udvikling fra 47% i 2010 til 49% i Denne udvikling er dog vent negativt i 2012 med løsningssikkerhed på 47%. Figur 18: Løsningssikkerhed i faget matematik i 7. klasse Box-plots for faget på de to trin fortæller om, at det specielt er gruppen af de stærke elever, der er gået tilbage. 39

40 Figur 19: Box-plots for faget matematik i 7. klasse Niveauet for 3. klasse ligger over niveauet i 7. klasse, helt modsat billedet for fagene grønlandsk og dansk. En mulig forklaring kan igen være, at opgaverne i matematiktesten i 3. klasse er nemme i forhold til læringsmålene end det er tilfældet med 7. klasse. En anden forklaring kunne være, at eleverne i yngstetrinnet er motiverede og har interesse for dette fag, men at interesse og motivation mistes i løbet af mellemtrinnet. 18 Som i sprogfagene kræver dette, at de to test i 3. og 7. klasse kan sammenlignes på en fælles sværhedsskala Sammenhænge mellem fagene I de tidligere rapporter beskrives, at der er tydelig sammenhæng mellem elevpræstationer i fagene dansk og engelsk og at der er mindre tydelig sammenhæng mellem de andre fag. Disse to hovedtendenser synes at være uændrede ved trintest Undersøgelser af disse sammenhænge hænger sammen med, at der i folkeskoleforordningen fra 2002 lægges op til tværfagligt samarbejde. I den forbindelse er det relevant at undersøge, om elevernes præstationer i de forskellige fag følges ad. Er det sådan, at en høj løsningssikkerhed i et fag hænger sammen med en høj løsningssikkerhed i et andet fag? Hvis det er tilfældet, siger man, at præstationerne er positivt korrelerede, hvilket mere præcist udtrykkes ved den såkaldte korrelationskoefficient. 19 I figur 20 vises et eksempel på sammenhængen mellem løsningssikkerhed i fagene dansk og engelsk. Det fremgår af figuren, at der er en forholdsvis høj sammenhæng mellem præstationerne i disse to fag: Er man god til dansk, er man med stor sandsynlighed også god til engelsk. Indtrykket understøttes ved at se på værdien af korrelationskoefficienten, der er på 0,80, hvilket er den højeste 18 Se i øvrigt Kapitel 7 om overgange mellem trin. I temakapitlet om disse overgange i Trintestrapport 2010 beskrev vi også, hvorledes eleverne rent fagligt bevæger sig på et generelt, normativt niveau, men også på det formative niveau. 19 Korrelationskoefficienten er et statistisk beregnet tal, der kan antage alle værdier mellem 1 og +1. Værdier tæt på 0 indikerer at der ikke er nogen nævneværdig sammenhæng. Værdier tæt på 1 eller +1 markerer omvendt stærk sammenhæng, enten i negativ eller positiv retning. 40

41 Løsningssikkerhed matematik (%) Løsningssikkerhed engelsk (%) værdi af korrelationskoefficienter blandt alle fag ved testene 2012, jf. tabel 4 næste side. Denne korrelationskoefficient er uændret i forhold til I perioden lå den på 0,75. Figur 20: Sammenhæng mellem løsningssikkerhed i fagene dansk og engelsk i 7. klasse i Løsningssikkerhed dansk (%) I figur 21 vises sammenhængen mellem fagene grønlandsk og matematik i 7. klasse. Figur 21: Sammenhæng mellem løsningssikkerhed i fagene grønlandsk og matematik i 7. klasse i Løsningssikkerhed grønlandsk (%) Her ses en mindre klar sammenhæng mellem præstationerne i de to fag, da punkterne ligger væsentligt mere spredt omkring linjen i figuren. Det indtryk understøttes da også ved at se på værdien af korrelationskoefficienten, som i dette tilfælde er på 0,49, som er noget højere i forhold til 2011, hvor det lå på 0,45. I tabel 3 og tabel 4 er korrelationskoefficienten for alle kombinationer af fag angivet for 3. og 7. klasse i Korrelationsværdierne ligger faktisk ikke særligt højt mellem de fleste fag og man 41

42 efterlades med et indtryk af, at forventningen om, at hvis man er god til ét fag, så er man sikkert også god til de andre fag, ikke holder helt. Tabel 3: Korrelationskoefficienten mellem fag i 3. klasse i Grønlandsk Grønlandsk - 0,43 0,41 0,43-0,44 0,41 0,44 - Tabel 4: Korrelationskoefficienten mellem fag i 7. klasse i Grønlandsk Engelsk Grønlandsk - 0,40 0,41 0,49 0,40-0,80 0,49 Engelsk 0,41 0,80-0,50 0,49 0,49 0,50 - I perioden findes de højeste korrelationskoefficienter i 3. klasse mellem elevpræstationer i fagene dansk og matematik, hvor det ligger på 0,51 i 2008 og 0,44 i 2012, dvs. sammenhængen bliver mindre klar i denne periode. De laveste korrelationsværdier i 3. klasse findes mellem elevpræstationerne i fagene grønlandsk og matematik med 0,37 i 2008 og 0,41 i Sammenhæng mellem elevpræstationerne i fagene grønlandsk og dansk synes heller ikke at være til stede, hvor værdierne ligger mellem 0,41 i 2008 og 0,43 i Generelt ligger korrelationskoefficienterne lavt i 3. klasse og det indikerer, at det er svært at afdække det tværfaglige samarbejde alene ud fra trintestresultaterne. Som tidligere nævnt findes de højeste korrelationskoefficienter i 7. klasse mellem fagene dansk og engelsk. Denne tydelige sammenhæng fortsætter i hele peioden De laveste korrelationsværdier i 7. klasse findes mellem fagene grønlandsk og engelsk, mellem grønlandsk og matematik, mellem engelsk og matematik samt mellem grønlandsk og dansk, hvor værdierne ligger mellem 0,39 og 0,50 i perioden Heller ikke i 7. klasse kan man anvende trintestresultaterne meningsfuldt til at beskrive den tværfaglige samarbejde alene ud fra disse data. 6.3 Løsningshastighed Udover løsningssikkerheden måles også løsningshastigheden ved trintest. Fokus har i de tidligere rapporter været rettet mod analyser af løsningssikkerheden, men fra og med Trintestrapport 2010 blev løsningssikkerhed og -hastighed i elevresultaterne sammenholdt, hvorefter der opstod nye interessante analysevinkler i forhold til trintest. 42

43 For langt de fleste fags vedkommende er medianværdien for løsningshastigheden 100. Det betyder, at 50% eller flere af eleverne når at se på samtlige opgaver i løbet af den tid, der er afsat til testen. Kun for fagene grønlandsk og matematik i 3. klasse er medianværdien mindre end 100, hvilket altså betyder, at mindre end 50% af eleverne når alle opgaver. Generelt set er der ikke opgaver nok, hvis man vil fastholde at kunne skelne mellem eleverne i løsningshastighed. Hvis man ønsker at benytte løsningshastighed som en aktiv del af evalueringen, også for den hurtigste halvdel af eleverne, må antallet af opgaver i trintestene øges, således at der opnås bedre adskillelse af eleverne, da det skal være muligt at skelne mellem alle elever ved hjælp af løsningshastigheden, uanset om der er tale om en hurtig eller langsom elev. Dog må man nøje vurdere, om en sådan forlængelse af opgavesæt i fagene kan medføre forøgelse i antallet af oversprungne opgaver. Dette er en afvejning, som må vurderes før sådan en forlængelse af opgavesæt foretages, da antallet af oversprungne opgaver i de forskellige fag synes at variere med længden og sværhedsgraden af opgavesættene. 6.4 Sammenhæng mellem løsningssikkerhed og løsningshastighed Det er almindeligt i mange standardiserede systemer, som benyttes som referencer for den praktiske prøvetagning, at man sammenholder løsningssikkerhed og -hastighed i ét kategorisystem. I forbindelse med Trintestrapport 2010 blev denne sammenhæng introduceret og nedenfor vises nogle eksempler på dette. I figur 22 på side 44 er sikkerheden i faget matematik i 3. klasse holdt sammen med hastigheden i samme fag for trintest i Hvert punkt repræsenterer en elevs præstationer på disse to mål. Som det fremgår, er næsten alle kombinationsmuligheder repræsenteret i grafen. Langsomme og hurtige elever kan altså både præstere lavt og højt i løsningssikkerhed ved trintest og det viser altså at man i skolen står over for en række udfordringer i forhold til den didaktiske proces. Det skal dog bemærkes, at der bag ved et enkelt punkt i grafen kan ligge én eller flere elever, således at figuren kan komme til at tegne et lidt misvisende billede. Imidlertid sker dette sammenfald ikke hyppigt på grund af selve konstruktionen af værdierne for hastighed og sikkerhed. Et stort sammenfald ville også betyde, at figuren skulle indeholde væsentlig færre punkter end de knap 700, som vides at have leveret værdier til testen. 43

44 Løsningssikkerhed (%) Løsningssikkerhed (%) Figur 22: Sammenhæng mellem løsningssikkerhed og løsningshastighed i faget matematik i 3. klasse i Løsningshastighed (%) Der ses en tendens til, at elever, der når at løse alle opgaver, præsterer alle mulige værdier af løsningssikkerheden, mens elever med lav løsningshastighed tilsyneladende præsterer højt på sikkerheden. Hermed tegner der sig et billede af den langsomme, men grundige elev, der svarer korrekt på de opgaver, som nås selv om de ikke er mange. I figur 23 er sammenhængen mellem løsningssikkerhed og løsningshastighed i faget matematik i 7. klasse opstillet. Her synes billedet endnu mere udtalt, hvor den langsomme elev er forholdsvis sikker, mens den hurtige elev præsterer alle mulige løsningsværdier. Figur 23: Sammenhæng mellem løsningssikkerhed og løsningshastighed i faget matematik i 7. klasse i Løsningshastighed (%) Endelig viser figur 24 sammenhængen mellem løsningshastighed og løsningssikkerhed i faget grønlandsk i 7. klasse for Her tegner der sig det klassiske billede, hvor langsomme elever har lav sikkerhed og modsat, at hurtige elever har høj sikkerhed. 44

45 Løsningssikkerhed (%) Figur 24: Sammenhæng mellem løsningssikkerhed og løsningshastighed i faget grønlandsk i 7. klasse i Løsningshastighed (%) De klassiske kategorier af langsomme og usikre og hurtige og sikre elever findes ikke blandt præstationerne i de fleste grønlandske trintest. Dette billede går igen i samtlige analyser i perioden Den umiddelbare konsekvens af en manglende eller stærkt skiftende sammenhæng mellem løsningssikkerhed og løsningshastighed er, at man ikke simpelt kan kategorisere elever i disse grupper. 6.5 Kommuner Generelt ligger elevpræstationerne i 3. klasse under middel i sprogfagene grønlandsk og dansk, bortset fra Kommuneqarfik Sermersooq, hvor præstationerne i faget dansk ligger over middel. I faget matematik ligger præstationerne i samtlige kommuner over middelpræstation. I 7. klasse ligger elevpræstationerne i sprogfagene grønlandsk, dansk og engelsk i gennemsnit på middel niveau i samtlige kommuner. I faget matematik ligger de kommunale præstationerne under middel. Der er dog tydelig variation mellem fagene og mellem kommuner. I figur 25 er løsningssikkerheden vist for 3. klasse i de 4 kommuner i Det bemærkes for det første, at der er markante forskelle i fagligt niveau både inden for faget matematik og inden for sprogfagene mellem kommunerne. Ud over variation mellem skoler og mellem sprog er det variationen mellem kommuner, der generelt viser de største forskelle i elevbesvarelserne i trintest. I faget grønlandsk i 3. klasse er der markant forskel mellem Qeqqata Kommunia, der topper, og Kommuneqarfik Sermersooq, der ligger i bund, mens Qaasuitsup Kommunia og Kommune Kujalleq ligger imellem. I faget dansk er det lige omvendt, hvor Kommuneqarfik Sermersooq har de højeste værdier for løsningssikkerhed, mens Qeqqata Kommunia ligger i bund. Det er i faget matematik man finder de højeste kommunale elevpræstationer i 3. klasse og som ligger på eller over middel i alle kommuner. Elevpræstationerne er nogenlunde ensartede mellem kommunerne i dette 45

46 Løsningssikkerhed i % Løsningssikkerhed i % fag. Qeqqata Kommunea har de højeste præstationer og Kommuneqarfik Sermersooq den laveste løsningssikkerhed i dette fag, mens Qaasuitsup Kommunia og Kommune Kujalleq ligger imellem. Figur 25: Løsningssikkerhed pr. kommune i 3. klasse i alle trintestfag i Grønlandsk Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia I figur 26 er den kommunale løsningssikkerhed vist for 7. klasse i Her er variationen inden for fagene grønlandsk og dansk størst med Qeqqata Kommunia og Qaasuitsup Kommunia, som de kommuner, der har det højeste løsningssikkerhed i faget grønlandsk over middel niveau, mens Kommuneqarfik Sermersooq har den højeste løsningssikkerhed over middel i faget dansk, mens de øvrige kommuner ligger på middel niveau. I engelsk ligger Kommuneqarfik Sermersooq på toppen med præstationer i den øvre del af middel niveau, Qeqqata Kommuina følger lige efter, mens Qaasuitsup Kommunea ligger i den nedre del af middel præstation og Kommune Kujalleq ligger lige under middel. Det er inden for faget matematik, de laveste løsningssikkerheder findes i 7. klasse med Qaasuitsup Kommunia med den højeste løsningssikkerhed, som dog ligger under middel ligesom de andre kommuner. Figur 26: Løsningssikkerhed pr. kommune i 7. klasse i alle trintestfag i Grønlandsk Engelsk Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia 46

47 Løsningssikkerhed i % Løsningssikkerhed i % 6.6 Byer og bygder Der knytter sig en særlig interesse for at måle forskellen mellem elever fra byer og bygder. Mange bygder, hvor der bor ca. 15% af alle landets børn, oplever en tilbagegang både befolkningsmæssigt og erhvervsmæssigt. Det fremføres også ofte i debatten om folkeskolens resultater, at bygdeeleverne generelt har lavere faglige færdigheder i forhold til byeleverne. Følgende sammenligninger mellem elevresultater fra byer og bygder nuancerer denne opfattelse. Figur 27 og 28 viser løsningssikkerheden i 3. henholdsvis 7. klasse for 2012 for byer og bygder. Figur 27: Løsningssikkerhed mellem byer og bygder i alle trintestfag i 3. klasse i Grønlandsk By Bygd I figur 27 fremgår det tydeligt, at på landsniveau klarer bygdeeleverne i 3. klasse sig bedre end byeleverne i samtlige fag i 2012, også i faget dansk, hvor bygdeelever ellers har klaret sig med lavere præstationer i forhold til byeleverne i dette fag siden trintest blev indført i 2007 og frem til Det er første gang sådan en fremgang observeres i trintest i faget dansk i 3. klasse. Figur 28: Løsningssikkerhed mellem byer og bygder i alle trintestfag i 7. klasse i Grønlandsk Engelsk By Bygd 47

48 By-Bygd (%-point) I 7. klasse klarer eleverne i byerne sig generelt bedre end eleverne i bygderne i fagene dansk og engelsk. Især i faget dansk er forskellen tydelig. I faget grønlandsk har eleverne i bygderne klaret sig ofte bedre end eleverne i byerne både for 3. og 7. klasse. I faget matematik ligger løsningssikkerheden i bygderne i 7. klasse over niveauet i byerne By og bygd over tid Sammenligninger af elevpræstationer mellem byer og bygder over tid viser også interessante mønstre set i forhold til den generelle opfattelse. Rammebetingelserne for undervisning i folkeskolen er meget forskellige i byer og bygder. Der er to helt afgørende forskelle. Byskolerne har generelt en langt større andel af uddannede lærere end bygdeskolerne, der i stor udstrækning er nødt til at anvende timelærere. En anden karakteristisk træk er, at elevtallet og dermed klassekvotienten i byskolerne er langt højere end i bygdeskolerne. Figur 29: Forskellen mellem elevernes resultater i trintest over tid i byer og bygder - 3. klasse Grønlandsk Figur 29 viser forskellen mellem medianværdien for 3. klasseelever i byskolerne hhv. bygdeskolerne. 20 Billedet varierer fra år til år, men der tegner sig alligevel nogle generelle mønstre. I dansk har byeleverne generelt ligget markant over bygdeeleverne, hvilket dog ikke kan undre, da dansk er mere udbredt som sprog i byerne end i bygderne. Det er dog tydeligt, at billedet vendte i 2012 uden at der på nuværende tidspunkt kan peges på en forklaring på denne udvikling. Forskellen mellem by- og bygdeelevernes præstationer i faget dansk i 3. klasse er blevet mindre og mindre over årene, hvor resultaterne i 2012 er i bygdernes favør. Billedet er modsat i grønlandsk, hvor bygdeeleverne i 3. klasse generelt klarer sig bedre end byeleverne i hele perioden. Igen er den umiddelbare forklaring, at grønlandsk er mere udbredt og anvendt i bygderne. Det er endelig interessant at se, at der ikke er den store forskel i matematik. I visse år klarer bygdeeleverne sig bedre end byelever. 20 Hvis kurven ligger over 0 betyder det, at byeleverne er bedre end bygdeeleverne. Det modsatte gør sig gældende, hvis kurven ligger under 0. 48

49 Løsningssikkerhed i % By-Bygd (%-point) Vendes blikket mod resultaterne i 7. klasse ses de samme mønstre, jr. figur 30. Figur 30: Forskellen mellem elevernes resultater i trintest i byer og bygder - 7. klasse Grønlandsk Engelsk Byeleverne i 7. klasse klarer sig ligesom i 3. klasse betydelig bedre i dansk. Men det ses også, at tendensen har været klart faldende siden I grønlandsk klarer bygdeeleverne i 7. klasse sig bedre end byeleverne og dette mønster har været stabilt hen over årene. I engelsk er byeleverne bedre end bygdeeleverne og dette billede har været entydig i hele perioden. Bygdeeleverne i 7. klasse klarer sig generelt bedre i matematik end byeleverne og denne udvikling har været nogenlunde stabil for årene Piger og drenge Forskelle mellem piger og drenge i forhold til læring og undervisningssystemet i det hele taget er et meget omdiskuteret emne i den internationale litteratur. Emnet har dog ikke tiltrukket megen opmærksomhed i grønlandske studier, og viden om kønsforskelle i uddannelsessystemet er meget begrænset. Figur 31 og figur 32 viser løsningssikkerheden for piger og drenge på 3. hhv. 7. klasse for året Figur 31: Løsningssikkerhed for piger og drenge i 3. klasse i Piger Drenge 0 Grønlandsk 49

50 Piger-Drenge (%-point) Løsningssikkerhed i % Figur 32: Løsningssikkerhed for piger og drenge i 7. klasse i Piger Drenge 0 Grønlandsk Engelsk Det fremgår, at piger klarer sig bedre end drenge i næsten alle fag både i 3. og i 7. klasse. Det er kun i faget matematik i 3. klasse, drengene klarer sig bedre. Pigernes præstationer i 7. klasse er markant bedre i fagene grønlandsk, dansk og engelsk. Forskellen i matematik er også i pigernes favør, men er her mindre udtalt end i de andre fag Piger og drenge over tid Ud fra de data, som fremkommer, har mange sikkert den opfattelse, at skolen er i pigernes favør. Det synspunkt understøttes dog ikke helt og holdent af de internationale skolemålinger som PISA og TIMSS. Resultaterne er blandede og varierer over tid, men en generel tendens er, at piger generelt er bedre til læsning mens drenge er bedre til matematik og naturfag. Der er som beskrevet indsamlet trintestresultater for perioden og dermed er der gode muligheder for at komme med bud på, hvordan billedet ser ud i Grønland. Figur 33: Forskellen mellem pigernes og drengenes resultater i trintest - 3. klasse Grønlandsk

51 Piger-Drenge (%-point) Figur 33 viser forskellen mellem pigernes og drengenes medianværdier i de tre discipliner: grønlandsk, dansk og matematik. 21 Billedet varierer fra år til år, men der tegner sig alligevel nogle generelle mønstre. I grønlandsk klarer pigerne sig generelt markant bedre end drengene og denne forskel har været voksende i perioden. Forskellen ligger i gennemsnit på 10 procentpoint, hvilket er meget. Også i dansk klarer pigerne sig bedre end drengene om end billedet er mere varierende. I matematik derimod er der ikke nogen tydelig tendens i forskelle mellem piger og drenge i 3. klasse. Det er særlig interessant at bemærke, at drengene i 2012 har haft en højere medianværdi end piger og det vil være interessant at følge om denne tendens fortsætter ved afholdelse af de kommende års trintest. Også i faget dansk har pigerne klaret sig bedre end drengene, selv om denne variation har været svigende i perioden Figur 34: Forskellen mellem pigernes og drengenes resultater i trintest - 7. klasse Grønlandsk Engelsk Sproglig baggrund og præstationer På opgavernes forside har eleverne krydset af, om deres sproglige baggrund er grønlandsk, dansk eller blandet. 71% af eleverne mener at have grønlandsk sproglig baggrund, 16% mener at have blandet sproglig baggrund og 6% af eleverne mener at have dansk sproglig baggrund. En del elever undlod at svare på spørgsmålet, måske fordi afkrydsningen ikke var tydelig og måske fordi formuleringen i spørgsmålet ikke var klart og dækkende. 21 Hvis kurven ligger over 0 betyder det, at piger er bedre end drenge. Det modsatte gør sig gældende, hvis kurven ligger under 0. 51

52 Figur 35: Løsningssikkerhed og sproglig baggrund - 3. klasse i Grønlandsk-sprog -sprog Blandet-sprog 0 Grønlandsk Figur 36: Løsningssikkerhed og sproglig baggrund - 7. klasse i Grønlandsk-sprog -sprog Blandet-sprog 0 Grønlandsk Engelsk Det er bemærkelsesværdigt, at der er markant niveauforskel mellem elever med grønlandsk og dansk sproglig baggrund både i 3. og 7. klasse. Dette er et gennemgående billede i samtlige fag og som fastholdes igennem hele forløbet siden trintest blev indført, når det ses bort fra faget grønlandsk, hvor grønlandsk sprogede elever ikke overraskende klarer sig bedre i forhold til rent dansksprogede og tosprogede elever. Det kan betyde, at skoler og lærere må sætte langt større fokus på arbejdet med sprogstimulering af grønlandsk sprogede elever, undervisnings- og elevdifferentiering og bevist, målrettet pædagogisk arbejde, når 71% af samtlige elever i 3. og 7. klasse viser klart lavere trintestresultater i så centrale fagområder som dansk og matematik. Der er ikke nærmere undersøgt, hvorfor den største elevgruppe af rent grønlandsksproglig baggrund klarer sig dårligere i test bortset fra i eget sprog. 6.9 Fagligt stærke og svage elever I forbindelse med trintest kan man ikke ud fra objektive kriterier fastlægge, hvornår man ser en god eller mindre god præstation, eller om en elev er faglig stærk eller svag. Det skyldes, at der i forbin- 52

53 Hyppighed % delse med trintestene endnu ikke er taget stilling til, hvad der set fra didaktisk side skal til for at opnå en god eller dårlig præstation. Det er derfor helt op til konstruktørerne af trintestopgaverne at bestemme, hvor svær en samlet test skal være ud fra samlingen af enkeltopgaver eller items, som de også kaldes. Hvis items er gennemgående svære, bliver niveauet af procent korrekte svar tilsvarende lav. Det er en erfaring, at trænede opgavekonstruktører kan styre sværhedsgraden, således at de fleste elever besvarer et sted mellem ca. 20% og 80% af opgaverne korrekt. Tallene 20% og 80% er ikke tilfældigt valgte tal, fordi de repræsenterer testpsykologiske grænser for, hvor langt ud til siderne, man i praksis bør gå. Det er international erfaring fra PISA eller TIMSS og PIRLS undersøgelserne, at man bør tilstræbe en gennemsnitlig eller median løsningssikkerhed på ca. 60% for en test som et tilfredsstillende resultat Fagligt stærke elever Figur 37 viser, hvor mange elever i procent, der klarer at besvare trintesten med en løsningssikkerhed på mere end 80%. Under alle omstændigheder vil en sådan præstation være bemærkelsesværdig, hvis ikke opgaverne er meget lette. Elever, der klarer at besvare opgaverne med mere end 80% rigtige, kaldes fagligt stærke elever. Figuren viser, hvor hyppigt forekommende denne kategori af elever er for året 2012, opdelt på kommunerne. Figur 37: Hyppighed af fagligt stærke elever i 3. klasse pr. kommune i Grønlandsk Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia Først bemærkes det, at i 3. klasse har faget grønlandsk den laveste andel af stærke elever i samtlige kommuner. I faget dansk skiller Kommuneqarfik Sermersooq sig markant ud med en meget stor andel af stærke elever. Kommune Kujalleq og Qeqqata Kommunia markerer med størst andel af stærke elever i faget matematik efterfulgt af Kommuneqarfik Sermersooq, mens Qaasuitsup Kommunia har den laveste andel af stærke elever i dette fag. I figur 38 vises hyppigheden af fagligt stærke elever i 7. klasse. Her skiller Kommuneqarfik Sermersooq sig markant ud med særligt mange stærke elever i dansk og engelsk. Desuden ses det, at der er meget få stærke elever i faget matematik i samtlige kommuner. 53

54 Hyppighed % Figur 38: Hyppighed af fagligt stærke elever i 7. klasse pr. kommune i Grønlandsk Engelsk Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia Der kan være mange forskellige grunde til andelen af de stærke elever. Kommuneqarfik Sermersooqs gunstige placering i dansk og engelsk er oplagt, mens det for de øvrige er sværere at komme med præcise forklaringer på nuværende tidspunkt Fagligt svage elever I figur 39 og figur 40 vises hyppigheden af fagligt svage elever. Det er elever, som opnår løsningssikkerhed, der er lavere end 20%. Disse elever har dermed løst mindre end en femtedel af de opgaver, der er forsøgt besvaret. Uanset en generel diskussion om gode eller mindre gode præstationer er dette kriterium en karakteristik af en præstation, som er svag. I 3. klasse ses der tydelig opdeling mellem kommunerne i antallet af fagligt svage elever i faget grønlandsk, hvor Kommune Kujalleq og Kommuneqarfik Sermersooq har de største andele af fagligt svage elever efterfulgt af Qaasuitsup Kommunia, mens Qeqqata Kommunia har den laveste andel. Kommuneqarfik Sermersooqs lave andel af svage elever i dansk er spejlbilledet af kommunens store andel af stærke elever i dansk i 7. klasse. I dette fag skiller Kommune Kujalleq og Qaasuitsup Kommunia sig ud med relativt mange svage elever. Det er i faget matematik man finder de mindste andele af svage elever i 3. klasse i samtlige kommuner. 54

55 Hyppighed % Hyppighed i % Figur 39: Hyppighed af fagligt svage elever i 3. klasse pr. kommune i Grønlandsk Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia I 7. klasse skiller særligt Kommune Kujalleq sig markant ud med mange fagligt svage elever i fagene matematik og engelsk, mens denne kommune også markerer sig ved ikke at have ingen fagligt svage elever i fagene grønlandsk og dansk ligesom Qeqqata Kommunia. Det er kun Kommuneqarfik Sermersooq og Qaasuitsup Kommunia, som har fagligt svage elever i disse to fag. Det er kun Qaasuitsup Kommunia og Kommuneqarfik Sermersooq, som har andele af fagligt svage elever i samtlige fag. 22 Som ved fortolkningen af andelen af de stærke elever, er det her endnu mere vanskeligt at komme med forklaringer på, hvorfor billedet ser ud som det gør. Figur 40: Hyppighed af fagligt svage elever i 7. klasse pr. kommune i Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup kommunia 0 Grønlandsk Engelsk 22 I Trintestrapport 2010 ligger kommunale andele af svage elever i 7. klasse relativt højt. Relative andele af svage elever blandt kommunerne er blevet mindre i 2011 og har siden ændret sig markant i 2012 i henhold til opgørelsen af data i januar

56 7. Dynamiske sammenhænge og overgange mellem de forskellige trin I Trintestrapport 2010 indgik et temakapitel, der handlede om dynamiske analyser af trintestresultater. Det er analyser, der indeholder et tidsmæssigt perspektiv, hvor de samme elever følges over tid, f. eks. fra 3. til 7. klasse og fra 7. klasse til folkeskolens afgangsprøver i 10. klasse. Det vil dog først være muligt at følge den enkelte elev fra 1. klasse og til og med 10. klasse i 2013, når eleverne første gang har fulgt hele skolereformen. Det er muligt at lave sådanne analyser, fordi elevernes resultater registreres med deres cpr numre. Det skal bemærkes, at denne mulighed er unik for Grønland, hvor mange andre, også nordiske lande, forhindres i denne type analyser gennem en meget restriktiv registerlovgivning. Opbevaringen af cpr-numrene skal dog ske efter de gældende registerforskrifter, der tager sigte på at data opbevares med fortrolighed og at data ikke må offentliggøres, når enkelte elever vil kunne genkendes i materialet. Temakapitlets resultater vagte en del opmærksomhed. Et resultat var, at der synes at være tale om en meget stor dynamik mellem eleverne fra 3. til 7. klasse, mens billedet så at sige fryser fast fra 7. klasse til aflæggelse af folkeskolens afgangsprøver i 10. klasse. Temakapitlet gav som sådan ikke nogen konkrete forklaringer på, hvorfor det forholder sig således, da der er tale om en normativ analyse. Det består i at analysere elevens besvarelser, der er registreret som korrekt eller ikkekorrekt. Her beregnes en elev-score for antallet af rigtige besvarelser eventuelt omregnet til procent rigtige efter de retningslinjer, som er beskrevet tidligere. 23 De dynamiske analyser går i dette tilfælde ud på at undersøge, om eleven har ændret sit præstationsniveau eller har bevaret sit faglige færdighedsniveau i sammenligning med de andre elever evt. i relation til en norm, der er fælles for alle elever i folkeskolen. Det er vigtigt at være opmærksom på, at normative analyser kun ser på elevernes indbyrdes eller relative placering. At elever over tid skifter plads fra f. eks. at tilhøre de bedre elever til at være blandt de dårligere, behøver ikke nødvendigvis at betyde, at de absolut set er blevet fagligt dårligere og har mistet færdigheder, selvom det kan være tilfældet. Det kan nemlig også betyde, at elever omkring dem er blevet relativt bedre. Det er et oplagt emne for forskningen i de kommende år at forstå denne dynamik. Derfor bliver disse dynamiske beregninger gennemført som en fast bestanddel af de kommende års trintestrapporter, for herved at kunne vurdere billedet man så i temakapitlet i 2010 gentager sig eller om der sker ændringer. Som det vil fremgå er de opdaterede figurer i 2012 meget lig dem, der første gang blev præsenteret i 2010-rapporten og som blev gentaget i 2011, så mønstret har ikke ændret sig særlig meget når man i 2012 kigger tilbage i tiden. Det andet analyseniveau er det didaktiske niveau, som består i, at man noterer selve indholdet af elevens besvarelse. I tilfælde af Multiple Choice opgaver 24 går dette ud på at notere præcis, hvilken 23 Se f. eks. Kapitel 4 om metode, hvor beregning af procent rigtige svar ud fra antallet af rigtige besvarelser sat i relation til antallet af opgaver, som eleven har nået at se på, bliver beskrevet. 24 Opgaver med faste svarmuligheder, som eleven skal vælge imellem, ofte fire muligheder. 56

57 svarmulighed eleven faktisk har valgt som svar uanset om det er rigtigt eller ej. Ved at sammenholde elevens faktiske svar på flere opgaver, kan der opnås en forståelse af elevens styrker og svagheder vurderet på et didaktisk niveau set i relation til læringsmålene for faget. Det giver læreren et betydeligt mere detaljeret billede af elevernes forståelse af faget og er dermed et grundlag for at ændre på undervisningen, som passer godt ind i den løbende evaluering af eleverne. Et vigtigt resultat ud fra denne analyse var, at en del elever mister allerede opnåede færdigheder her konkret i faget matematik i ældstetrinnet. Sådanne didaktiske analyser er forholdsvis komplicerede at udføre, da det kræver etablering af opgaver der i sværhedsgrad nogenlunde kan sammenlignes mellem elever i 7. og 10. klasse. Didaktiske analyser vil løbende blive berørt i de kommende års trintestrapporter. I nedenstående figur 41 vises, hvilke dynamiske spor der kan følges i Elever, der gik til trintest 2008 i 3. klasse, vil for en stor parts vedkommende aflægge trintest i 7. klasse 4 år efter, altså i Ligeledes vil elever, der aflagde trintest i 7. klasse i 2008, for en stor dels vedkommende aflægge folkeskolens afgangsprøver i Figur 41: Overgange mellem trin Afgangsprøve 10. kl Trintest Trintest 2008 Trintest Trintest 2012 Trintest Trintest Kvantitativ og /eller kvalitativ ændring I figurerne dannes fire felter ved hjælp af de to linjer for landsnormtallene i hver af de tre grafer. Denne lodrette linje angiver landsgennemsnittet i grønlandsk i 3. klasse i 2008, mens den vandrette linje angiver landsgennemsnittet i dette fag i 7. klasse i Kategorierne under landsgennemsnit og over landsgennemsnit giver nogle karakteriseringer for hver elev: 1. at være under landsnorm i 2008 og under landsnorm i 2012 (nederst venstre hjørne) 2. at være over landsnorm i 2008 og under landsnorm i 2012 (nederst højre hjørne) 3. at være over landsnorm i 2008 og over landsnorm i 2012 (øverste højre hjørne) 4. at være under landsnorm i 2008 og over landsnorm i 2012 (øverste venstre hjørne) 57

58 7. klasse (%) GRønlandsk 7. klasse (%) Figur 42: Sammenhæng mellem elevpræstationer i faget grønlandsk i 3. og 7. klasse i Grønlandsk 3. klasse (%) Figur 43: Sammenhæng mellem elevpræstationer i faget dansk i 3. og 7. klasse i Figur 44: Sammenhæng mellem elevpræstationer i faget matematik i 3. og 7. klasse i klasse (%) Man kan sige at især eleverne i gruppe 2 og 4 påkalder sig interesse, fordi disse elever viser en negativ henholdsvis positiv dynamisk udvikling fra 2008 til Der er tale om en betydelig ændring af elevernes indbyrdes placering fra 2008 til 2012, selv om de ekstremt svage eller ekstremt dygtige elever i 2008 vil være at finde på samme pladser i Men 58

59 for mange elever sker der en forandring i deres normative placering fra 3. klasse til 7. klasse. Størst forudsigelighed mht. til den dynamiske udvikling gælder for faget dansk, hvor et velkendt mønster god før god nu, svag før svag nu er synlig. De dynamiske analyser kan også studeres ved at sammenholde præstationer fra de samme elever ved 7. klasses trintest med 10. klasses afgangsprøve. Dette er gjort for faget matematik ved trintesten og matematik i færdighedsregning ved 10. klasse vurderet ved 7-trins karakterskala. Ved 10. klasses afgangsprøven er der valgmulighed mellem flere prøveresultater i faget matematik, 25 men skriftlig færdighedsregning er valgt, fordi dette fagligt set bedst kan sammenlignes med trintestresultaterne i 7. klasse. Korrelationskoefficienten 0,39 mellem 3. klasse og 7. klasse i faget matematik kan sammenlignes med det tilsvarende tal for graden af overensstemmelse mellem resultaterne mellem 7. klasse og 10. klasse. Det kendte mønstre god før god nu og svag før svag nu er tydeligere ved overgangen fra 7. klasse til 10. klasse sammenlignet med overgangen fra 3. klasse til 7. klasse. Man kan karakterisere dette træk ved de dynamiske analyser inden for matematik som en påpegning af, at det er ved overgangen fra 3. til 7. klasse der sker noget, nemlig at elever går op eller ned, mens tingene ligger mere fast ved overgangen fra 7. til 10. klasse. Der flyttes ikke så meget rundt på elevernes niveau af præstationer efter 7. klasse. Tabel 5: Overgange mellem 7. og 10. klasse i faget matematik. Afgangsprøve/Trintest God Middel Svag I alt God Middel Svag I alt I Tabel 5 er grænserne for kategorierne God, Middel, og Svag sat sådan, at der for afgangsprøvens vedkommende benyttes karaktererne 2 og 7 som delepunkter mellem de tre kategorier. For trintestvurderingen benyttes 40 og 70 procent rigtige ved løsningen af opgaverne, som grænser mellem de tre kategorier. Det fremgår, at 52% af eleverne bevarer deres position fra trintestvurderingen til afgangsprøvevurderingen. 26 Der er 115 elever (18%), som går fra en position som en Middel ved trintest til en Svag position ved afgangsprøven, mens der kun er 8 elever går fra God til Svag. 25 mundlig/skriftlig, færdighedsregning/ problemregning, årskarakter/ prøvekarakter. 26 Dvs. God God, Middel Middel og Svag Svag : (( )/627*100 = 52%). 59

60 8. Aspekter af etablering af en præstationsskala for trintest i Grønland 8.1 Indledning I uddannelsessystemer verden over bliver elever og studerende hele tiden evalueret og vurderet i forhold til opgaver og prøver i løbet af deres uddannelsesforløb. Det er helt naturligt, at eleven eller den studerende har krav på en bedømmelse af en mundtlig fremlæggelse eller en skriftlig besvarelse eller opgave. 27 I nogle testsituationer anvendes en meget åben evalueringsform, der består i en angivelse af, om elevens præstation er bestået eller Ikke bestået. En sådan bedømmelse ledsages ofte af en mere eller mindre detaljeret begrundelse, som kan være mundtligt, skriftligt eller begge dele, fra underviser og eksaminator. Den type af bedømmelse har sine fordele og ulemper. Den positive side ved en sådan åben evalueringsform er, at den netop er åben og giver et rum for en fleksibel evaluering af elevens præstation og kan pege fremad uden at fastlåse eleven i en bestemt bås bestemt ved en karakter. Omvendt kan det være svært at vurdere efterfølgende, hvor god eller hvor dårlig præsentationen eller opgaven rent faktisk kan bedømmes på en mere fintmasket skala, hvilket afhænger ganske meget af det feed-back, som eleven modtager. Mere typisk er det, at eleven tildeles en karakter, typisk et tal eller et bogstav, efter en entydig fastlagt skala, som indplacerer eleven på hvad man ofte kalder en præstationsskala. Igen kan der siges for og imod denne mere kontante og summative måde at vurdere og evaluere på. Det er umiddelbart let at forholde sig til bedømmelsen af den udførte præstation og samtidigt nemt at sammenligne sig med andre elever. Omvendt giver denne evalueringsform sjældent information om, hvorfor udfaldet af præstationen blev som den blev og peger dermed ikke fremad i forhold til læring hvad var rigtigt og hvad var forkert? Grønland indførte i perioden 1. august august 2009 en ny karakterskala, der hermed erstattede den tidligere anvendte 13-skala. Den nye skala benævnes GGS-skalaen. 28 Den er nu den primært anvendte skala i uddannelsessystemet i Grønland ved aflæggelsen af folkeskolens prøver i 10. klasse og i det videre uddannelsessystem. En væsentlig begrundelse for indførelsen af GGSskalalen var hensynet til at kunne sammenligne grønlandske elevers præstationer i forhold til udlandet, og dermed kunne danne et retvisende billede i forhold til deres krav på optagelse på videregående studier i udlandet. Danmark havde forud for indførelsen af GGS-skalaen i Grønland allerede overgået til 7 trins-skalaen, hvilket givetvis var den væsentligste grund til denne ændring af karaktergivningen i det grønlandske uddannelsessystem. 29 GGS-skalaen måler elevens præstation på en skala bestående af 7 kategorier. Skalaen starter fra bogstavet A, som også betegnes den Fremragende præstation, og som oversættes til den numeriske værdi 12, og ned til bogstavet F, som betegnes som den Ringe præstation, og som oversættes til den numeriske værdi -3. Betegnelserne Fremragende og ned til Ringe er i bekendtgørelsen 27 I dette kapitel anvendes fremover betegnelsen eleven, da kapitlet er rettet mod aktører i og omkring folkeskolen. 28 Greenlandic Grading System, som er en 7-trinsskala. 29 Grønlands Hjemmestyre (2008): Den nye karakterskala. 60

61 omkring GGS-skalaen ledsaget af kortfattede standardiserede tekstbeskrivelser af, hvad bedømmelsen dækker over. Elever i Grønlands folkeskole kan ikke dumpe til folkeskolens afgangsprøve. Alle elever modtager et afgangsbevis med års- og prøvekarakterer angivet, hvor det er muligt. 30 Alligevel ligger der nogle kriterier i den lovgivning, som omgiver uddannelsessystemet efter folkeskolen, som peger ret entydigt på, hvad der forstås ved bestået / ikke bestået. Elever har et retskrav på optagelse på en gymnasial uddannelse i Grønland i op til 2 år efter at have forladt folkeskolen, såfremt alle standpunkts- og prøvekarakterer i de obligatoriske fag ved afslutningen af 10. klasse er på E eller derover. Desuden skal projektopgaven have fået en bedømmelse på E eller derover. Rektor kan dog dispensere for disse kriterier i særlige tilfælde. 31 Kriterierne for optagelse på en erhvervsfaglig grunduddannelse varierer noget fra uddannelse til uddannelse. I udgangspunktet er E omdrejningspunktet i forhold til optagelse på mange af de erhvervsfaglige uddannelser, der udbydes. 32 Til forskel fra afgangsprøverne i folkeskolen, er der ikke etableret en egentlig præstationsskala for trintest. Eleven får at vide af læreren, hvor mange rigtige opgaver der blev besvaret i opgavesættet, eventuelt suppleret med nogle kommentarer fra læreren til eleven, men der er på nuværende tidspunkt ikke fastlagt en formel procedure for, hvordan der sker en tilbagemelding til eleven. Lovgivningen, der regulerer trintestsystemet, indeholder ingen mere formelle anvisninger på, efter hvilke retningslinjer eleven skal evalueres. Der tegner sig således en tilsyneladende paradoksal situation. Prøverne ved afslutningen af 10. klasse og videre frem er ikke-standardiserede prøver, dvs. de ændrer indhold og måske også variation i sværhedsgrad fra år til år. Disse prøver har heller ikke været igennem en mere grundig analyse af, om de overholder psykometriske krav. Alligevel bedømmes disse meget eksakt ud fra 7-trinsskalaen. 33 Helt modsat er billedet for trintest. Disse er for det første standardiserede, hvor items 34 i opgavehæfterne er de samme stort set fra år til år. Desuden har testene inden de første gang blev taget i brug gennemgået en systematisk testprocedure i hele landet i perioden , således at der er en vis sikkerhed for, at testene nogenlunde overholder gældende krav om psykometrisk homogenitet. Alligevel bedømmes disse test, der om nogen burde være egnede til det, ikke ud fra en præstationsskala, og lærer og elev sidder måske tilbage med spørgsmålet: Var den opnåede løsningssikkerhed for eleven på f. eks. 45% udtryk for en tilfredsstillende præstation? Også fra det politiske system kan det være utilfredsstillende, at trintestsystemet ikke giver et umiddelbart svar 30 Elever, der har modtaget vidtgående specialundervisning, får også et prøvebevis, dog uden angivelse af karakterer. 31 Inatsisartutlov nr. 13 af 22. november 2011 om den gymnasiale uddannelse. 32 Internt notat fra Departementet for Uddannelse og Forskning. 33 Det skal bemærkes, at der lige nu arbejdes på at standardisere færdighedsprøverne ved 10. klasses afsluttende prøver. Der vil dog formodentlig gå nogle år inden man er klar til at tage disse standardiserede prøver i brug. 34 Items og opgaver benyttes i flæng dette kapitel. 61

62 på, om det grønlandske testsystem er godt nok og om det står mål med lande, som vi på den ene eller anden måde skal konkurrere med. Der kan være forskellige grunde til, at der ikke er formuleret præstationsskala for trintest. En oplagt grund er, at prøver ved f.eks. udgangen af 10. klasse eller et gymnasialt uddannelsesforløb evaluerer et samlet uddannelsesforløb, hvor der samtidig er behov for en klar måling af elevens standpunkt i forhold til det videre forløb i uddannelsessystemet. Trintest afholdes derimod i løbet af elevens forløb mellem 1. og 10. klasse, nemlig ved udgangen af yngstetrinnet og udgangen af mellemtrinnet. Der er ikke krav om et bestemt resultat for at kunne rykke op i næste trin. Dermed får trintest naturligt et andet formål end afsluttende prøver, da de blandt andet danner grundlag for pædagogiske/didaktiske tiltag i forhold til elevens videre og endnu ikke afsluttede forløb i folkeskolen. Herudover kan der ligge en uddannelsespolitisk holdning bag denne situation, måske et bevidst ønske om ikke at tildele elever i folkeskolen karakterer meget tidligt i sit skoleforløb. Dette aspekt, og den forskning der i øvrigt diskuterer betydningen af test og karaktergivning i folkeskolen, vil ikke blive berørt i dette temaafsnit. Formålet med temakapitlet er for det første at beskrive aspekter af den måde man kan evaluere elever i folkeskolen på. I den forbindelse indplaceres det grønlandske trintestsystem i en klar evalueringsmodel. Derudover vises det, at der relativt enkelt kan etableres en simpel præstationsskala for trintestsystemet, der om ikke tildeler eleven en karakter, så dog alligevel angiver et mål for præstationen. Men som det vil fremgå af temakapitlet, anbefaler Evalueringsafdelingen en bredere evalueringsramme, der ikke blot sammenfatter elevens resultat i et tal, men også, i hvert fald inden for sprogfagene, inddrager aspekter omkring elevens såkaldte løsningshastighed og desuden fokusere på elevens præstationer indenfor de læringsmål, faget sætter som en standard for elevens læring. Kun ved at bruge en mere nuanceret evalueringsmodel, opnås det bedst mulige udbytte af trintestsystemet. Det skal endnu engang understreges, at lovgivningen, der regulerer trintest, ikke indeholder kriterier, der kan tolkes som en præstationsskala. De anbefalinger og retningslinjer, der præsenteres i dette afsnit er derfor alene vejledende og altså ikke bindende i forhold til skolernes praksis. De lande, der deltager i internationale spørgerammer som f. eks. PISA, får automatisk en slags præstationsskala forærende, når det deltagende land indplaceres på rangliste over de deltagende lande. Grønland deltager som bekendt ikke i internationale undersøgelser vedrørende folkeskolen, men sidst i kapitlet vendes aspektet omkring en eventuel fremtidig deltagelse i et internationalt evalueringsdesign. 62

63 8.2. Rammer for et evalueringsdesign Der kan opstilles flere forskellige rammer for at foretage en evaluering af f. eks. elever i folkeskolen på. Når man etablerer et evalueringsdesign, som f. eks. trintestsystemet, bør en række spørgsmål først afklares: Hvem er brugeren af evalueringssystemet? Er det lærer/elev/forældre eller har systemet til hensigt at tilvejebringe information til et politisk niveau med hensyn til at foretage uddannelsespolitiske beslutninger? Eller begge dele? Hvordan gennemføres evalueringen? Hvordan indgår læringsmålene i forhold til testen? Hvordan udregnes elevens løsningssikkerhed og løsningshastighed? Grundlæggende evalueringsrammer En første overvejelse, der bør gøres ved opbygning af et testsystem er, om systemet skal være Curriculum baseret eller Litteracy baseret. 35 Curriculum baserede tests kaldes også pensumevaluering. Eleven testes i at kunne opfylde de mål, som defineres af læringsmålene. Trintest er netop af denne testtype. I afsnit 8.2.2, side 67, vises der konkrete eksempler på spørgsmål baseret på læringsmål. Det bemærkes desuden, at IEA, 36 som står for spørgerammer som TIMSS og PIRLS, også anvender Curriculum baserede test. En oplagt fordel ved denne type test er, at testen giver indsigt i didaktiske forhold omkring elevens læring og samtidig giver et feedback til lærerne. Det er i denne forbindelse af stor vigtighed, at opgaverne i trintestene er relateret til konkret nedskrevne læringsmål, altså er Curriculum orienterede, fordi fejlsvar på den beskrevne måde bliver en central bro mellem på den ene side læringsmålene og på den anden side elevernes færdigheder, fortolket gennem deres svar. Den anden form for test er de såkaldte Litteracy baserede tests eller kompetence baserede test. Når opgaverne er konstrueret ud fra Litteracy konceptet, lægges der vægt på andre sider af elevernes færdigheder, hovedsageligt koncentreret om elevens anvendelse af den erhvervede viden. I PISA-undersøgelserne, hvor alle opgaver er af Litteracy typen, er der ingen reference til læringsmål. Inden for faget læsning tester man f. eks. elevernes evne eller kompetence til at læse mellem eller bag ved linjerne frem for på linjerne, som man gør i Curriculum orienterede opgaver. Eleven læser f. eks. en lang historie og skal under det Litteracy orienterede scenarie beskrive, hvem historien er skrevet til, 37 mens en Curriculum orienteret opgave f. eks. kan spørge præcist ind til, om en navngiven person i teksten er vred Der henvises til Allerup P., Jansen M. og Weng P. (2011): Evaluering i skolen: Baggrund, praksis og teori. Dafolo, for en nærmere beskrivelse af disse to evalueringsformer. 36 International Association for the Evaluation of Educational Achievement. 37 dvs. formålet med det skrevne. 38 hvilket eksplicit skal fremgå af teksten. 63

64 Den mere eller mindre tætte forbindelse, der eksisterer mellem læringsmål og opgaverne, har som antydet afledte konsekvenser for fortolkningen af, hvad eleven mangler i relation til de opstillede læringsmål for at kunne besvare opgaven/opgaverne korrekt. Dette hvad kan i tilfælde af et Curriculum orienteret scenarie iklædes didaktiske beskrivelser og derved udgøre grundlaget for en formativ evaluering, hvorunder lærer og elev fortolker fejlene og evt. planlægger fremtidige tiltag i undervisningen med henblik på at fjerne disse fejl. Ved det Litteracy orienterede opgavescenarie skabes der ikke et tilsvarende didaktisk grundlag for en formativ evaluering og med vægten lagt på fortolkninger af fejl, som i høj grad drejer sig om elevens færdigheder mht. at kunne anvende det lærte, bliver formidlingen af resultaterne i højere grad normativ end formativ. PISA er et godt eksempel på en international evaluering, hvor rangorden 39 spiller en stor rolle, og hvor det formative element først fremkommer, når man foretager flere parallelle normative bedømmelser i skikkelse af elevprofiler, som er beregnet over flere faglige delområder på én gang. Eksemplet nedenfor viser et Litteracy baseret spørgsmål, hentet fra den senest gennemførte PISA undersøgelse i dvs. normativ evaluering. 64

65 Figur 45: Eksempel på en opgave fra PISA Læringsmål Som nævnt er det grønlandske trintestsystem et Curriculum baseret system, således at der testes i forhold til forskellige læringsmål. I afsnit gennemgås en vurdering af elevbesvarelserne til de grønlandske trintest, som finder sted, når man ser på besvarelsen af en række opgaver og skal tage stilling til om præstationen er god eller dårlig. I dette afsnit illustreres nogle af punkterne nævnt ovenfor gennem et eksempel på side 67 og som består af 6 opgaver fra TIMSS. 40 Alle seks opgaver tænkes at skulle anvendes til test inden for faget matematik på klasseniveau. Udformningen af opgaverne er ikke anderledes end de opgaver, som benyttes i trintestene. Som det ses er opgaverne i nogle spørgsmål udformet således, at alle kan besvares ved enten at vælge én af de fire på forhånd givne svarmuligheder, eller at svare ved at skrive et tal, som ved opgave 3 (40). Alle opgaver er af typen Multiple Choice, der har én rigtig 40 TIMSS-opgaverne nr. 35, 37, 40, 41, 46 og 12 er i dette eksempel på side 67 fået tildelt numrene 1 6 i den nævnte rækkefølge. 65

66 svarmulighed og tre andre svarmuligheder, de såkaldte distraktorer, der repræsenterer forkerte svar. Opgave 3 (40) har et opgaveformat, som kaldes kort svar, fordi svaret gives ved et enkelt tal, eller måske et ord. Den første vurdering af opgaverne går ud på at se efter de læringsmål, som ligger bag ved hver af dem. Tabel 6: Beskrivelse af læringsmål i Curriculum baserede opgaver. Opgave nr. Læringsmål Kognitiv domæne 1 (35) Søjle- /cirkeldiagram Anvendt matematik 2 (37) Brøk Anvendt matematik 3 (40) Multiplikation Algebra 4 (41) Addition Anvendt matematik 5 (46) Koordinater Geometri 6 (12)?? Det er relativt let at placere de første 5 opgaver under de angivne læringsmål og kognitive domæner. Men opgave 6 passer ikke umiddelbart ind i rækken af matematikopgaver. Det er ikke nemt at placere den inden for test af de fire simple regningsarter eller lignende og i det hele taget er det svært at se, at opgaven overhovedet udfordrer en evne til at benytte matematik hos eleven. Mens de første 5 opgaver således hver især kan vurderes som udfordringer i forhold til konkrete læringsmål inden for faget matematik, betyder denne indledende analyse, at man bør eliminere opgave 6 som værende udenfor det område, som de første 5 opgaver peger på. Hvis man ikke aktivt foretager eliminationen allerede i denne fase, vil ét af de næste analytiske skridt med test af Rasch modellen måske pege på, at opgaven ligger uden for de andre fem. 66

67 Opgave 1 Opgave 2 Opgave 3 Opgave 4 Opgave 5 Opgave 6 67

68 8.2.3 Hvordan evalueres der? Det grønlandske trintestsystem evaluerer eleven ved udgangen af yngstetrinnet i 3. klasse og ved udgangen af mellemtrinnet i 7. klasse. Det er her væsentligt at bemærke, at disse nedslagspunkter for evalueringen er valgt med omhu, idet eleven så at sige har været igennem et forløb i skolen, hvor visse læringsmål forventes at være indlærte for alle elever i Grønland. Evaluerede man på andre tidspunkter i skoleforløbet, ville det være nødvendigt at udarbejde spørgsmål i forhold til, hvor langt eleverne var nået i pensum. 41 Spørgsmålene i trintest er typisk opbygget som Multiple Choice spørgsmål med fire svarkategorier. En af de fire svarkategorier er det rigtige svar, mens de øvrige tre svarkategorier betegnes distraktorer. Hvis de statistiske analyser af de fem opgaver ved hjælp af Rasch modellen falder sådan ud, at der er klare problemer med at beskrive variationen ud fra modellen at man altså må forkaste Rasch modellen skal elevbesvarelserne vurderes ud fra de rå svarmønstre, som er fremkommet fra eleverne. Med de fem opgaver indebærer dette, at man skal se på svarmønstre af den type, som er gengivet herunder i tabellen til venstre: Elev Opgave nr. nr A B 7 B D 2 A A 7 D D 3 B A 7 B D 4 A B 11 D A 5 B C 2 A B 6 A A 7 D D Elev Opgave nr. Råscore, nr antal rigtige Elev nr. 1 har krydset A og B af ved de to første spørgsmål, skrevet 7 ved opgave nr. 3 og krydset B og D af ved opgave nr. 4 og 5. I tabellen til højre er angivet, om besvarelsen er rigtigt med 1 for korrekt og med 0 for forkert. Elev nr. 4 s og elev nr. 5 s fejl på både opgave 3 og opgave 4 kan være forårsaget af, at de to elever ikke har forstået betydningen af et lighedstegn og læreren kan evt. benytte denne diagnostiske information som grundlag for sin videre undervisning i klassen eller med planlægning af specielle tiltag over for netop disse to elever. På tilsvarende måde kan mange af de andre svar danne et solidt grundlag for en diagnostisk evaluering af svarmønstrene 41 Et argument, der ofte fremføres uformelt fra lærere i folkeskolen er, at der går for langt tid mellem testene. På den enkelte skole kan man naturligvis evaluere gennem egne test på andre tidspunkter i skoleforløbet. Fordelen ved trintest er, at det er de samme spørgsmål, der testes på alle skoler på stort set samme tidspunkt ved udgangen af yngste- og mellemtrinnet. 68

69 og være del af den formative evaluering, som er ét af hovedsigterne med en test. Kan det f. eks. være, at elev nr. 4 har problemer med at læse tal, siden eleven fint klarer opgave nr. 1 og 5, men fejler på opgaver, hvori tal indgår? Man skal lægge mærke til, at der intet sted i denne diagnostiske fase er tale om at klassificere det ene eller andet svarmønster som værende udtryk for en god eller dårlig besvarelse. Dimensionen god dårlig eksisterer ikke og kan ikke hente inspiration fra antallet af korrekt løste opgaver den såkaldte rå-score, som er opgjort i tabellen til højre. Netop fordi Rasch modellen i dette eksempel tænkes at være afvist som gyldig beskrivelse, forsvinder samtidig muligheden af at tildele antallet af rigtige besvarelser mening i forhold til at måle elevfærdigheden, jf. Rasch s sætning nævnt oven for. Hvad gør man så, hvis man fra svarmønstrene vil gøre sig overvejelser om, hvad der er en god og hvad der er en dårlig besvarelse? Umiddelbart ligger der et utal af mulige svarmønstre, som herefter skal sættes ind i to kasser svarende til den gode og dårlige besvarelse. Afhængig af, om et konkret elevsvar lander i den ene eller den anden kasse, får eleven dermed betegnelsen stærk eller svag. Faktisk er der i ovenstående eksempel med 5 opgaver med hver 4 svarmuligheder et potentielt antal på = 1024 forskellige svarmønstre. Det er mange og det er lige så umiddelbart, at ingen, selv nok så kendt med matematiske, diagnostiske systemer, overkommer at gennemgå samtlige 1024 muligheder og markerer deres tilhørsforhold til klasserne god eller dårlig. Men det ville også vise sig at være noget overflødigt, fordi de to grundlæggende dimensioner i test, nemlig dimensionerne elevdygtighed og opgavesværhed, er koncepter, som er centrale. Når det drejer sig om gode dårlige forskelle, skal man altså fokusere på selv i diagnostiske overvejelser at indrage konkret viden om, om eleven formår at fremkomme med rigtige svar. Måske kan klassen af gode besvarelser underopdeles efter sværhedsgrad? Det er f. eks. en faglig vurdering, at opgave 2 s komplekse referencer med brøker er sværere end opgave 1 s simple grafiske rangordninger af størrelser. Konsekvensen af disse overvejelser er, at man i stedet for at se på samtlige 1024 svarmønstre som grundlag for en kvalitativ beskrivelse af god eller dårlig besvarelse kan nøjes med at se på de svarmønstre, der opstår, når man alene ser efter om svaret på det enkelt spørgsmål er korrekt eller ej. Dette giver i alt = 32 forskellige muligheder. Altså en væsentlig reduktion i forhold til de oprindelige Tabellen ovenfor til højre giver 6 eksempler på disse mønstre, svarende til 6 elevers besvarelser. Med 32 forskellige svarmønstre er det en betydelig mere overkommelig opgave at lægge mønstrene i det to kasser svarende til god eller dårlig besvarelse. Desuden viser al erfaring, at på trods af, at man ikke kan bruge antallet af rigtige besvarelser, 42 så falder mange klassifikationer alligevel tilbage på antallet af rigtige besvarelser, når man kikker dem efter måske i fravær af tilstrækkelig faglig indsigt i det didaktiske grundlag, her bagved matematiktesten. 42 Rasch modellen er jo ikke godkendt. 69

70 Hvis de statistiske analyser af de fem opgaver ved hjælp af Rasch modellen omvendt falder sådan ud, at der ingen problemer er med at beskrive variationen ud fra modellen altså at Rasch modellen er en egnet beskrivelse af data så tildeles antallet af rigtige besvarelser for hver elev en mening i forhold til at måle elevfærdigheden. I dettte tilfælde et mål for matematikdygtigheden Måling af løsningssikkerhed og løsningshastighed Efter gennemførelsen af trintest opstår så spørgsmålet om, hvordan elevens præstation bedømmes. Det bemærkes, at alle trintestopgaverne stort set består af Multiple Choice spørgsmål samt enkelte kortsvarspørgsmål således at det er ret enkelt at optælle rigtige og forkerte svar. Før de fulde konsekvenser tages af, at vurdering af elevfærdigheden kan ske via antallet af rigtige besvarelser, skal det bemærkes, at man normalt ikke benytter det rå tal for antal rigtige besvarelser, fordi tallet selvfølgelig skal ses i relation til antallet af stillede opgaver. Derfor er det normalt at omregne antallet af rigtige besvarelser til procent rigtige besvarelser. Det er imidlertid lettere sagt end gjort, fordi nævneren, antallet af stillede opgaver, enten kan være det totale antal opgaver, som findes i testen eller det antal opgaver, som eleven har set på. Dette tal kan relativt nemt bestemmes, når eleven bedes om at løse opgaverne fra hæftets start og fremefter, ud fra iagttagelse af hvilken opgave, der er den sidste, der er forsøgt besvaret. Antallet af opgaver, som eleven har set på betegnes ofte som antal passerede opgaver. I det omfang, eleven ikke når at se på samtlige opgaver, bliver der en forskel mellem procent rigtige, udregnet i forhold til antal passerede opgaver eller udregnet i forhold til det totale antal opgaver i testen. Det er et tal som afhænger af, hvor hurtigt eleven går igennem løsningsprocessen. I de tidligere trintestrapporter er metoderne til beregning af elevfærdigheden samt hastigheden diskuteret. Her skal det blot fremhæves, at en anden konsekvens af, at Rasch modellen kan benyttes som beskrivelse af data er, at det principielt set er muligt at bestemme elevdygtigheden ud fra et hvilket som helst delsæt af opgaver, som man måtte ønske. Dette er en betingelse, kaldet specifik objektivitet, som er en del af de grundlæggende sætninger bag ved Rasch modellen. Det betyder, at der ikke er noget problem under Rasch modellen ved alene at se på de opgaver, som eleven har forsøgt at løse i stedet for at referere til alle opgaver i testen, dvs. inddrage opgaver ved beregningerne, som eleven ikke har set. 70

71 Faktaboks 7: Eksempler på beregning af elevens løsningssikkerhed. Den første metode er at optælle antal korrekte svar og sætte dette tal i forhold til opgavesættets samlede antal items. Det er måden man f. eks. tildeler elever i f. eks. færdighedsprøver i 10. klasse. Den anden metode er at se på antallet af rigtige besvarelser i forhold til de opgaver, som eleven har passeret eller rørt ved. Den sidst passerede opgave er den sidste opgave, som eleven aktivt har løst. Herudfra kan man enten tælle antal oversprungne opgaver frem til den sidst passerede opgave som fejl eller blot som ubesvaret. Et par eksempler kan vise forskellen mellem forskellige måder at gøre elevens sikkerhed i opgaveløsningen op på. Det antages at opgavesættet består af 10 items. Først antages det, at eleven har løst opgavesættet efter følgende mønster: Item Svar I ovenstående eksempel har eleven løst de første 5 spørgsmål. Resten står som ubesvarede. 3 af opgaverne er noteret korrekt besvaret (koden = 1), mens 2 opgaver er noteret forkert (koden = 0). Herudfra kan man uddrage tre tal for elevens løsningssikkerhed: 1. 30% = 3 /10*100, beregnet i forhold til alle antal opgaver % = 3/5*100, beregnet i forhold til antal passerede opgaver. Hvis man vælger at udmåle elevens sikkerhed på baggrund af det samlede antal items i opgavesættet, uanset om de er berørt eller ej, bliver løsningssikkerheden naturligvis lavere end hvis man udregner den på baggrund af de antal opgaver eleven har passeret. I nedenstående tabel er svarmønstret ændret derved, at eleven har sprunget opgave 2 over (koden = blank). Item Svar Nu ændrer beregningen af løsningssikkerheden sig således: 1. 30% = 3/10*100, beregnet i forhold til alle opgaver i testen % = 3/5*100, beregnet i forhold til antal passerede opgaver, inkl. oversprungne % = 3/4*100, beregnet i forhold til antal passerede opgaver, men eksl. oversprungne. Trintestene lægger to mål til grund for elevurderingen: Procent rigtige udregnet i forhold til antallet af passerede opgaver som udtryk for løsningssikkerheden og antallet af passerede opgaver som et udtryk for løsningshastigheden. Rasch modellen forudsættes godkendt på baggrund af den såkaldte Field Trial afprøvning, hvor et stort antal elevers besvarelser indgår i data med nogle udkast til den endelige test, og som indeholder en del flere opgaver end man regner med bliver det endelige antal. Så er der plads til at kassere opgaver undervejs i kontrol af modellen, og som ikke passer til Rasch modellen. For hver elev foreligger der derfor to tal: løsningssikkerheden og løsningshastigheden. I 1970 erne blev det en tradition i danske test, ofte udviklet på Psykologisk Forlag, at markere en elevs resultat på to ben, dvs. med henvisning til begge mål på én gang. Det sker typisk i tabeller som 71

72 nedenstående, hvor hastigheden grupperes i tre grupper (lodret): Langsom, Middel og Hurtig og tilsvarende i tre grupperinger for sikkerheden: Usikker, Middel og Sikker. De grænser, som blev anvendt til at gruppere var delvist fagligt begrundet, men bar i høj grad også præg af at være en ligelig tredeling af elevernes reultater på hver af de to variable. Dermed kan man sige, at inspirationen til grænserne henter næring fra sædvanlige normative rangordningsprincipper, hvor at være blandt de x% hutigste eller mest sikre er i fokus snarere end at blive bedømt efter en dybere faglig fortolkning af hvad der f. eks. helt konkret ligger bag ved elevens 80% sikkerhedsmål, altså for en elev, der løser 80% af de sete opgaver korrekt. Tabel 7: Elevernes resultater opgjort på løsningshastighed og løsningssikkerhed. Hastighed\Sikkerhed Usikker: 1 Middel: 2 Sikker: 3 Langsom: 1 15% 10% 3% Middel: 2 12% 17% 11% Hurtig: 3 2% 10% 20% Tabellens tal viser fordelingen af samtlige elevers resultater på de to mål. De fremhævede tal i tabellens diagonal 15%, 17% og 20% markerer med deres størrelse en gruppe af langsomme og usikre elever, en gruppe af middel elever og i den anden ende en stor gruppe af hurtige og sikre elever. Princippet i denne to-dimensionale vurdering er gennemført i analyserne af trintestresultaterne i Trintestrapport 2007 ved en grafisk markering af skolers gennemsnitlige præstationer i forhold til andre skoler i den kommune, skolen tilhører. I behandlingerne af trintestresultater for den enkelte elev, har løsningssikkerheden været i fokus og løsningshastigheden har ikke indtil videre haft en fremtrædende rolle i formidlingen. Det skyldes flere forhold. Disse forhold kan illustreres med baggrund i et eksempel. Tabel 8 herunder tænkes at indeholde resultaterne fra 11 elever i klasse 3.a i et af trintestfagene. Den tilhørende graf viser relationen mellem sikkerhed og hastighed og det bekræftes, at der er en positiv sammenhæng mellem de to variable. Som det fremgår, er der 6 elever som når at se på alle opgaverne, 43 mens resten af eleverne er langsommere. 43 hvor løsningshastighed er =

73 Tabel 8: Krydstabel mellem løsningssikkerhed og løsningshastighed i klasse 3.a. Elever i 3. a Løsningssikkerhed Løsningshastighed Nedenfor diskuteres, hvorledes det er muligt at bedømme de enkelte elevers resultater i forhold til at være en god eller dårlig præstation og hvordan man evt. kan komme frem til en bedømmelse for hele klassen. Uden at tage stilling til dette spørgsmål, som drejer sig om en såkaldt absolut vurdering af elevresultaterne, kan man overveje, hvor langt man kan komme alene ad den vej, hvor man sammenligner elevers præstationer to og to. Figur 46: Relationen mellem løsningssikkerhed og løsningshastighed i klasse 3.a Usikre og langsomme elever Elev nr. 2 Elev nr. 7 Elev nr Sikre og hurtige elever 73

74 Ser man på enkeltresultaterne i Tabel 8 og på grafen i figur 46, er der ikke megen tvivl om, at elev nr. 11 er bedre end elev nr Elev nr. 11 er både sikrere og hurtigere end elev nr. 2. Men hvordan falder en sammenligning ud mellem elev nr. 2 og elev nr. 7? Som man kan se på grafen, ligger elev nr. 2 lidt nord-vest for elev nr. 7, dvs. på tværs af den trendlinje, som er markeret af de store tal i krydstabellen mellem sikkerhed og hastighed. Trendlinjen giver en fornuftig fortolkningsbaggrund for mange vurderinger, som fremkommer netop som elev nr. 2 og nr. 11, fordi der her refereres til ensrettede forskelle inden for hver af de to variable: sikkerhed og hastighed. Det giver en ønsket mulighed for at pege på bedre og dårligere præstationer. Men sådan er det ikke ved sammenligningen mellem elever nr. 2 og nr. 7. Den enkleste løsning går i dette tilfælde ud på at fraskrive sig retten til at bedømme, hvem af de to elever, der klarede sig bedst. Omfanget af denne fraskrivning hænger præcist sammen med, hvor mange elever, der falder uden for trendlinjen, dvs. hvor mange punkter på grafen, der falder uden for en slags linje fra nederste venstre hjørne til øverste højre. Det er en slags trøst, at det empiriske grundlag, som dannes af mange trintestresultater viser, at der ikke er overvældende mange elever uden for trendlinjen, fordi der i praksis 45 har vist sig at være en høj korrelation mellem løsningssikkerhed og løsningshastighed. Det konkrete spørgsmål om sammenligningsmuligheder mellem elever kan derfor løses ved i hovedsagen at benytte den eksisterende trendlinje som basis for udsagn om bedre versus dårligere præstationer, målt med begge variable samtidigt, og ellers tage de to variable som udgangspunkt for en kvalitativ vurdering af elevernes præstationer. Man kan forestille sig, at der på samme skole er en 3.b klasse, som består af 7 elever med følgende resultater: Tabel 9: Krydstabel mellem løsningssikkerhed og løsningshastighed i klasse 3.b. Elever i 3. b Løsningssikkerhed Løsningshastighed Her kan man stille spørgsmålet, hvilken klasse er den bedste? Igen en sammenligning mellem elever i dette tilfælde flere på én gang uden at tage stilling til, om den enkelte klasses resultater i sig selv er gode eller dårlige. Sammenligningen kræver, at man fremskaffer nogle tal, som sim- 44 Elev nr. 11 har løsningssikkerhed = 90 og løsningshastighed = 100, mens elev nr. 2 har løsningssikkerhed = 51 og løsningshastighed = 48. Elev nr. 7 har løsningssikkerhed = 43 og løsningshastighed = prøver og tests udarbejdet under Psykologisk Forlag, f. eks. OS64, OS120, SL40, SL60 m.fl. 74

75 pelt og i overensstemmelse med grundvariablene løsningssikkerhed og hastighed kan karakterisere hver af klasserne. For at lade sig at inspirere til hvad slags tal det kan være, er det nødvendigt at se på den statistiske fordeling af de to variable. Det sker ved at se på følgende grafer over hhv. løsningshastighed og løsningssikkerhed, som er lavet på baggrund af samlede Trintestdata fra 2012: Figur 47: To grafer over fordelingen af løsningshastighed. Figur 48: To grafer over fordelingen af løsningssikkerhed. Der er tydeligvis tale om meget skæve fordelinger, både for hastighed og sikkerhed, selv om skævheden ikke er af samme type. Fordelingerne er begge steder af en sådan beskaffenhed, at brug af normafordeling er udelukket. Den sidste graf over løsningssikkerhed viser, trods en vis klokkeform, tydelige afvigelser fra den indlagte, fuldt optrukne, normalfordeling. Dermed falder de simpleste og mest brugte måder at karakterisere hele fordelinger af tal ved hjælp af gennemsnit og standardafvigelser væk, fordi disse størrelse alene har mening når der er tale om normalfordelinger. Denne viden fik i forbindelse med udarbejdelsen af den første Trintestrapport i 2007 den konsekvens, at median-tal blev benyttet i stedet for gennemsnitstal. Mediantallet kaldes også for 50% fraktilen. Tallet fremkommer efter at have ordnet tallene i enten stigende eller faldende orden det 75