Analyser og resultater af Trintest 2011 i den grønlandske folkeskole Naliliisarfik Institut for Læring Inerisaavik August 2013
Analyser og resultater af trintest 2011 i den grønlandske folkeskole Institut for Læring Inerisaavik 2013 Forfattere: Peter Allerup, Ellen J. Karlsen, Esekias Therkelsen og Carsten Petersen Layout og grafik: Institut for Læring - Inerisaavik Tryk: Institut for Læring - Inerisaavik Oplag: 500 1. udgave, 1. oplag ISBN: 978-87-585-1164-4 Bestillingsnummer: 62.04.05 2
Indhold Figurliste:... 4 Tabelliste:... 4 1. Forord... 5 2. Resume og læsevejledning... 7 3. Indledning... 10 4. Metode... 13 5. Fortolkning af resultaterne... 22 5.1 Værdier af løsningssikkerhed... 22 5.2 Anvendelse af resultater til vurdering af en skoles resultater... 23 6. Hovedresultater... 27 6.1 Antallet af elever til trintest... 27 6.2 Løsningssikkerhed... 32 6.2.1 Fagene... 32 6.2.2 Sammenhænge mellem fagene... 37 6.3 Løsningshastighed... 40 6.4 Sammenhæng mellem løsningssikkerhed og løsningshastighed... 40 6.5 Kommuner... 42 6.6 Byer og bygder... 43 6.7 Piger og drenge... 44 6.8 Sprog og præstationer... 45 6.9 Fagligt stærke og svage elever... 47 6.9.1 Fagligt stærke elever... 47 6.9.2 Fagligt svage elever... 48 6.10 Dynamiske sammenhænge og overgange mellem de forskellige trin... 49 7. Temaartikel: Negativ social arv... 54 7.1 Indledning... 54 7.2 Definitioner på negativ social arv... 57 7.2.1. De oprindelige definitioner... 57 7.2.2. Den moderne definition... 58 7.3 Opgørelse af den socioøkonomiske baggrund... 59 7.4 Afledte begreber i forhold til negativ social arv... 65 7.4.1 Mønsterbryderen... 66 7.4.2 Korrektion for socioøkonomisk baggrund... 67 7.5 Negativ social arv i Grønland... 69 7.5.1 Særlige forhold vedrørende Grønland... 71 8. Afslutning... 74 9. Referencer... 76 10. Bilag... 78 3
Figurliste: Figur 1: Fordelingen af løsningssikkerhed i dansk i 7. klasse i 2011.... 17 Figur 2: Fordelingen af løsningshastighed i faget dansk i 7. klasse i 2011.... 17 Figur 3: Sammenligning af en skoles resultater for 7. klasse i 2011 med kommune og land.... 26 Figur 4: Antal elever til trintest i 3. klasse i perioden 2007 2011.... 27 Figur 5: Antal elever til trintest i 7. klasse i perioden 2007 2011.... 28 Figur 6: Løsningssikkerhed i faget grønlandsk i 3. klasse. 2007-2011.... 32 Figur 7: Løsningssikkerhed i faget grønlandsk i 7. klasse. 2007-2011.... 32 Figur 8: Box-plots for faget grønlandsk i 3. klasse. 2007-2011.... 33 Figur 9: Box-plots for faget grønlandsk i 7. klasse. 2007-2011.... 34 Figur 10: Løsningssikkerhed i faget dansk i 3. klasse. 2007-2011.... 34 Figur 11: Løsningssikkerhed i faget dansk i 7. klasse. 2007-2011.... 35 Figur 12: Løsningssikkerhed i faget engelsk i 7. klasse. 2007-2011.... 35 Figur 13: Løsningssikkerhed i faget matematik i 3. klasse. 2007-2011.... 36 Figur 14: Løsningssikkerhed i faget matematik i 7. klasse. 2007-2011.... 36 Figur 15: Box-plots for faget matematik i 3. klasse. 2007-2011... 37 Figur 16: Box-plots for faget matematik i 7. klasse. 2007-2011... 37 Figur 17: Sammenhæng mellem løsningssikkerhed i fagene dansk og engelsk i 7. klasse i 2011.... 38 Figur 18: Sammenhæng mellem løsningssikkerhed i grønlandsk og matematik i 7. klasse i 2011.... 39 Figur 19: Sammenhæng mellem løsningssikkerhed og løsningshastighed i matematik i 3. klasse i 2011.... 41 Figur 20: Sammenhæng mellem løsningssikkerhed og løsningshastighed i matematik i 7. klasse i 2011.... 41 Figur 21: Sammenhæng mellem løsningssikkerhed og løsningshastighed i grønlandsk i 7. klasse i 2011.... 42 Figur 22: Løsningssikkerhed pr. kommune i 3. klasse i alle trintestfag i 2011.... 43 Figur 23: Løsningssikkerhed pr. kommune i 7. klasse i alle trintestfag i 2011.... 43 Figur 24: Løsningssikkerhed mellem byer og bygder i alle trintestfag på 3. klasse i 2011.... 44 Figur 25: Løsningssikkerhed mellem byer og bygder i alle trintestfag på 7. klasse i 2011.... 44 Figur 26: Løsningssikkerhed for piger og drenge på 3. klasse i 2011.... 45 Figur 27: Løsningssikkerhed for piger og drenge på 7. klasse i 2011.... 45 Figur 28: Løsningssikkerhed og sproglig baggrund 3. klasse i 2011.... 46 Figur 29: Løsningssikkerhed og sproglig baggrund 7. klasse i 2011.... 46 Figur 30: Hyppighed af fagligt stærke elever på 3. klasse pr. kommune i 2011.... 47 Figur 31: Hyppighed af fagligt stærke elever på 7. klasse pr. kommune i 2011.... 48 Figur 32: Hyppighed af fagligt svage elever på 3. klasse pr. kommune i 2011.... 49 Figur 33: Hyppighed af fagligt svage elever på 7. klasse pr. kommune i 2011.... 49 Figur 34: Overgange mellem trin... 51 Figur 35: Sammenhæng mellem elevpræstationer i grønlandsk i 3. og 7. klasse i 2011.... 52 Figur 36: Sammenhæng mellem elevpræstationer i dansk i 3. og 7. klasse i 2011.... 52 Figur 37: Sammenhæng mellem elevpræstationer i matematik i 3. og 7. klasse i 2011.... 52 Figur 38: Individuelle resultater fra PISA 2000 (y-aksen) sammenholdt med samme elevers socioøkonomisk index ESCS (x-aksen).... 61 Figur 39: Sammenhæng mellem "Det faktiske" og "Det forventede" PISA præstationer.... 62 Figur 40: Negativ social arv mht. læsning i PISA for sproglige grupper i et dansk datamateriale.... 63 Figur 41: Positive og negative mønsterbrydere.... 67 Figur 42: Eksempel på korrektion af elevpræstationer, vist i figur 40, med angivelse af gennemsnit - rød og grøn cirkel svarende til gennemsnit på begge akser i de to punktsværme. Danske data.... 68 Tabelliste: Tabel 1: Eksempel på trintestresultater på mellemtrinnet fra en skole. Side 24 Tabel 2: Antal deltagende elever og frafald til trintest 2011. Side 29 Tabel 3: Korrelationskoefficienten i 3. klasse i 2011. Side 39 Tabel 4: Korrelationskoefficienten i 7. klasse i 2011. Side 39 4
Tabel 5: Overgange mellem 7. og 10. klasse i faget matematik. Side 53 5
1. Forord I denne rapport præsenteres resultaterne af de trintest, der blev afholdt på 3. og 7. klasse i foråret 2011. Offentliggørelsen af disse resultater i rapportform sker først i 2013, hvilket primært skyldes opbygning af trintestdatabasen og at Evalueringsafdelingen har et ønske om at data publiceres i rapportform samtidig med at gøre data tilgængelige via en elektronisk platform. Det kræver dog naturligvis, at alle data i denne og kommende publikationer stemmer helt overens med databasens tal, så der ikke opstår misforhold mellem rapporten og den elektroniske database. De data, som danner grundlag for de beregninger, der foreligger i denne rapport, er fra januar 2013. Foreløbige data kan hentes i elektronisk form fra trintestdatabasen via vores hjemmeside: www. inerisaavik.gl Der foreligger nu trintestresultater for en længere tidsperiode, nemlig for årene 2007 2011. Dermed bliver det i større grad muligt at komme med mere sikre vurderinger af, hvordan resultaterne udvikler sig over en periode inden for de enkelte fag på landsplan og for kommunerne. Udviklingen på de enkelte skoler kommenteres ikke af principielle grunde i hovedrapporten, først og fremmest fordi der kan være meget få elever på de enkelte skoler og på dette baggrund giver det ikke mening at udtale sig generelt om skoleeffekter på de enkelte skoler alene ud fra trintestresultater. Derudover er der principielle statistiske problemer med sådanne analyser af skoleeffekter, hvilket redegøres nærmere i temakapitel 7. Trintestresultaterne for 2011 er særligt interessante, idet der for første gang siden indførelsen af trintest nu ses en fremgang i resultaterne i alle fag, på nær matematik i 7. klasse. Det er ikke sket før og er en meget glædelig udvikling, som vil blive beskrevet i denne rapport. Det skal understreges, at vi i trintestrapporterne hovedsageligt foretager summative vurderinger af resultaterne, altså alene beskriver udviklingen uden at komme med mere klare antagelser om, hvorfor udviklingen forløber som den gør. Vi har dog i Kapitel 6 forsøgt at vurdere elevpræstationerne ud fra en normativ vurdering, hvor vi forsøger at beskrive om elevernes resultater er tilfredsstillende eller ej. Inerisaaviks databaser, som dækker resultaterne fra trintest og afgangsprøverne i 10. klasse, er opbygget således, at det er muligt at følge den enkelte elev gennem skoleforløbet. I trintestrapport 2010 præsenterede vi en temaartikel om resultaterne af sådanne dynamiske analyser, hvor vi undersøgte den faglige udvikling hos eleverne fra 3. klasse over i 7. klasse til folkeskolens afgangsprøver i 10. klasse. Fra og med denne rapport gøres sådanne analyser af overgange fra de enkelte trin til en del af den samlede analyse af trintestresultaterne. Det er mit håb, at disse analyser øger opmærksomheden hos lærere og skoleledere mod elevernes faglige progression gennem deres skoleforløb, så den ikke går i stå, men udvikler sig i positiv retning. Som i de foregående trintestrapporter indeholder også denne rapport et temaartikel. Emnet for rapportens temaartikel er begrebet Negativ social arv. Dette begreb er blevet indføjet i den nye lov om folkeskolen, som blev vedtaget i december 2012. Målingen af den negative sociale arv efter de moderne og internationale standarder er ofte tæt knyttet til de resultater, som elever opnår i test i 6
folkeskolen. Evalueringsafdelingen har derfor som en naturlig del af sit arbejde valgt at foretage en foreløbig måling af den negative sociale arv i forbindelse med Trintestrapport 2011 så vidt muligt efter de principper, der anvendes i internationale testsystemer i skolen, som f. eks. TIMSS og PISA. Arbejdet med at udvikle metoder til måling af den negative sociale arv og dermed muligheden for socioøkonomisk justering af trintestresultaterne sker i et samarbejde med Grønlands Statistik. For Grønlands vedkommende mangler vi dog statistik over forældrenes erhverv, som er en af de tre målepunkter, som normalt indgår i beregninger af den socioøkonomiske status. De to andre målepunkter i beregningerne er forældrenes uddannelse og indkomst, som Grønlands Statistik allerede har. Inerisaavik mener, at der på nuværende tidspunkt ikke er grundlag for at justere elevresultaterne fra trintest for socioøkonomisk status. I de første år med trintest har Inerisaavik haft fokus på kvaliteten og sammenligneligheden af de opgaver og spørgsmål, som stilles til eleverne, så det bliver muligt at følge den faglige udvikling over tid. Den næste opgave, som prioriteres fremover, er at udvikle nationale pædagogiske normer i form af en præstationsskala til trintest, så det bliver muligt at komme med vurderinger af, om elevernes præstationer i trintest er tilfredsstillende eller ikke. Fastlæggelsen af en præstationsskala er overordentlig vigtig og skal naturligvis ske på forskningsmæssige vilkår i første omgang i faget matematik og siden hen i sprogfagene. Arbejdet kræver en del analyser og dokumentation, som vil blive udført det meste af 2013. Det skal understreges klart, at elevresultaterne i trintest ikke bør stå alene, når man evaluerer og vurderer elevernes faglige præstationer i skolen. De må ses i sammenhæng med undervisningen og al anden pædagogisk evaluering, som skolerne foretager, f. eks. elevernes fremlæggelse af eget arbejde i 3. klasse, emneorienteret opgave i 7. klasse samt den løbende evaluering. Ligeledes må opgaver i trintest ikke benyttes som erstatningspædagogik for at højne elevernes faglige udvikling, da det er den kvalificerede undervisning, som højner elevernes præstationer i trintest og ikke omvendt. Men trintest kan forhåbentlig være et stærkt redskab til at pejle elevens stærke og ikke mindst svage sider så målrettede pædagogiske tiltag kan sættes i værk. I løbet af 2013 udgives trintestrapporterne med resultater for årene 2011 og 2012. Det er mit håb, at man fra 2013 vil kunne offentliggøre trintestrapporterne forholdsvis hurtigt efter afholdelse af testene, så rapporterne fremstår som aktuelle og dermed mere brugbare for lærere, skoleledere og andre med interesse for folkeskolen og undervisningsområdet i det hele taget. God læselyst. Jens Jakobsen - Leder af Inerisaavik Institut for Læring 7
2. Resume og læsevejledning I foråret 2011 blev der igen afholdt trintest på 3. og 7. klasse. Efter den gældende evalueringsbekendtgørelse for folkeskolen skal der hvert år afholdes trintest i fagene grønlandsk, dansk og matematik på 3. klasse og på 7. klasse afholdes test i de samme fag samt i faget engelsk. Det var femte år i træk, at der blev afholdt egentlige landsdækkende trintest efter tredje og sidste afprøvning i 2006. Arbejdet med udvikling af trintest i Grønland samt indledende bemærkninger om temakapitel om negativ social arv findes i Kapitel 3: Indledning. Trintestene er udviklet således, at opgaver og spørgsmål også kaldet items opfylder de psykometriske krav, der sædvanligvis er opfyldt i internationale test af denne type. Det er en forudsætning for, at elevernes præstationer kan måles og sammenlignes ved et enkelt mål for antal rigtigt løste opgaver. Ved opgørelse og analyser af resultaterne ses der først og fremmest på antal rigtige besvarelser i form af løsningssikkerhed. Ligeledes ses der også på den tid, eleverne har brugt på at løse opgaverne, dvs. løsningshastighed. Udover disse mål præsenteres også mål for, hvor stor variation der er omkring løsningssikkerheden. Denne variation illustreres ved hjælp af box-plots, som på en overskuelig måde sammenfatter megen information om variationen i løsningssikkerhed. Se mere herom i kapitel 4: Metode. Efter afholdelsen af Trintest 2011 foreligger der efterhånden data for så mange år, at man begynder at kunne drage mere sikre statistiske konklusioner om tendenser og mønstre og i den forbindelse opstår der nye analysemåder af elevernes besvarelser. Trintestdatabasens egenskaber undersøges til stadighed og med det forbehold drages der følgende konklusioner for perioden 2007 2011 og konkret for året 2011: Det er obligatorisk for alle elever at deltage i trintest, dog er der mulighed for fritagelse. Antallet af elever, der ikke deltog i trintest i 2011 skønnes at ligge på 12,5% af det samlede elevgrundlag på begge trin. Det kontateres med tilfredshed, at frafaldsprocenten er faldet betragteligt på 3. klasse, men ligger desværre fortsat højt for elever på 7. klasse, hvor ca. hver femte elev ikke deltager i testene. Hvad angår løsningssikkerheden på landsplan kan følgende konkluderes for perioden 2007 2011: 1. Grønlandsk i 3. klasse viser et faglig niveau under middel, der ligger mellem 37% og 50%. Løsningssikkerheden i 3. klasse er dog gået markant frem i perioden, mens niveauet i 7. klasse er over middel med præstationer mellem 60% og 64%, dog har tendensen været negativt i perioden 2007 2010 og en fremgang i 2011. 2. Dansk i 3. klasse viser et faglig niveau under middel med præstationer mellem 44% og 50%, dog har der været en fremgang i peroden, hvor løsningssikkerheden er gået op til 50% i 2011 med et mindre fald i 2010, mens faget i 7. klasse har en pæn middel løsningssikkerhed omkring 60% med en mindre fald i 2010 og en fremgang i 2011. 8
3. Engelsk udviser stabil fremgang over hele perioden. Det faglige niveau har været under middel de fleste år med løsningssikkerhed mellem 46% og 49%, men er kommet op på middel niveau i 2011 med en løsningssikkerhed på 54%. 4. Matematik i 3. klasse ligger på et pænt middel niveau, men udviser stagnation, mens faget i 7. klasse ligger i den lave ende af en middel præstation og er på tilbagegang. Løsningshastigheden er meget høj for de fleste fag, hvilket lige nu gør det vanskeligt at adskille eleverne på denne faktor. Det kan tyde på, at antallet af opgaver i opgavesættene er for lille. Der vil til stadighed være fokus på dette emne fremover. En af de største forskelle i løsningssikkerhed i trintest ligger i de kommunale forskelle. Det gælder først og fremmest for fagene grønlandsk og dansk, mens forskellen er mindre udtalt i matematik. Den sproglige baggrund spiller også en stor rolle for præstationerne i trintest. Elever med en dansk eller blandet sproglig baggrund klarer sig generelt bedre i fagene dansk, engelsk og matematik, mens den største del af eleverne, som har grønlandsk sproglig baggrund, har klart lavere præstationer i disse fag. Elever fra byskoler er bedre i faget dansk end elever fra bygdeskoler. Omvendt er elever fra bygdeskoler bedre i faget grønlandsk end elever fra byskoler. Der er ikke stor forskel i faget engelsk, dog er elever i byskoler en anelse bedre. I faget matematik er bygdeelever ligeså gode som byelever i 3. klasse, men bedre i 7. klasse. Piger præsterer bedre end drenge i alle fag på både 3. og 7. klasse. Elever, der gik til trintest i 3. klasse i 2007 aflagde for en stor dels vedkommende trintest i 2011, ligesom mange elever, der aflagde trintest i 7. klasse i 2008, gik til folkeskolens afgangsprøver i 2011. Derved opstår muligheden for at undersøge, hvordan elevernes indbyrdes placering har forskudt. Denne type af dynamisk analyse blev introduceret i temaartiklen i Trintestrapport 2010 og gøres nu til en fast bestanddel af de kommende års rapporter, da det er vigtigt at følge dette mønster over tid. Resultaterne for dette ligner sidste års resultater: der er megen dynamik blandt eleverne fra 3. til 7. klasse i alle fag. Til gengæld ses der en tendens til, at billedet fryser fra 7. til 10. klasse, forstået således at eleverne fastholder deres relative placering som dygtige eller svage fra 7. klasse til afgangsprøverne. Som i de foregående trintestrapporter indeholder denne rapport også en temaartikel, der går i dybden med et særligt emne. Emnet for denne rapports temaartikel er begrebet negativ social arv, der nævnes i den reviderede lov om folkeskolen fra december 2012 med en bemærkning om, at den negative sociale arv skal bekæmpes. Den negative sociale arv er relevant i forbindelse med analyser af folkeskolen og de resultater, som skolens elever opnår ved aflæggelse af f. eks. trintest. Det skal her anføres, at der ikke tidligere er lavet 9
undersøgelser i større omfang af den negative sociale arv i Grønland på folkeskoleområdet, hvilket nu sker med fremlæggelsen af data og beregninger i denne artikel. Det skal understreges, at de resultater, der fremlægges i artiklen, ikke er udtryk for et endeligt resultat, men er starten på forskning omkring negativ social arv i Grønland, og meningen med at fremlægge de meget foreløbige resultater er at fremme en debat blandt skolefolk og forskere omkring emnet. Et overraskende resultat men dog foreløbigt resultat er, at den negative sociale arv ikke synes at spille nogen nævneværdig rolle her i samfundet i fohold til at forstå elevernes faglige præstationer, hvilket der kan være en række forskellige forklaringer på. En forklaringsmodel, der bringes i spil i denne temaartikel, er en antagelse om, at faste rammer, altså de rammer, som hjemmet danner omkring børn og unge, f. eks. faste sengetider, kan spille en større rolle i et samfund med strukturer som i Grønland. Det er håbet, at temaartiklen kan fremme en pædagogisk debat og diskussion, så emnet kan blive belyst yderligere på et forskningsbaseret grundlag, men også forankret i praktikeres erfaringer. Kapitel 8 indeholder en kort afslutning, mens Kapitel 9 indeholder en liste over de referencer, der er anvendt ved udarbejdelsen af denne rapport. Indtil videre har trintestrapporterne haft referencer og ikke egentlige kildehenvisninger. I forbindelse med introduktionen af temaartikler vil det fremover blive overvejet, om der skal foretages egentlige kildehenvisninger i teksten, så rapporternes troværdighed kan øges, ligesom læserne også kan gå direkte til de anvendte kilder. Kapitel 10 indeholder bilagstabeller og figurer, der for land, kommuner og skoler dokumenterer tallene for trintestene 2007 2011. 10
3. Indledning Arbejdet med at udvikle trintest startede i efteråret 2003. Til og med 2006 blev der i alt gennemført tre afprøvninger 1 før opgaverne første gang blev taget i brug i 2007. En kort beskrivelse af de enkelte afprøvninger og indledende arbejder med hensyn til opstilling af grønlandske landsnormer i trintestfagene er gennemgået i de tidligere trintestrapporter. I yngste- og mellemtrinnet gives der ikke standpunktskarakterer. Eleverne skal ikke bestå trintest som en forudsætning for at rykke op i næste trin i skoleforløbet. Trintest er registrering af elevernes faglige udbytte i et bestemt tidspunkt i skoleforløbet i forhold til læringsmålene i de enkelte trintestfag. Evalueringsafdelingen arbejder nu med at udvikle nationale pædagogiske normer ved at beskrive præstationsniveauer til trintest, så det giver mening for skoler og lærere at angive i vidnesbyrd og i den samlede vurdering efter trin, om en given elevpræstation er tilfredsstillende eller ej. Dette udviklingsarbejde med nationale pædagogiske normer til trintest kræver analyser og dokumentation, og vil derfor tage det meste af 2013. Trintestsystemet måler elevens faglige dygtighed vurderet ud fra antal rigtige opgaver sat i forhold til det antal opgaver, som eleven har nået at kigge på, også benævnt antal passerede opgaver. Dermed er det også muligt at vurdere elevens hastighed under sin opgavebesvarelse. Særligt i 7. klasse er der en tendens til at eleverne når at få kigget på stort set alle opgaver, hvilket f. eks. kan skyldes at eleverne springer mange opgaver over for at blive færdige med hele opgavesættet. Det forhold kunne tyde på, at opgavesættene generelt indeholder for få opgaver. Dermed er det ikke muligt at skelne klart mellem de langsomme og hurtige elever og efterfølgende sætte ind med fokuseret pædagogisk indsats. Langsomme elever har typisk brug for mere træning og øvelse, mens der for en del hurtige elever ofte kan være behov for, at eleven mindsker tempoet og reflekterer over opgavens løsning. Som følge heraf vil opgavesættet i matematik på 3. og 7. klasse blive udvidet med 10 20 ekstra opgaver i 2014 i forsøget på at kunne inddrage løsningshastighed som et aktivt element i evalueringerne. Fra centralt hold er det vigtigt at holde øje med, hvor stor andelen er af folkeskolens elever på 3. og 7. klasse, der ikke tager en eller flere trintest. I princippet skal alle elever deltage i samtlige trintest, med mindre der foreligger en velbegrundet årsag, som f. eks. at eleven har haft vidtgående specialundervisning. I 2007 lå fraværsprocenten på et niveau mellem 20% og 27%, hvilket er meget højt sammenlignet med andre lande. Frem til 2010 faldt fraværsprocenten til ca. 10% på begge klasser, hvilket er et meget markant fald. Det tyder på at trintest nu er introduceret i folkeskolen og at skolerne er blevet væsentligt mere opmærksomme på vigtigheden af deltagelse i trintest. Denne udvikling er positivt, men der er fortsat tale om et højt niveau. Evalueringsafdelingen har igennem 2012 og 2013 arbejdet på at kvalitetssikre skolernes elevregistreringssystem, Tabulex TEA, i samarbejde med flere folkeskoler og det er forventningen at man i forbindelse med afviklingen af trintest 2013 har et validt billede af det reelle omfang af frafaldet. 1 Venneprøver/pilottest i 2004, Field Trial Test i 2005/2006 og Main Study i 2006. 11
Inerisaavik har ligesom skoler og lærere længe ønsket om at få udviklet en slags præstationsskala, altså en skala, der angiver om elevens præstation i trintest er tilfredsstillende eller ej. Her skal det holdes for øje, at målet med trintest ikke er at give eleven en standpunktskarakter for præstationen. Derimod bør nationale pædagogiske normer i form af en præstationsskala til trintest gøre evalueringsarbejdet nemmere og mere ensartet, når der udarbejdes vidnesbyrd og handleplaner for eleverne og når der iværksættes pædagogiske tiltag. Ensartede beskrivelser af disse præstationsniveauer vil også kunne benyttes i forældresamarbejdet. Der kan være behov for at udmelde nogle tommelfingerregler til skolerne, men før det sker, kræver det et grundigt forarbejde. Arbejdet med en skala til beskrivelse af præstationsnivauer hænger nøje sammen med udvikling og opbygning af grønlandske landsnormer i trintestfagene, som fortsat pågår. Efter en årrække, hvor trintestsystemet har været under udvikling, vurderes det nu, at systemet har nået en form, hvor de eksisterende items har en høj kvalitet, hvad angår de psykometriske egenskaber. Det fremadrettede udviklingsarbejde er derfor at få opbygget en egentlig item-bank, som tillader en løbende udskiftning af psykometrisk aftestede opgaver. Dermed vil det også være muligt at frigive tidligere benyttede opgaver, så skoler og lærere har konkrete eksempler på trintestopgaver, når de diskuterer pædagogik og didaktik i tilknytning til den daglige undervisning. Evalueringsafdelingen lægger forsat stor vægt på at skabe størst mulig åbenthed omkring trintest, og at trintestresultaterne i større udstrækning anvendes aktivt i det pædagogiske arbejde i folkeskolerne sammen med resultater fra den løbende evaluering. Trintestsystemet er opbygget omkring læringsmålene i Grønland. Det rejser for det første spørgsmålet om, hvorvidt læringsmålene er maksimums- eller minimumskrav. Dette spørgsmål har dog aldrig fundet et endeligt svar, men Evalueringsafdelingen udarbejder trintest med udgangspunkt i, at læringsmålene er maksimumskrav, da det er vigtigt at lærere og elever ved, hvilke konkrete kriterier som benyttes ved evalueringen og vurderingen af elevernes præstationer. I trintestopgaverne kan der ikke lægges større faglige krav ud over, hvad der kræves i læringsmålene. Et andet spørgsmål er, om læringsmålene afspejler internationale mål for læring inden for forskellige fag. En måde at afklare dette på, er at afteste internationale spørgsmål blandt grønlandske skoleelever, hvilket skete i 2011, hvor man aftestede nogle internationale matematikspørgsmål fra TIMSS 2007. Dette arbejde prioriteres højt i de kommende år, også i forbindelse med udviklingen af nationale pædagogiske normer og præstationsskala. Det er vigtigt at få en ekstern evaluering af trintestsystemet, så en tredjepart kan gå ind og vurdere styrker og svagheder ved vores nationale trintestsystem. Evalueringsafdelingen har siden starten af 2012 arbejdet på at få en ekstern evaluering gennem Enhet for kvantitative utdanningsanalyser, EKVA, ved Universitetet i Oslo. Dette arbejde har dog ikke lykkedes indtil videre, men der arbejdes på at få en ekstern evaluator fra et andet nordisk land. Denne rapport udgives, ligesom de foregående rapporter, forholdsvis sent efter afholdelsen af trintest i 2011. Det skyldes som meddelt tidligere primært problemer med opbygningen af trintestdatabasen. Det har blandt andet været et problem at skabe ensartethed i beregningen af median- 12
værdien, samt en korrekt opgørelse af elevtallet, der udtrækkes fra skolernes registreringssystem, Tabulex TEA. I 2013 er der igangsat flere delprojekter, som har haft til hensigt at løse nogle af disse problemer, og det er forhåbningen at trintestdatabasen kan være helt klar ved udgangen af 2013. Dermed vil de kommende trintestrapporter også kunne udgives forholdsvist hurtigt efter afholdelsen af testene og dermed kunne være mere aktuelle og brugbare i forhold skolernes anvendelse af resultaterne. Begrebet negativ social arv spiller en stor rolle i den internationale skole- og uddannelsespolitiske debat og for vurderingen af skolen og dens funktion i forhold til hjemmet og de sociale forhold. Samtidig anvender man i visse typer af analyser af skolen en korrektion af skolernes resultater for den sociale arv. I denne rapport er der foretaget de første beregninger på tal for folkeskolen i Grønland. Tallene peger på, at den negative sociale arv er forholdsvis svag i samfundet. Det skal dog her klart understreges, at de resultater, der fremlægges i denne rapport, har en meget foreløbig karakter og er ment som et foreløbigt bidrag til den løbende diskussion omkring betydningen af den sociale arv og skolen. Det skal understreges, at Evalueringsafdelingen ikke på nuværende tidspunkt hverken kan eller ønsker at korrigere skolernes resultater for socioøkonomiske status før der foreligger et solidt, teoretisk udgangspunkt. 13
4. Metode Det er vigtigt, at de opgaver, der bliver anvendt i trintestene, lever op til moderne psykometriske krav om homogenitet, som stilles ved internationale undersøgelser som f. eks. IEA s og OECD s undersøgelser TIMSS, PIRLS 2 og PISA 3. Kravet om homogenitet af opgaverne er et relativt nyt krav i den europæiske testkultur, selv om Georg Rasch i Danmark lagde grundprincipperne klar allerede i 1960. I USA har man i de nationale test, NAEP 4, konstant anvendt homogenitetsprincipperne siden 1983. Test og prøver fra Dansk Psykologisk Forlag lever stort set alle op til de samme krav og har gjort det siden 1970. Psykometriske krav om homogenitet i forbindelse med opgavernes egenskaber undersøges ved hjælp af den statistiske Rasch model. Først når opgaverne på tilfredsstillende vis har passeret de psykometriske krav, og dermed er homogene, kan de benyttes i en normal testpraksis. Den måde man fremlægger resultaterne fra trintestene ligger i forlængelse af en sædvanlig nordisk praksis, der tilsiger at beregne mål for både løsningssikkerhed og løsningshastighed. Det er vigtigt, at begge aspekter kan evalueres, og at der kan skelnes mellem eleverne ved hjælp af disse to mål. Det gælder for øvrigt størstedelen af de evalueringsinstrumenter, der anvendes i den daglige pædagogiske praksis, at de er i stand til at skelne mellem de elever, der evalueres. Det bliver på denne måde et kvalitetsaspekt, at testene er sådan indrettet, at kun relativt få elever når at besvare alle opgaver, og at der tilsvarende er relativt få elever, der har besvaret samtlige opgaver korrekt. Det er en egenskab ved trintestenes opgaver, at elevens samlede resultat af besvarelser af opgaverne kan gøres simpelt op ved hjælp af elevscoren, dvs. totalt antal rigtige besvarelser. Dermed skaffes der adgang til at måle elevens faglige færdighed i de enkelte fag blot ved at tælle antallet af korrekt besvarede opgaver pr. elev. Noget tilsvarende gælder for optællinger på den anden led, dvs. opgave for opgave, hvor antallet af elever, der har løst en bestemt opgave rigtigt, er et mål for denne opgaves sværhed eller lethed om man vil. Disse to råscore-mål for henholdsvis elevfærdighed og opgavesværhed omdannes ved hjælp af Rasch-modellen til nogle latente scores for elevfærdighed og opgavesværhed, fordi det normalt er vanskeligt at regne på de rå scoreværdier. Den internationale undersøgelse PISA har f. eks. benyttet et internationalt midtpunkt på 500 og en standardafvigelse på 100 som forankring af de omregnede råscores, de såkaldte PISA scores. Det samme gælder for en række pædagogiske instrumenter, der anvendes i den daglige evaluering, hvor rå scores omsættes til point scores. 2 IEA, som står for International Association for the Evaluation of Educational Achievement, er en uafhængig, international samarbejdsorganisation bestående af nationale forskningsinstitutioner, som gennemfører store sammenlignende undersøgelser i mange lande inden for uddannelse, bl. a. TIMSS (matematik og naturfag) og PIRLS (læsning) i DK i 4. og 8. klasse. 3 OECD gennemfører Program for International Student Assessment/PISA -undersøgelser i fagene matematik, naturfag og læsning i alle OECD-lande. Elever, som indgår i disse undersøgelser, er 15 år gamle. 4 NAEP står for National Assessment of Educational Progress. 14
Der er nogle fordele ved at omregne råscores til latente scores, som hovedsageligt er af teknisk og statistisk art. Bl.a. er det nemmere og teknisk set mere korrekt at benytte elev-scores i form af latente scores i stedet for rå-scores i bestemte efterfølgende analyser, hvor man sammenholder mål for elevens færdighed med forskellige baggrundsvariable som f. eks. køn, socioøkonomisk baggrund mv. Ulemperne ved denne omregning er umiddelbart klare, bl.a. fordi det kræver en omregningstabel mellem rå- og latente scores for at kunne udføre det. Når den praktiske brug af resultaterne skal sættes i fokus sammen med en fornemmelse for, hvem der skal kunne foretage orienteringer f. eks. med hensyn til pædagogiske interventioner som følge af resultaterne, ligger det lige for at undgå dette mellemled. Det svarer til at benytte en tidligere anvendt PISA-test i en evaluering af f. eks. læsning, og når resultaterne skal gøres op, være henvist til alene at se på rå-scores i form af antal rigtige besvarelser uden at have efterfølgende mulighed for at sammenligne egne resultater med de øvrige PISA prøvetagninger, der er opgjort ved hjælp af den omtalte internationale skala over latente scores med midtpunkt 500. Resultaterne fra trintestene opgøres derfor i princippet ud fra rå-scores, dvs. antal rigtige besvarelser. Før man omsætter dette tal til procent rigtige besvarelser for den enkelte elev, skal man overveje, hvilket antal opgaver antallet af rigtigt løste opgaver skal ses i forhold til: Det totale antal opgaver i testen eller det antal opgaver, som eleven har forsøgt at løse. Den løsning, som er valgt i denne rapport, er i overensstemmelse med den praksis, som har været anvendt de fleste steder i den pædagogiske hverdag i Danmark og andre nordiske lande. Man beregner procent rigtige i relation til antallet af opgaver, som eleven har forsøgt at løse de såkaldte antal passerede opgaver. Opgaver, der ligger senere end den sidste opgave, som eleven har set på, kaldes for ikke nåede opgaver. Dette antal benyttes ikke ved beregningen af elevens færdighed, men indgår i vurderingen af elevens løsningshastighed, der udregnes som procentdelen af passerede opgaver i relation til det totale antal stillede opgaver i testen. Også på dette punkt ligger opgørelsen af resultater fra trintestene i forlængelse af sædvanlig nordisk praksis der således tilsiger at se på både en løsningssikkerhed og en løsningshastighed udregnet som procent. 15
Faktaboks: Beregning af elevens score. En elev har til en test fået udleveret 10 opgaver, som er løst sådan: Opg. nr 1 2 3 4 5 6 7 8 9 10 Elev 1 1 0 0 1 1 - - - - - hvor 1 = rigtig besvaret opgave 0 = forkert besvaret opgave - = ikke besvaret opgave Ud fra disse tal kan følgende scores beregnes: Antal passerede opgaver = 5, idet opgave 6-10 er ubesvarede, Antal ikke nåede opgaver = 5, Antal rigtige (elevscoren) = 3. Løsningssikkerhed (procent rigtige) = (3/5)*100 = 60%, idet løsningssikkerheden beregnes i forhold til antallet af passerede opgaver. Løsningshastighed = (5/10)*100 = 50%, dvs. mål beregnet ud fra hvor langt eleven er nået uden brug af ur. Rå score Latent score 0-1 120 2 145 3 167.. Denne elev nåede altså halvdelen af opgaverne (50%). Blandt de passerede opgaver var der 3 rigtige besvarelser, der giver en løsningssikkerhed på 60%. Om denne elev kan karakteriseres faglig stærk, god eller svag, kan der ikke umiddelbart siges noget klart om ud fra dette resultat. Det kræver en reference i forhold til alle elever og/eller en national pædagogisk norm for, hvad der anses for en god/tilfredsstillende præstation. Opbygning af disse referencenormer og præstationsskala til trintest pågår i øjeblikket ved Inerisaavik. Indplacering af løsningssikkerhed og løsningshastighed i det såkaldte kategorisystem sker på følgende måde, når f. eks. 2 elever har løst 10 opgaver hver, efter følgende mønster: Opg. nr. 1 2 3 4 5 6 7 8 9 10 Elev 1 1 1 1 - - - - - - - Elev 2 1 1 1 1 1 1 1 1 1 1 De to elever har begge en løsningssikkerhed på 100%, idet alle passerede opgaver er løst korrekt. Forskellen mellem de to elever ligger i løsningshastigheden, hvor elev nr. 1 har værdien 30%, mens elev nr. 2 har værdien 100%. Når løsningssikkerheden udregnes i forhold til antal passerede opgaver og løsningshastigheden i forhold til alle opgaver opstår muligheden, og måske nødvendigheden, af at vurdere eleverne på to variable, løsningssikkerhed og løsningshastighed, i stedet for en variabel. Således har elev nr. 1 løsningssikkerhed på 100%, men har løsningshastighed 16
på 30%, hvilket giver en indikation af, at eleven mangler træning i opgaveløsning. Elev nr. 2 har 100% både i løsningssikkerhed og løsningshastighed og er således en hurtig og sikker elev. Andre elevprofiler kan også beskrives ud fra de opnåede elevresultater, jf. tegningen nedenfor. F. eks. er der den usikre og langsomme elev, der først skal opnå mere sikkerhed, før hastigheden kan sættes op. Ideelt set burde alle elever være sikre og hurtige. Pilene herunder i figuren viser, hvordan eleverne eventuelt kan bevæge sig fra langsom og usikker over langsom, men sikker til hurtig og sikker præstation. Usikker Hurtig Sikker Hurtig Elev 2 Usikker Langsom Sikker Langsom Elev 1 De anvendte evalueringsinstrumenter må være i stand til at skelne mellem elever, der evalueres. Det betyder, at trintestene bør kunne skelne mellem elever både mht. løsningssikkerheden og løsningshastigheden. Under udarbejdelsen af trintestene måtte det derfor tilstræbes, at variationen af svære og lette opgaver var stor. Det giver stor variation i målet for løsningssikkerhed ligesom længden af den samlede test giver stor variation i løsningshastighed. En del elever når derfor ikke at blive færdige med at løse alle opgaverne. Hvis alle gjorde det, ville løsningssikkerheden og løsningshastigheden ikke kunne benyttes til at skelne mellem eleverne. Variationen af løsningssikkerheden tegner et nuanceret billede af elevernes færdigheder i de fire fag, både på 3. og 7. klasse, uden at der er mange elever, som opnår meget ringe eller meget gode resultater 5. I figur 1 er vist et eksempel herpå ud fra fordelingen af løsningssikkerheden i 7. klasse i faget dansk i 2011. Fordelingen har mange værdier af løsningssikkerheden, hvor de fleste elever, nemlig 17%, havde mellem 40% og 50% rigtige. 5 lave værdier af løsningssikkerhed under 15-20% eller meget høje præstationer over 80-85%. 17
Andel af elever (%) Andel af elever (%) Figur 1: Fordelingen af løsningssikkerhed i dansk i 7. klasse i 2011. 18 16 14 12 10 8 6 4 2 0 10 20 30 40 50 60 70 80 90 100 Løsningssikkerhed (%) Det fremgår af figur 1, at eleverne deler sig i to store grupper. Den første gruppe af elever opnår resultater mellem 40% og 70% med midtpunkt i 60%. Den anden store gruppe gennemfører hele testen med en løsningssikkerhed på 100%. I forbindelse med trintestrapport 2011 er det ikke blevet nærmere undersøgt, hvilke elevgrupper det drejer sig om med hensyn til den sproglige baggrund. Testen ser dog ud til at være for nem for den dygtige elevgruppe, og det må overvejes at revidere testen for denne gruppe af elever. Trintest i faget dansk er udarbejdet som test i dansk som andetsprog både i 3. og 7. klasse. Det fremgår ligeledes af eksemplet i figur 2 i faget dansk på 7. klasse i 2011, at der ikke er stor variation fra elev til elev i løsningshastigheden i dette fag, hvor ca. 50% af eleverne passerer mellem 90% og 100% af opgaverne. Det samme gælder for de fleste trintestfag både på 3. og 7. klasse. Testenes samlede længde er derfor noget, der bør tages op til revision, hvis ønsket er, at man også vil benytte løsningshastigheden som et aktivt element af evalueringen. I så fald bør testene laves længere. Principielt set kan man i stedet vælge at afkorte den afsatte tid på 45 minutter pr. fag i trintestene, f. eks. til 30 minutter. Denne løsning er dårligere end den første, fordi man ved at afkorte tiden sættes præcisionen tilsvarende ned ved målingerne af elevernes færdigheder. Figur 2: Fordelingen af løsningshastighed i faget dansk i 7. klasse i 2011. 100 80 60 40 20 0 10 20 30 40 50 60 70 80 90 100 Løsningshastighed (%) 18
På grund af den generelt lille variation af målet for løsningshastighed er for nærværende rapport opgivet at anvende en ellers velkendt opgørelsesteknik fra f. eks. læseprøverne OS64, 120 og SL40 og 60, hvor de to mål indsættes samtidigt i et todimensionalt kategorisystem, et system, som med succes er viderebragt i de grønlandske læseprøver OAM1 og OAM2 samt ATUARIT5. Når resultatet skal beregnes for flere elever på én gang, f. eks. på klasseniveau, er udgangspunktet en række værdier af løsningssikkerhed og løsningshastighed beregnet for alle klassens elever. Et samlet billede af hele klassens færdighedsniveau kan derefter tegnes på mange måder, afhængigt af de statistiske egenskaber ved tallene for løsningssikkerhed og løsningshastighed. Ofte er det ikke relevant at beregne gennemsnit, fordi fordelingerne er skæve, som antydet i figur 1 og 2, eller begrænsningerne for procenttallene med 0% og 100% som absolutte grænser kan gribe forstyrrende ind i fortolkningen af gennemsnitstal. I denne rapport benyttes derfor medianværdier, når flere værdier fra klasser, skoler, kommuner eller resultater fra hele landet skal sammenfattes til én værdi. For de to mål for hhv. løsningssikkerhed og løsningshastighed betyder det, at de værdier, der præsenteres, repræsenterer værdier, hvor 50% af eleverne ligger over og 50% af eleverne ligger under den angivne værdi. Når der eksempelvis for faget matematik i 3. klasse står opført en værdi, f. eks. 62%, betyder det altså, at 50% af eleverne løser mindre end 62% af opgaverne rigtigt, mens andre 50% løser mere end 62% af matematiktesten korrekt. 19
Antal besvarelser Faktaboks: Nøgletal for en statistisk fordeling. 11 elever har løst et bestemt opgavesæt og opnået følgende værdier for procent rigtige: Elev nr. 1 2 3 4 5 6 7 8 9 10 11 % rigt. 30 65 68 79 55 60 75 72 60 73 78 7 6 5 4 3 2 1 0 0%-25% 25%-50% 50%-75% 75%-100% Løsningssikkerhed i% Denne fordeling af tallene for løsningssikkerhed kan beskrives ved forskellige statistiske nøgletal. Det mest anvendte nøgletal er det simple statistiske gennemsnit, der beregnes således: Gennemsnit = (30 + 65 + 68+ + 78)/11 = 65,8 Gennemsnittet egner sig bedst til at beskrive statistiske fordelinger, der er symmetriske, dvs. fordelinger der ikke hælder mod enten venstre eller højre. Det er ikke tilfældet for eksemplet i figuren ovenfor. For ikke symmetriske fordelinger anvendes i stedet medianen som et mål for positionen i fordelingen. Hvis tallene stilles op i stigende rækkefølge: 30 55 60 65 68 69 72 73 75 78 79 findes medianen som den midterste værdi i talsættet. I eksemplet er medianen 69. Det skal forstås således, at halvdelen af eleverne har procent rigtige på under 69, mens den anden halvdel har procent rigtige på over 69. Gennemsnittet og median er såkaldte positionsmål. De beskriver hvor fordelingen af tallene har deres tyngdepunkt. Derimod fortæller de ikke noget om, hvor meget tallene spreder sig omkring positionsmålet. Den information er meget væsentlig at supplere med. Således kan et konstant gennemsnit dække over at fordelingen bliver mere spredt, hvor flere dårlige og flere gode elever optræder eller mindre spredt, hvor eleverne nærmer sig hinanden. Forskellige begreber i relation til spredningsmål er gennemgået i nedenstående faktaboks. 20
Faktaboks: Mål for spredningen i en statistisk fordeling. Tre elever har opnået følgende karakterer i seks fag. Eleverne er blevet bedømt efter den nu afskaffede 13-skala, hvilket gør eksemplet klarest. Elev 1 Elev 2 Elev 3 Fag 1 8 8 6 Fag 2 8 7 10 Fag 3 8 8 7 Fag 4 8 8 10 Fag 5 8 9 9 Fag 6 8 8 6 Gennemsnit 8 8 8 Varians 0 0,33 3 Spredning 0 0,58 1,7 Alle elever har samme gennemsnit, nemlig 8. Variationen er imidlertid meget forskellig. Elev nr. 1 har opnået karakteren 8 i alle fag og der er derfor ingen variation omkring gennemsnittet. Elev nr. 2 har også 8 i gennemsnit, men der er nu tale om en vis variation omkring gennemsnittet. De to mest almindelige mål for denne variation er variansen og spredningen, der begge kan beregnes via almindelige it-redskaber som f. eks. EXCEL. Bemærk at spredningen beregnes som kvadratroden af variansen. Endelig har elev nr. 3 også 8 i gennemsnit, men varians og spredning er endnu større end for elev nr. 2. Læg også mærke til, at elev nr. 3 ikke har fået karakteren 8, selv om gennemsnittet for eleven er udregnet til 8. Eksemplet illustrerer, at gennemsnitstal kun beskriver en dimension af en fordeling af tal, men ikke siger noget om variationen i et konkret datamateriale. Endnu mere detaljerede mål for spredningen er de såkaldte kvartiler. Således er 25% fraktilen den værdi for f. eks. løsningssikkerhed, der adskiller elevgruppen i 25% under og 75% over værdien. 50% fraktilen svarer til den tidligere nævnte medianværdi. I nedenstående talrække kan disse fraktil-værdier beregnes ved f. eks. statistikfunktioner i EXCEL: 30 55 60 65 68 69 72 73 75 78 79 25% - fraktilen bliver 62,5 (mellem 62 og 63), 50% fraktilen (medianen) som før 69 og 75% fraktilen 74. Ofte sammenfattes fraktilværdien i et såkaldt box-plot. Den sorte streg til venstre markerer den laveste værdi som opnås. De to kasser markerer spændet mellem 25% og 75% fraktilerne. Endelig markerer den sorte streg til højre den højeste værdi, som en eller flere elever har opnået. 0 20 40 60 80 100 120 21
Det er vigtigt at bemærke, at der ikke foretages rangordninger af skolerne med hensyn til løsningssikkerheden. Det skyldes to forhold. For det første kan udviklingen fra år til år på særligt de mindre skoler været præget af tilfældigheder, så der ofte ikke er solidt belæg for at drage konklusioner om en udvikling. Data er til rådighed på skoleplan, men det kan være vanskeligt at udtale sig om den enkelte skole ud fra gennemsnitsværdier eller medianer, fordi antallet af elever på skoleniveau undertiden ofte er meget lille, mange gange mindre end 8 elever. For det andet kan de enkelte skolers elevpræstationer være præget af forhold i skolernes opland. Evalueringsafdelingen råder på nuværende tidspunkt ikke over metoder til at korrigere for socioøkonomiske forhold og andre forhold, såsom kulturelle forhold, til at justere elevresultaterne. I bilaget vises tabeller over skolernes præstationer for løsningssikkerheden uden justeringer for socioøkonomiske faktorer, og ønsker man selv at foretage sammenligninger af skolerne med hensyn til præstationsniveau, skal det ske med varsomhed. I temaartiklen i Kapitel 7 gennemgås metodeovervejelser og beregningsmæssige forklaringer samt foreløbig status over arbejdet med negativ social arv og socioøkonomiske forhold. 22
5. Fortolkning af resultaterne 5.1 Værdier af løsningssikkerhed Som vi har været inde på tidligere, arbejder Inerisaavik med at udvikle en præstationsskala til trintest. I den forbindelse kan man overveje, hvordan man kan fortolke de opnåede værdier i løsningssikkerhed. Med angivelse af procent rigtige for hver elev har man et præcist mål for elevens færdighedsniveau i form af løsningssikkerhed og den procentvise gennemførelse af antallet af opgaver som præcist mål for løsningshastighed. Men er en værdi på f. eks. 67% i løsningssikkerhed udtryk for, at eleven på tilfredsstillende vis har indfriet kravene stillet i undervisningen? Disse krav er formuleret gennem læringsmål i de enkelte fag og udtrykker for hvert fag på hvert trin de krav, som undervisningen skal tilstræbe, at eleverne bringes i stand til at indfri. Man kan derfor spørge, om en rigtighedsprocent på f. eks. 67% er udtryk for, at eleven i det store og hele har indfriet de krav, som opgaverne er bygget over? Eller bør det være 75% eller er 50% tilstrækkeligt? Svaret er flydende, fordi enhver opgave inden for fastlagte faglige, didaktiske rammer kan gøres nemmere eller sværere gennem ganske få ændringer, en proces, der er som at dreje op eller ned på en sværhedsknap, og som enhver opgavestiller kender fra sit arbejde. Der kan være gode grunde til at skrue på denne knap. Bl.a. er det hensigtsmæssigt ikke at gøre opgaverne så svære, at eleverne taber modet undervejs eller gøre dem så lette, at de dygtigste elever misforstår udfordringerne og læser noget andet ind i opgaverne, end det oprindeligt var hensigten. Noget tilsvarende gælder for vurderingen af løsningshastigheden. Her er det klart længden af de samlede opgaver, der fungerer som en knap til at skrue op og ned på forventede, gennemsnitlige værdier af løsningshastighederne. Det flydende element, mht. hvad der er acceptabelt og i overensstemmelse med læringsmålene, er klart til stede. Sædvanligvis benyttes såkaldte omsætningstabeller til at markere, om en bestemt værdi af færdighedsmålet er udtryk for en tilfredsstillende eller ikke-tilfredsstillende præstation set i forhold til læringsmålene. For at illustrere dette kan man benytte 2011-fordeling med løsningssikkerheden i 7. klasse i faget dansk i figur 1 på side 17 ovenfor. Den vandrette x-akse repræsenterer en gruppering af værdierne i løsningssikkerhed i 10 grupper tilfældigvis det samme antal skridt, som findes på den tidligere anvendte 13-karakterskala, der har 10 skridt. Lader man den nederste søjle repræsentere karakteren 00 får ca. 0,4% af eleverne denne karakter. Derefter tildeles hver søjle sin karakter fra 03 til 13. F. eks. ses, at karakteren 03 gives til ca. 1,2% og karakteren 13 til ca. 14,7% af eleverne, mens det største andel 6 svarer til karakteren 7, som 17% af eleverne efter denne omsætningstabel får tildelt. 6 svarende til den højeste søjle i figur 1 på side 17. 23
Denne korte illustration er ikke så langt fra virkelighedens karakterfordelinger ved 10. klasses afgangsresultater, og ved at flytte fra procentværdiansættelsen af løsningssikkerheden til karakterer på 12-skalaen flyttes samtidigt over i et regi, hvor der på forhånd via 12-skalaens trin er tilskrevet faste kvalitative fortolkninger af præstationen. F. eks. er karakterer under 2 ikke tilfredsstillende, mens karakterer på 10 og 12 er udtryk for præstationer ud over det normale og forventede. Denne omregningsteknik kan gennemføres med den karakterskala, GGS-skalaen 7, som blev indført fra skoleåret 2009/2010 i den grønlandske folkeskole eller med den i Danmark indførte 12-skala eller med en hvilken som helst anden skala, der repræsenterer grupperinger af de grundlæggende procent-rigtige tal, og som har fået navngivet grupperingskategorierne eller karaktertrinnene som beskrivelser bag ved GGS-skalaens, 12-skalaens eller 13-skalaens trin. Det er i denne forbindelse ikke afgørende, om den anvendte karakterskala udelukkende anvender bogstaver som kvalitativ markering eller eventuelt anvender både bogstaver og tal således, at der f. eks. kan beregnes gennemsnit. I den henseende er de grønlandske trintest stadig i en udviklingsfase, hvori det bl.a. skal vurderes, om en given løsningssikkerhed på f. eks. 67% som udtryk for de konkrete udfordringer, som opgaverne i et fag stiller eleven over for, resulterer i en kvalitativ bedømmelse som tilfredsstillende indfrielse af de krav, læringsmålene stiller eller ej. Denne proces er igangsat og bør hensigtsmæssigt kædes sammen med, at der på forskningsmæssige vilkår gennemføres undersøgelser, hvor eleverne både afprøves med de grønlandske trintest og samtidigt med andre kendte typer af opgaver i test, hvor man allerede har skaffet sig en holdning til, om en gennemsnitlig procent rigtighed på 67% er godt eller skidt. Under sådanne forsøgsplaner kan fortolkninger af score-niveauer af procent-rigtige værdier fra de traditionelle test overføres til de grønlandske trintest. Der bliver ikke introduceret omsætningstabeller og præstationsskalaer i forbindelse med trintestene for 2011. Dermed udskydes en afgørelse af, om bestemte værdier af løsningssikkerheden repræsenterer tilfredsstillende eller ikke-tilfredsstillende respons på test af læringsmålene. Det bliver i denne omgang statistiske fordelinger over løsningssikkerheden og løsningshastigheden, der benyttes som normative referencer for evalueringen, altså evalueringer, hvor resultaterne alene vurderes relativt. 5.2 Anvendelse af resultater til vurdering af en skoles resultater Nationale pædagogiske normer i form af en præstationsskala kan være en stor hjælp, når lærerne udarbejder vidnesbyrd og samlet vurdering efter trin og når der holdes møder med elever og forældre. Første gang dette emne blev berørt var det på en skolelederkonference i Nuuk i 2008. Dengang mente skolelederne, at en præstation på 50% kunne være et bud på en tilfredstillende præstation ved trintest uden at det på dette tidspunkt var afstemt med udenlandske erfaringer. Siden 7 GGS = Greenlandic Grading System. 24