Analyser og resultater af Trintest 2008 i den grønlandske folkeskole

Transkript

1 Analyser og resultater af Trintest 2008 i den grønlandske folkeskole Institut for Læring Inerisaavik Naliliisarfik Oktober 2012

2 Analyser og resultater af trintest 2008 i den grønlandske folkeskole Institut for Læring Inerisaavik 2012 Forfattere: Peter Allerup, Ellen Jensen Karlsen, Esekias Therkelsen og Carsten Petersen Layout og grafik: Institut for Læring - Inerisaavik Tryk: Institut for Læring - Inerisaavik Oplag: udgave, 1. oplag ISBN: Bestillingsnummer:

3 Indholdsfortegnelse 1. Forord Resume og læsevejledning Indledning Metode Fortolkning af resultater Hovedresultater Antal elever til trintest Løsningssikkerhed Fagene Sammenhænge mellem fagene Løsningshastighed Sammenhæng mellem løsningssikkerhed og løsningshastighed Kommuner Byer og bygder Piger og drenge Fagligt stærke og svage elever Fagligt stærke elever Fagligt svage elever Tema: En didaktisk vinkel på resultaterne fra trintest Afslutning Referencer Bilag

4 4

5 1. Forord I denne rapport præsenteres resultaterne fra de trintest, der blev afholdt på 3. og 7. klassetrin i foråret Disse resultater er allerede offentliggjort i rapporten Analyser og resultater af Trintest 2009 i den grønlandske folkeskole, som blev udgivet i Alligevel offentliggøres resultaterne igen i en selvstændig rapport. Det skyldes først og fremmest hensynet til dokumentation for eftertiden, hvor der bør foreligge en afrapportering af trintestresultaterne for hvert år. Den sene offentliggørelse af trintestrapport 2008 skyldes først og fremmest vanskeligheder med konstruktionen og opbygningen af trintestdatabasen til trintest Af denne grund bør alle resultater i denne rapport tages med forbehold. Samtidig med denne offentliggørelse introduceres der to generelle ændringer i forhold til tidligere rapporter. For det første indføres der et temakapitel i denne og kommende rapporter. Temakapitlet i denne rapport fokuserer på, hvordan resultaterne fra trintest kan anvendes didaktisk. Det sker ved at vise nogle konkrete eksempler på, hvordan elevernes besvarelser i faget matematik kan benyttes i den pædagogiske proces. I temakapitlet diskuteres, hvorfor og hvordan eleverne besvarer opgaverne som de gør set fra et didaktisk synspunkt og giver forhåbentligt samtidig indblik i nogle praktiske redskaber der kan give nyttig information om, hvordan eleven kan forbedre sit standpunkt i faget. De kommende rapporter vil indeholde nye kapitler med varierende temaer. For det andet vises resultaterne i denne og fremtidige rapporter på en mere overskuelig og brugervenlig måde end tidligere. Det sker ved at vise resultaterne ved hjælp af grafik, mens tallene fremgår af tabellerne i bilaget. Det skal bemærkes, at et af formålene med de skriftlige trintest på yngste- og mellemtrinnet er, at elever, lærere, skoler og forældre samt centrale og lokale myndigheder kan få et nationalt og lokalt indblik i de enkelte elevers faglige udbytte af undervisningen i forhold til læringsmålene inden for centrale fagområder ved afslutningen af 3. og 7. klasse, dvs. yngste- og mellemtrinnet. Resultaterne fra testene skal på de enkelte skoler benyttes til planlægning af elevernes videre skoleforløb sammen med resultaterne fra den løbende interne evaluering. Desuden bidrager data fra trintestene til, at Inerisaavik Institut for Læring kan benytte resultaterne i forbindelse med pædagogisk forskning og dermed være statistisk dokumentation for evalueringer og udviklingsbestræbelser inden for den grønlandske folkeskole. I løbet af 2012 og 2013 udgives trintestrapporter med resultater for årene 2010, 2011 og Det er håbet, at man fra 2013 vil kunne offentliggøre trintestrapporterne forholdsvis hurtigt efter afholdelse af trintest, så rapporterne fremstår som aktuelle og dermed mere brugbare. Rapporter fra afsluttende evalueringer i 10. klasse udgives i særskilte rapporter. Jens Jakobsen - Leder af Inerisaavik Institut for Læring 5

6 2. Resume og læsevejledning I foråret 2008 blev der afholdt trintest på 3. og 7. klassetrin. På 3. klassetrin blev der afholdt test i fagene grønlandsk, dansk og matematik. På 7. klassetrin blev der afholdt test i de samme fag samt i faget engelsk. Det var andet år i træk, at der blev afholdt egentlige landsdækkende trintest efter tredje og sidste afprøvning i Arbejdet med at udvikle trintest er kort beskrevet i Kapitel 3: Indledning. Trintestene er udviklet således, at opgaver og spørgsmål også kaldet items opfylder de psykometriske krav, der sædvanligvis er opfyldt i internationale tests af denne type. Det er en forudsætning for, at elevernes præstationer kan måles og sammenlignes ved et enkelt mål for antal rigtigt løste opgaver. Ved analyserne af resultaterne anvendes en nordisk tradition, hvor der ikke alene ses på antal rigtige besvarelser, dvs. løsningssikkerhed, men også på den tid, eleverne har brugt på at løse opgaverne, den såkaldte løsningshastighed. Se mere herom i kapitel 4: Metode og Kapitel 5: Fortolkning af resultaterne. Trintest har i 2008 været afholdt to år i træk og tre år, hvis året 2006, hvor der blev afholdt Main Study, medregnes. To eller tre år er ikke nok til at begynde at drage sikre statistiske konklusioner om udviklingen i resultaterne i de enkelte fag. Hertil kommer, at trintest er under fortsat udvikling, hvor opgavernes egenskaber undersøges. Med disse forbehold drages der følgende konklusioner for perioden og konkret for året 2008: Det er obligatorisk for alle elever fra normale klasser at deltage i trintest, dog er der mulighed for fritagelse. Antallet af elever, der ikke deltog i trintest i 2008, kan ikke opgøres med sikkerhed, men skønnes til at ligge på 17-23% af det samlede elevgrundlag. i 7. klasse er gået markant frem vedrørende løsningssikkerhed. Alle andre fag udviser stabil udvikling eller et mindre fald vedrørende løsningssikkerhed. Løsningshastigheden er meget høj for de fleste fag, hvilket lige nu gør det vanskeligt at adskille eleverne på denne faktor. En af de største forskelle i løsningssikkerhed i trintest ligger i de kommunale forskelle. Det gælder først og fremmest for fagene grønlandsk og dansk, mens forskellen er mindre udtalt i matematik. Elever fra byskoler er bedre i faget dansk end elever fra bygdeskoler. Omvendt er elever fra bygdeskoler bedre i faget grønlandsk end elever fra byskoler. Der er ikke stor forskel i faget engelsk, dog er elever i byskoler en anelse bedre. I faget matematik er bygdeelever bedre end byelever, forskellen er særlig markant i 7. klasse. Piger er bedre i alle fag og på alle klassetrin end drenge. 6

7 Blandt eleverne til trintest kan der peges på elever, der er fagligt meget stærke henholdsvis meget svage. Der er en betydelig variation blandt kommuner med hensyn til hyppigheden af fagligt stærke og svage elever i de forskellige fag. En mere detaljeret gennemgang af hovedresultaterne findes i Kapitel 6: Hovedresultater. Det helt overordnede formål med trintest er at pejle elevernes faglige stærkere og svagere sider, så der tidligt kan sættes ind med pædagogisk indsats, hvor der er behov. Trintest er således i udgangspunktet et redskab, som lærere, elever og forældre kan bruge i fællesskab til at styrke den enkelte elevs læring. Imidlertid kan trintestresultaterne også anvendes mere generelt til at pege på områder i undervisningen, hvor mange elever har problemer i læringen. Det sker ved at analysere elevernes forkerte svar og sammenholde dem med elevernes generelle færdigheder i fagene. Ved hjælp af en simpel metode kan der stilles forholdsvis præcise diagnoser, som lærerne forhåbentlig kan anvende i undervisningen. I og med at disse resultater er generelle og dækker mange elever, kan den pædagogisk-didaktiske diagnose også pege på styrkelse af lærerens daglige undervisning på bestemte områder og/ eller tilpasninger af det foreliggende undervisningsmateriale. I Kapitel 7 er der vist eksempler på denne metode anvendt på resultaterne i matematik fra trintest Kapitel 8 indeholder en kort afslutning, mens Kapitel 9 indeholder liste over de referencer, der er anvendt ved udarbejdelsen af denne rapport, og Kapitel 10 indeholder bilagstabeller, der på landsplan, kommuneniveau og skoleniveau viser tallene for trintestene

8 3. Indledning Et af de vigtige formål med folkeskoleforordningen fra 2002 er at styrke undervisningen ved bl.a. at intensivere og forbedre evaluering på alle niveauer i folkeskolen. Folkeskolens eksterne og interne evalueringsmetoder og dokumentationsformer i yngste- og mellemtrinnet blev udviklet for at realisere dette formål. Mens den interne evaluering finder sted, fra eleverne begynder i 1. klasse, til de er færdige med 10. klasse, og anvendes ved at lærerne i samarbejde med eleverne foretager pædagogiske evalueringer som led i den daglige undervisning, er de eksterne evalueringsmetoder trintest og afgangsprøver udviklet ud fra centralt fastsatte, fælles kriterier efter hvert trin i skoleforløbet, dvs. trinlæringsmålene for fagene. Disse metoder blev indført for at sikre, at eleverne får tilbudt en undervisning i overensstemmelse med folkeskolens formål, trinformål, fagformål og læringsmål, og dernæst for at sikre en gensidig helhedsvurdering af den daglige undervisning, som tager udgangspunkt i elevernes faglige udvikling med henblik på at danne basis for planlægning af den enkelte elevs videre skolegang samt danne grundlag for pædagogisk forskning. Det er vigtigt, at de opgaver, der bliver anvendt i trintestene lever op til moderne psykometriske krav om homogenitet 1, som stilles ved internationale undersøgelser som f. eks. TIMSS og PIRLS 2 samt PISA 3. Kravet om homogenitet af opgaverne er et relativt nyt krav i den europæiske testkultur, selv om Georg Rasch i Danmark lagde grundprincipperne klar allerede i I USA har man i de nationale test, NAEP 4, konstant anvendt homogenitetsprincipperne siden Det danske Psykologiske Forlags test og prøver lever stort set alle op til de samme krav og har gjort det siden Psykometriske krav om homogenitet i forbindelse med opgavernes egenskaber undersøges ved hjælp af den statistiske Rasch model 5. Først når opgaverne på tilfredsstillende vis har passeret de psykometriske krav, og dermed er homogene, kan de benyttes i en normal testpraksis. Arbejdet med at udvikle trintestene startede i efteråret Til og med 2006 blev der i alt gennemført tre afprøvninger, før opgaverne første gang blev taget i brug i Første afprøvning fandt sted i 2004, hvor en pilottest 6 i samtlige trintestfag blev gennemført for at finde ud af, om opgaveformuleringerne bliver forstået af eleverne. Her blev spørgsmålene testet på et meget lille udsnit af elever, der i dialog med opgavekonstruktørerne og andre fagpersoner gav et væsentligt input til at forbedre opgaverne. 1 Psykometriske krav om homogenitet forklares nærmere i kapitel 4. 2 IEA, som står for International Association for the Evaluation of Educational Achievement, er en uafhængig, international samarbejdsorganisation bestående af nationale forskningsinstitutioner, som gennemfører store sammenlignende undersøgelser i mange lande inden for uddannelse, bl. a. TIMSS (matematik og naturfag) og PIRLS (læsning) i DK i 4. og 8. klasse. 3 OECD gennemfører Program for International Student Assessment/PISA -undersøgelser i fagene matematik, naturfag og læsning. Elever, som indgår i disse undersøgelser er 15 år gamle. 4 NAEP står for National Assessment of Educational Progress. 5 Rasch modellen forklares nærmere sammen med de psykometriske krav i kapitel 4. 6 også kaldt Venneprøver. 8

9 Næste afprøvning 7 fandt sted i 2005/2006, hvor data blev indsamlet som stikprøver blandt landets skoler. Her var hovedformålet at undersøge om det evalueringssystem, man bygger op, fungerer inkl. om de tilrettede opgaver kan benyttes på landsplan. Erfaringer fra denne test gav anledning til yderligere tilretninger af opgaverne. Den sidste afprøvning 8 var landsdækkende og fandt sted i 2006, hvor elevernes faglige niveau i trintestfagene blev testet. En løbende bearbejdning, forbedring og udvikling af metoderne og måleredskaberne har fundet sted i denne periode. Denne udvikling fortsætter med løbende tilpasninger og skabelse af muligheder for at sammenholde årets trintestresultater med de landsnormer, der fag for fag dannes som referencer. Dataindsamlingerne over årene 2004 til og med 2008 har bidraget meget til analyserne af opgavernes kvalitet og til studier af variationer. I 2006 svingede skolernes deltagelse noget. Først ved dataindsamlingen i 2007 har deltagelsen været så høj, at der kan dannes grundlag for beregning af egentlige grønlandske landsnormer. Disse landsnormer er statistiske referencefordelinger, der udtrykker hvad elever i den grønlandske folkeskole kan inden for fagene grønlandsk, dansk og matematik på 3. og 7. klassetrin og engelsk på 7. klassetrin. Trintestene er under stadig udvikling, og resultaterne fra 2008 skal derfor ses som et løbende bidrag til opbygningen af sådanne normer. I yngste- og mellemtrinnet gives der ikke karakterer. Eleverne skal ikke bestå trintest som en forudsætning for at rykke op i næste trin. Derimod bør resultaterne indgå i den samlede vurdering, som finder sted ved afslutningen af hvert trin. Det er heller ikke formålet med trintest at rangordne skoler, klasser eller elever efter resultater i trintestene. Formålet med trintest har først og fremmest et pædagogisk sigte, hvor den enkelte elevs faglige udbytte af undervisningen og planlægning af hans / hendes videre skolegang står centralt. 7 Field Trial Test. 8 The Main Study. 9

10 4. Metode Den måde man fremlægger resultaterne fra trintestene, ligger i forlængelse af en sædvanlig nordisk praksis, der tilsiger at beregne mål for både løsningssikkerhed og løsningshastighed. Det er vigtigt, at begge aspekter kan evalueres, og at der kan skelnes mellem eleverne ved hjælp af disse to mål. Det gælder for øvrigt størstedelen af de evalueringsinstrumenter, der anvendes i den daglige pædagogiske praksis, at de er i stand til at skelne mellem de elever, der evalueres. Det bliver på denne måde et kvalitetsaspekt, at testene er sådan indrettet, at kun relativt få elever når at besvare alle opgaver, og at der tilsvarende er relativt få elever, der har besvaret samtlige opgaver korrekt. Det er en egenskab ved trintestenes opgaver, at elevens samlede resultat af besvarelser af opgaverne kan gøres simpelt op ved hjælp af elevscoren, dvs. totalt antal rigtige besvarelser. Dermed skaffes der adgang til at måle elevens faglige færdighed i de enkelte fag blot ved at tælle antallet af korrekt besvarede opgaver pr. elev. Noget tilsvarende gælder for optællinger på den anden led, dvs. opgave for opgave, hvor antallet af elever, der har løst en bestemt opgave rigtigt, er et mål for denne opgaves sværhed eller lethed om man vil. Disse to rå score-mål for henholdsvis elevfærdighed og opgavesværhed omdannes ved hjælp af Rasch-modellen til nogle latente scores for elevfærdighed og opgavesværhed, fordi det normalt er vanskeligt at regne på de rå scoreværdier. Den internationale undersøgelse PISA har f. eks. benyttet et internationalt midtpunkt på 500 og en standardafvigelse på 100 som forankring af de omregnede råscores, de såkaldte PISA scores. Det samme gælder for en række pædagogiske instrumenter, der anvendes i den daglige evaluering, hvor rå scores omsættes til point scores. Der er nogle fordele ved at omregne råscores til latente scores, som hovedsageligt er af teknisk og statistisk art. Bl.a. er det nemmere og teknisk set mere korrekt at benytte elev-scores i form af latente scores i stedet for rå-scores i bestemte efterfølgende analyser, hvor man sammenholder mål for elevens færdighed med forskellige baggrundsvariable som f. eks. køn, socioøkonomisk baggrund mv. Ulemperne ved denne omregning er umiddelbart klare, bl.a. fordi det kræver en omregningstabel mellem rå- og latente scores for at kunne udføre det. Når den praktiske brug af resultaterne skal sættes i fokus sammen med en fornemmelse for, hvem der skal kunne foretage orienteringer f. eks. med hensyn til pædagogiske interventioner som følge af resultaterne, ligger det lige for at undgå dette mellemled. Det svarer til at benytte en tidligere anvendt PISA-test i en evaluering af f. eks. læsning, og når resultaterne skal gøres op, være henvist til alene at se på rå-scores i form af antal rigtige besvarelser uden at have efterfølgende mulighed for at sammenligne egne resultater med de øvrige PISA prøvetagninger, der er opgjort ved hjælp af den omtalte internationale skala over latente scores med midtpunkt 500. Resultaterne fra trintestene opgøres derfor i princippet ud fra rå-scores, dvs. antal rigtige besvarelser. Før man omsætter dette tal til procent rigtige besvarelser for den enkelte elev, 10

11 skal man overveje, hvilket antal opgaver antallet af rigtigt løste opgaver skal ses i forhold til: Det totale antal opgaver i testen eller det antal opgaver, som eleven har forsøgt at løse. Den løsning, som er valgt i denne rapport, er i overensstemmelse med den praksis, som har været anvendt de fleste steder i den pædagogiske hverdag i Danmark og andre nordiske lande. Man beregner procent rigtige i relation til antallet af opgaver, som eleven har forsøgt at løse de såkaldte antal passerede opgaver. Opgaver, der ligger senere end den sidste opgave, som eleven har set på, kaldes for ikke nåede opgaver. Dette antal benyttes ikke ved beregningen af elevens færdighed, men indgår i vurderingen af elevens løsningshastighed, der udregnes som procentdelen af passerede opgaver i relation til det totale antal stillede opgaver i testen. Også på dette punkt ligger opgørelsen af resultater fra trintestene i forlængelse af sædvanlig nordisk praksis der således tilsiger at se på både en løsningssikkerhed og en løsningshastighed udregnet som procent. Faktaboks: Beregning af elevens score En elev har til en test fået udleveret 11 opgaver, som er løst sådan: hvor 1 = rigtig 0 = forkert - = ikke besvaret Ud fra disse tal kan følgende scores beregnes: Antal passerede opgaver = 5 Antal ikke nåede opgaver = 6 Antal rigtige (elevscoren) = 3 Løsningssikkerhed (procent rigtige) = (3/5)*100 = 60% Løsningshastighed = (5/11)*100 = 45% Rå score Latent score Denne elev nåede altså kun knap halvdelen af opgaverne (45%). Blandt de passerede opgaver var løsningssikkerheden 60% rigtige. Om denne elev kan karakteriseres stærk, god eller svag kan der ikke umiddelbart siges noget klart om. Det kræver en reference i forhold til alle elever og/eller en national pædagogisk norm for, hvad der anses for en god/tilfredsstillende præstation. Opbygning af disse referencenormer vil ske i de kommende år. 11

12 Andel af elever i % Andel af elever i % Det gælder for størstedelen af hensigtsmæssigt udformede evalueringsinstrumenter, at de er i stand til at skelne mellem de elever, der evalueres. Det betyder, at trintestene bør kunne skelne mellem elever både mht. løsningssikkerheden og løsningshastigheden. Under udarbejdelsen af trintestene måtte det derfor tilstræbes, at variationen af svære og lette opgaver var stor. Det giver stor variation i målet for løsningssikkerhed ligesom længden af den samlede test giver stor variation i løsningshastighed. En del elever når derfor ikke at blive færdige med at løse alle opgaverne. Hvis alle gjorde det, ville løsningssikkerheden og løsningshastigheden ikke kunne benyttes til at skelne mellem eleverne. Variationen af løsningssikkerheden tegner et nuanceret billede af elevernes færdigheder i de fire fag, både på 3. og 7. klassetrin, uden at der er mange elever, som opnår meget ringe eller meget gode resultater 9. I figur 1 er vist et eksempel herpå ud fra fordelingen af løsningssikkerheden i faget dansk i 2007 og I 2007 havde den største andel af eleverne 10 mellem 40 og 50% rigtige, nemlig ca. 19%. Billedet har ændret sig en smule i 2008, hvor fordelingen er blevet mere flad. Figur 1: Fordelingen af løsningssikkerheden i i 7. klasse: 2007 øverst og 2008 nederst. (0,1 = 10%; 0,2 = 20% osv.) ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Løsningssikkerhed i procent ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Løsningssikkerhed i procent 9 lave værdier af løsningssikkerhed under 15-20% eller meget høje præstationer over 80-85%. 10 Den højeste søjle i midten. 12

13 Andel af elever i % Andel af elever i % Som det fremgår af eksemplet i figur 2 fra trintest i faget matematik i 2008, er der ikke stor variation fra elev til elev i løsningshastigheden i dette fag. Det samme gælder for de fleste trintestfag både i 3. og 7. klassetrin. Testenes samlede længde er derfor noget, der bør tages op til revision, hvis ønsket er, at man også vil benytte løsningshastigheden som et aktivt element af evalueringen. I så fald bør testene laves lidt længere. Principielt set kan man i stedet vælge at afkorte den afsatte tid til det enkelte fag i trintestene, f. eks. til 30 minutter. Denne løsning er dårligere end den første, fordi man ved at forkorte tiden sætter præcision tilsvarende ned ved målingerne af elevernes færdigheder. Figur 2: Fordelingen af løsningshastigheden i i 7. klasse: 2007 øverst og 2008 nederst. ( 0,1 = 10%; 0,2 = 20% osv.) ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Løsningshastighed i procent ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Løsningshastighed i procent På grund af den generelt lille variation af målet for løsningshastighed er for nærværende rapport opgivet at anvende en ellers velkendt opgørelsesteknik fra f. eks. læseprøverne OS64, 120 og SL40 og 60, hvor de to mål indsættes samtidigt i et todimensionalt kategorisystem, et system, som med succes er viderebragt i de grønlandske læseprøver OAM1 og OAM2 samt ATUARIT5. 13

14 Antal besvarelser Når resultatet skal beregnes for flere elever på én gang, f. eks. på klasseniveau, er udgangspunktet en række værdier af løsningssikkerhed og løsningshastighed beregnet for alle klassens elever. Et samlet billede af hele klassens færdighedsniveau kan derefter tegnes på mange måder, afhængigt af de statistiske egenskaber ved tallene for løsningssikkerhed og løsningshastighed. Ofte er det ikke relevant at beregne gennemsnit, fordi fordelingerne er skæve, som antydet i figur 1 og 2 eller begrænsningerne for procenttallene med 0% og 100% som absolutte grænser kan gribe forstyrrende ind i fortolkningen af gennemsnitstal. I denne rapport benyttes derfor medianværdier, når flere værdier fra klasser, skoler, kommuner eller resultater fra hele landet skal sammenfattes til én værdi. For de to mål for hhv. løsningssikkerhed og løsningshastighed betyder det, at de værdier, der præsenteres, repræsenterer værdier, hvor 50% af eleverne ligger over og 50% af eleverne ligger under den angivne værdi. Når der eksempelvis for faget matematik i 3. klasse står opført en værdi 52 betyder det altså, at 50% af eleverne løser mindre en 52% af opgaverne rigtigt, mens andre 50% løser mere end 52% af matematiktesten korrekt. Faktaboks: Nøgletal for en statistisk fordeling 11 elever har løst et bestemt opgavesæt og opnået følgende værdier for procent rigtige: Løsningssikkerhed i procent Denne fordeling af tallene for løsningssikkerhed kan beskrives ved forskellige statistiske nøgletal. Det mest anvendte nøgletal er det simple statistiske gennemsnit, der beregnes således: Gennemsnit = ( )/11 = 65,8 Gennemsnittet egner sig bedst til at beskrive statistiske fordelinger, der er symmetriske, dvs. fordelinger der ikke hælder mod enten venstre eller højre. Det er ikke tilfældet for eksemplet i figuren ovenfor. For ikke symmetriske fordelinger anvendes i stedet medianen som et mål for positionen i fordelingen. Hvis tallene stilles op i stigende rækkefølge: findes medianen som den midterste værdi i talsættet. I eksemplet er medianen 69. Når medianen er større end gennemsnittet, som det her ses at være tilfældet, siges fordelingen at være venstreskæv, idet tallene i fordelingen er koncentreret mod venstresiden. 14

15 5. Fortolkning af resultater Med angivelse af procent rigtige for hver elev har man et præcist mål for elevens færdighedsniveau i form af løsningssikkerheden og den procentvise gennemførelse af antallet af opgaver som præcist mål for løsningshastigheden. Men er en værdi på f. eks. 67% i løsningssikkerhed udtryk for, at eleven på tilfredsstillende vis har indfriet kravene stillet i undervisningen? Disse krav er formuleret gennem læringsmål i de enkelte fag og udtrykker for hvert fag på hvert trin de krav, som undervisningen skal tilstræbe, at eleverne bringes i stand til at indfri. Man kan derfor spørge, om en rigtighedsprocent på f. eks. 67% er udtryk for, at eleven i det store og hele har indfriet de krav, som opgaverne er bygget over? Eller bør det være 75% eller er 50% tilstrækkelig? Svaret er flydende, fordi enhver opgave inden for fastlagte faglige, didaktiske rammer kan gøres nemmere eller sværere gennem ganske få ændringer, en proces, der er som at dreje op eller ned på en sværhedsknap, og som enhver opgavestiller kender fra sit arbejde. Der kan være gode grunde til at skrue på denne knap. Bl.a. er det hensigtsmæssigt ikke at gøre opgaverne så svære, at eleverne taber modet undervejs eller gøre dem så lette, at de dygtigste elever misforstår udfordringerne og læser noget andet ind i opgaverne, end det oprindeligt var hensigten. Noget tilsvarende gælder for vurderingen af løsningshastigheden. Her er det klart længden af de samlede opgaver, der fungerer som en knap til at skrue op og ned på forventede, gennemsnitlige værdier af løsningshastighederne. Det flydende element, mht. hvad der er acceptabelt og i overensstemmelse med læringsmålene, er klart til stede. Sædvanligvis benyttes såkaldte omsætningstabeller til at markere, om en bestemt værdi af færdighedsmålet er udtryk for en tilfredsstillende eller ikke-tilfredsstillende præstation set i forhold til læringsmålene. For at illustrere dette kan man benytte den øverste 2007-fordeling med løsningssikkerheden i 7. klasse i faget dansk i figur 1. Den vandrette x-akse repræsenterer en gruppering af værdierne i løsningssikkerhed i 10 grupper tilfældigvis det samme antal skridt, som findes på den tidligere anvendte 13-karakterskala, der har 10 skridt. Lader man den nederste søjle repræsentere karakteren 00 får ca. 0,9% af eleverne denne karakter. Derefter tildeles hver søjle sin karakter fra 03 til 13. F. eks. ses, at karakteren 03 gives til ca. 0,8% og karakteren 13 til ca. 13,5% af eleverne, mens det største andel 11 svarer til karakteren 7, som 18,9% af eleverne efter denne omsætningstabel får tildelt. Denne korte illustration er ikke så langt fra virkelighedens karakterfordelinger ved 10. klasses afgangsresultater, og ved at flytte fra procentværdiansættelsen af løsningssikkerheden til karakterer på 12-skalaen flyttes samtidigt over i et regi, hvor der på forhånd via 12-skalaens trin er tilskrevet faste kvalitative fortolkninger af præstationen. F. eks. er karakterer under 2 ikke tilfredsstillende, mens karakterer på 10 og 12 er udtryk for præstationer ud over det normale og forventede. 11 svarende til den højeste søjle. 15

16 Denne omregningsteknik kan gennemføres med den nye karakterskala, GGS, som indføres fra skoleåret 2009/2010 i den grønlandske folkeskole eller med den i Danmark indførte 12-skala eller med en hvilken som helst anden skala, der repræsenterer grupperinger af de grundlæggende procent-rigtige tal, og som har fået navngivet grupperingskategorierne eller karaktertrinnene som beskrivelser bag ved GGS- skalaens,12-skalaens eller 13-skalaens trin. Det er i denne forbindelse ikke afgørende, om den anvendte karakterskala udelukkende anvender bogstaver som kvalitativ markering eller eventuelt anvender både bogstaver og tal således, at der f. eks. kan beregnes gennemsnit. De grønlandske trintest er i en udviklingsfase, hvori det bl.a. skal vurderes, om en given løsningssikkerhed på f. eks. 67% som udtryk for de konkrete udfordringer, som opgaverne i et fag stiller eleven over for, resulterer i en kvalitativ bedømmelse som tilfredsstillende indfrielse af de krav, læringsmålene stiller eller ej. Denne proces er kun lige begyndt og bør hensigtsmæssigt kædes sammen med, at der på forskningsmæssige vilkår gennemføres undersøgelser, hvor eleverne både afprøves med de nye grønlandske trintest og samtidigt med andre kendte typer af opgaver i test, hvor man allerede har skaffet sig en holdning til, om en gennemsnitlig procent rigtig på 67% er godt eller skidt. Under sådanne forsøgsplaner kan fortolkninger af score-niveauer af procent-rigtige værdier fra de traditionelle test overføres til de nye trintest. Der bliver ikke introduceret omsætningstabeller eller karakterskalaer i forbindelse med trintestene for Dermed udskydes en afgørelse af, om bestemte værdier af løsningssikkerheden repræsenterer tilfredsstillende eller ikke-tilfredsstillende respons på test af læringsmålene. Det bliver i denne omgang statistiske fordelinger over løsningssikkerheden og løsningshastigheden, der benyttes som normative referencer for evalueringen, altså evalueringer, hvor resultaterne alene vurderes relativt. 16

17 6. Hovedresultater I dette afsnit beskrives resultaterne af trintest, der blev afholdt i 2008, og de sammenlignes med resultaterne for de to foregående år. Det skal bemærkes, at sammenligninger af data for tre år kun giver beskedne muligheder for at drage statistisk signifikante resultater, og derfor skal alle sammenligninger i det følgende tages med forbehold. I takt med at mængden af data øges, vil mulighederne for at drage mere sikre statistiske konklusioner naturligvis også blive større. Det skal desuden bemærkes, at der ikke foretages rangordninger af skolerne med hensyn til løsningssikkerheden. Det skyldes to forhold. For det første kan udviklingen fra år til år på de mindre skoler været præget af tilfældigheder, så der ofte ikke er solidt belæg for at drage konklusioner om udviklingen. Data er til rådighed på skoleplan, men det kan være vanskeligt at udtale sig om den enkelte skole ud fra gennemsnitsværdier eller medianer, fordi antallet af elever på skoleniveau undertiden ofte er meget lille, mange gange mindre end 8 elever. For det andet kan de enkelte skolers elevpræsentationer være præget af socioøkonomiske forhold hos forældrene i skolernes opland. Evalueringsafdelingen råder på nuværende tidspunkt ikke over metoder til at korrigere for socioøkonomiske forhold og andre forhold, såsom kulturelle forhold, til at justere elevresultaterne. I bilaget vises tabeller over skolernes præstationer for løsningssikkerheden uden justeringer for socioøkonomiske faktorer, og ønsker man selv at foretage sammenligninger af skolerne med hensyn til præstationsniveau, skal det ske med varsomhed. På forsiden af opgavehæfterne har eleverne mulighed for at angive, hvilket sprog de anvender i hjemmet. Vanskelighederne med konstruktionen af trintestdatabasen for 2008 medfører bl.a., at den sproglige dimension ikke kan medtages i analyserne af elevpræstationer, selvom sprog har stor betydning for elevernes faglige indlæring. Præsentationen af resultaterne i dette kapitel sker primært vha. grafiske illustrationer, der har til hensigt at give overblik over tendenserne i materialet. De præcise tal bag figurerne fremgår af bilagstabellerne. 6.1 Antal elever til trintest Antallet af elever, der aflægger trintest, varierer fra år til år og fra fag til fag. Udviklingen i antal elever, der gik til trintest i 3. klasse i perioden , fremgår af figur 4. 17

18 Antal elever Antal elever Figur 4: Antal elever til trintest i alle trintestfag i 3. klasse, I 2008 gik i alt 697 elever til en eller flere trintest i 3. klasse, heraf gik 597 elever op til samtlige tre trintest, mens de resterende 100 elever deltog i en eller to trintest ud af tre mulige. Der var ca. 640 elever, der tog testen i grønlandsk og dansk, mens der var lidt flere, nemlig ca. 670 elever, til test i matematik. Det samlede antal elever, der var indskrevet i 3. klasse året før afholdelsen af trintest, var på 904 ifølge skolernes indberetning pr. 1. oktober 2007 til Inerisaavik. Det betyder, at 207 elever, eller ca. 23% af alle elever i 3. klasse, slet ikke deltog i testen 12. Denne beregning af manglende deltagelse i trintest skal dog tages med betydeligt forbehold, indtil mere sikre tal for det samlede elevgrundlag foreligger, hvilket forventes i løbet af Udviklingen i antal elever, der gik til trintest i 7. klasse i perioden fremgår af figur 5. Figur 5: Antal elever til trintest i alle trintestfag i 7. klasse, Engelsk 12 Mellem opgørelsestidspunktet for 1. oktober-indberetningen og afholdelse af trintest i foråret året efter kan elevtallet have ændret sig bl. a. som følge af til- eller fraflytning mellem Grønland og udlandet. Opgørelsen af andelen af elever, der ikke deltog i testene, er derfor skønsmæssig. 18

19 I 2008 gik i alt 791 elever til en eller flere trintest i 7. klasse, heraf gik 533 elever op til alle fire trintest, mens de resterende 258 elever deltog i en, to eller tre trintest ud af fire mulige. Antallet af deltagere varierede fra ca. 640 i faget grønlandsk til ca. 730 elever i faget engelsk. Det samlede antal elever, der var indskrevet i 7. klasse året før afholdelsen af trintest, var på 947 ifølge skolernes indberetning pr. 1. oktober 2007 til Inerisaavik. Det betyder at 156 elever, eller ca. 17% af alle elever i 7. klasse, ikke deltog i testen. Ligeledes her skal beregningen af manglende deltagelse i trintest tages med betydeligt forbehold, og mere retvisende tal forventes at forekomme senere i Deltagelse i trintest er obligatorisk for alle elever fra normale klasser. Fritagelsesbestemmelser kan anvendes vedrørende elever, der f. eks. modtager vidtgående specialundervisning mv.. Manglende deltagelse i trintest kan også skyldes naturlige forhold såsom sygdom. Skolerne har mulighed for at afholde trintest senere på foråret, så elever, der var forhindret i at deltage i første omgang, kan tage testen, men dette ser ikke ud til at være en udbredt praksis. 13 Manglende deltagelse i trintest fra mellem 17% og 23% af eleverne er markant over det niveau, man ser i mange andre lande trods usikkerheden på disse størrelsesordener. De høje tal tyder på, at andre forhold end blot sygdom og andre formelle fritagelsesbestemmelser spiller en rolle for den manglende deltagelse. Om frafaldet fra testene sker efter skolens vurdering i samråd med forældrene, er desuden ikke afdækket. Det kan antages, at det specielt er fagligt svage elever, der af den ene eller anden grund ikke deltager i testene. Det er f. eks. uklart, i hvor stort omfang elever under vidtgående specialundervisning deltager i testene, eller om de friholdes fra testene. Hvis disse elever friholdes fra trintest, hvilket der dog på nuværende tidspunkt ikke kan siges noget præcist om, vil det betyde, at de resultater, der nedenfor præsenteres for løsningssikkerheden i de forskellige fag, til en vis grad vil overvurdere det reelle resultat blandt alle landets elever. I PISA-undersøgelserne udtrækkes eleverne ved lodtrækning, men efterfølgende frasorteres elever, der falder i den særlige kategori af elever, hvor man på forhånd skønner, at det er umuligt for eleven at gennemføre en test. Ved PISA-undersøgelsen fra 2009 var tallet for Danmark 8%, hvilket var det største blandt de deltagende lande, som typisk frasorterer op til 3% af deres elever. PISA lægger vægt på nogle klare kriterier, for at elever på forhånd ekskluderes fra at deltage i testen: Kognitive og fysiske handicaps samt (stærkt) begrænsede sproglige færdigheder, evt. at sproget anvendt i testen ikke svarer til elevens sprog. PISA sætter en normalgrænse på 2,5% for ikke-deltagelse. Evalueringsafdelingen er opmærksom på problematikken omkring den forholdsvis høje fraværsprocent, og der er igangsat initiativer til at fremskaffe et mere systematisk billede af, hvilke elever, der ikke deltager i testene og af hvilke grunde. 13 Det skal i den forbindelse nævnes, at der er hjemmel i lovgivningen i Grønland i forhold til at friholde elever fra at deltage i testen, hvilket skal ske i samråd med forældrene. 19

20 Løsningssikkerhed i % 6.2 Løsningssikkerhed Fagene I figur 6 er løsningssikkerheden i faget grønlandsk vist. Figur 6: Løsningssikkerhed i faget grønlandsk i 3. og 7. klasse klasse 7. klasse På 3. klassetrin viser løsningssikkerheden i faget grønlandsk de laveste værdier i forhold til andre trintestfag både på yngste- og mellemtrinnet. På yngstetrinnet sker der et fald i det faglige niveau fra værdien 43 i løsningssikkerhed i 2006 til værdien 39 i 2008, altså et mindre fald. Det modsatte billede tegner sig for elever i 7. klasse, hvor løsningssikkerheden er gået fra 56 i 2006 til 64 i 2008, hvilket må betegnes som en væsentlig fremgang. Et interessant aspekt ved figuren er den meget store niveauforskel, der er mellem løsningssikkerheden i 3. og 7. klasse, og hvor niveauet for 7. klasser er markant højere end for 3. klasser. Det kan skyldes, at trintestopgaverne på 7. klassetrin er lettere i forhold til læringsmålene end på 3. klassetrin, men det kan også være en forklaring på niveauforskellen, at den faglige udvikling i faget på yngstetrinnet lader noget tilbage og først udvikles senere frem mod afslutningen af mellemtrinnet. Denne vurdering kræver, at sværhedsskalaerne for 3. og 7. klassetrin bringes til at være en sammenhængende skala. Det vil umiddelbart kræve, at der er overlap mht. opgaverne i 3. og 7. klasse. Arbejdet med at udvikle en sammenhængende præstationsskala for 3. og 7. klassetrin i de enkelte fag er fagligt krævende arbejde, som må foregå på forskningsmæssige vilkår over flere år. 20

21 Løsningssikkerhed i % Løsningssikkerhed i % Figur 7: Løsningssikkerhed i faget dansk i 3. og 7. klasse klasse 7. klasse Figur 7 viser udviklingen i løsningssikkerheden i faget dansk. Som i grønlandsk er der stort set ingen positiv udvikling at spore i 3. klasse, men en beskeden stigning fra værdien 43 i 2006 til værdien 44 i Lidt mere udvikling ses i 7. klasse, hvor sikkerheden er steget fra værdien 57 i 2006 til værdien 60 i I faget dansk ses i øvrigt samme billede som i faget grønlandsk, hvor niveauet for 7. klasserne ligger markant over niveauet i 3. klasse. Her kan der gives formentlig samme forklaringer som i faget grønlandsk. I figur 8 vises udviklingen i løsningssikkerheden i faget engelsk, der kun afholdes i 7. klasse. Figur 8: Løsningssikkerhed i faget engelsk i 7. klasse Heller ikke løsningssikkerheden i faget engelsk har bevæget sig specielt. Fra et niveau på værdien 48 i 2006 faldt det til værdien 46 i 2007, for herefter at rette sig til værdien 49 i Endelig vises løsningssikkerheden i faget matematik i figur 9. 21

22 Løsningssikkerhed i % Figur 9: Løsningssikkerhed i faget matematik i 3. og 7. klasse klasse 7. klasse Hverken 3. klasse eller 7. klasse har vist nogen nævneværdig udvikling i faget matematik. For 3. klasse er sikkerheden faldet en anelse fra værdien 63 i 2006 til værdien 62 i For 7. klasse er sikkerheden steget beskedent fra værdien 50 i 2006 til værdien 51 i En interessant observation er, at niveauet for 3. klasser her ligger over niveauet i 7. klasser, helt modsat billedet for fagene grønlandsk og dansk. En forklaring kan igen være, at opgaverne i matematiktesten i 3. klasse er nemme i forhold til læringsmålene. En anden forklaring kunne være, at eleverne i yngstetrinnet er motiverede og har interesse for dette fag, men at interesse og motivation mistes i løbet af mellemtrinnet. Som ved læsetesten kræver dette, at de to skalaer for sværhedsgraden i 3. og 7. klasse kan sammenlignes på en skala Sammenhænge mellem fagene I folkeskoleforordningen lægges der op til tværfagligt samarbejde. I den forbindelse er det relevant at undersøge, om elevernes præstationer i de forskellige fag følges ad. Er det sådan, at en høj løsningssikkerhed i et fag hænger sammen med en høj løsningssikkerhed i et andet fag? Hvis det er tilfældet, siger man, at præstationerne er positivt korrelerede, hvilket mere præcist udtrykkes ved den såkaldte korrelationskoefficient 14. I figur 10 vises et eksempel på sammenhængen mellem løsningssikkerheden i faget dansk og i engelsk. Det fremgår af figuren, at der er en forholdsvis høj sammenhæng mellem præstationerne i disse to fag: Er man god til dansk, er man med stor sandsynlighed også god til engelsk. Indtrykket understøttes ved at se på værdien af korrelationskoefficienten, der er på 0,75, hvilket er den højeste værdi af korrelationskoefficienter blandt alle fag ved testene 2008, jf. tabel 2. I figur 10 vises sammenhængen mellem fagene dansk og engelsk i 7. klasse. 14 Korrelationskoefficienten er et statistisk beregnet tal, der kan antage alle værdier mellem -1 og +1. Værdier tæt på 0 indikerer at der ikke er nogen nævneværdig sammenhæng. Værdier tæt på -1 eller +1 markerer omvendt stærk sammenhæng, enten i negativ eller positiv retning. 22

23 Engelsk Figur 10: Sammenhæng mellem løsningssikkerhed i faget dansk og engelsk i 7. klasse i (0,1 = 10%; 0,2 = 20% osv.) 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0, ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 I figur 11 vises sammenhængen mellem fagene grønlandsk og matematik i 7. klasse. Figur 11: Sammenhæng mellem løsningssikkerhed i fagene grønlandsk og matematik i 7. klasse i (0,1 = 10%; 0,2 = 20% osv.) 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0, ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Her ses en mindre klar sammenhæng mellem præstationerne i de to fag, da punkterne ligger væsentligt mere spredt omkring linjen i figuren. Det indtryk understøttes da også ved at se på værdien af korrelationskoefficienten, som i dette tilfælde er på 0,43. I tabel 1 og tabel 2 er korrelationskoefficienten for alle kombinationer af fag angivet for 3. og 7. klassetrin i Korrelationsværdierne ligger faktisk ikke særligt højt mellem de fleste fag og man efterlades med et indtryk af, at forventningen om, at hvis man er god til ét fag, så er man sikkert også god til de andre fag, ikke holder helt. 23

24 Tabel 1: Korrelationskoefficienten i 3. klassetrin i ,00 0,41 0,37 0,41 1,00 0,51 0,37 0,51 1,00 Tabel 2: Korrelationskoefficienten i 7. klassetrin i Engelsk 1,00 0,47 0,41 0,43 0,47 1,00 0,75 0,44 Engelsk 0,41 0,75 1,00 0,42 0,43 0,44 0,42 1, Løsningshastighed Udover løsningssikkerheden måles også løsningshastigheden ved trintest. Fokus har i de tidligere rapporter været rettet mod analyser af løsningssikkerheden, men ved at sammenholde sikkerhed og hastighed i løsningerne, opstår nye interessante analysevinkler i forhold til trintest. For langt de fleste fags vedkommende er medianværdien for løsningshastigheden 100. Det betyder, at 50% eller flere af eleverne når at se på samtlige opgaver i løbet af den tid, der er afsat til testen. Kun for fagene grønlandsk og matematik på 3. klassetrin er medianværdien mindre end 100, hvilket altså betyder, at mindre end 50% af eleverne når alle opgaver. Tabel 3 viser et mere nuanceret billede af hastigheden blandt eleverne til trintest. Her er den langsomste tiendedel 15 og den langsomste fjerdedel 16 af eleverne angivet. F. eks ser man, at de 10% langsomste elever i faget grønlandsk for 7. klasse kun når at se på 36% af de stillede opgaver og i 3. klasse gælder det, at 10% af eleverne højst når at se på 15% af de stillede opgaver i dette fag. Tabel 3: Løsningshastigheden blandt grupper af elever til trintest i % langsomste 10% langsomste" Engelsk 7.kl Generelt set er der ikke opgaver nok, hvis man vil fastholde at kunne skelne mellem eleverne. Hvis man ønsker at benytte løsningshastighed som en del af evalueringen, også for den hurtigste halvdel af eleverne, må antallet af opgaver i trintestene øges, således at der opnås bedre adskillelse af 15 langsomste tiendedel udgør 10% af eleverne. 16 langsomste fjerdedel udgør 25% af eleverne. 24

25 Sikkerhed i% eleverne, da det skal være muligt at skelne mellem alle elever ved hjælp af løsningshastigheden, uanset om der er tale om en hurtig eller langsom elev. 6.4 Sammenhæng mellem løsningssikkerhed og løsningshastighed Det er almindeligt i mange standardiserede systemer, som benyttes som referencer for den praktiske prøvetagning, at man sammenholder sikkerhed og hastighed i ét system. Nedenfor vises nogle eksempler på dette. I figur 12 er sikkerheden i faget matematik i 3. klasse holdt sammen med hastigheden i samme fag for trintest i Hvert punkt repræsenterer en elevs præstationer på disse to mål. Som det fremgår, er næsten alle kombinationsmuligheder repræsenteret i grafen. Det skal dog bemærkes, at der bag ved et enkelt punkt i grafen kan ligge én eller flere elever, således at tyngden i figuren forsvinder i de enkeltpunkter, der måtte befinde sig andre steder. Imidlertid sker dette sammenfald ikke hyppigt på grund af selve konstruktionen af værdierne for hastighed og sikkerhed. Et stort sammenfald ville også betyde, at tegningen skulle indeholde væsentlig færre punkter end de knap 700, som vides at have leveret værdier til testen. Figur 12: Sammenhæng mellem hastighed og sikkerhed faget matematik i 3. klasse. (0,1 = 10%; 0,2 = 20% osv.) 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0, ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Hastighed i % Der ses en tendens til, at elever, der når at løse alle opgaver, præsterer alle mulige værdier af sikkerheden, mens elever med lav hastighed tilsyneladende præsterer højt på sikkerheden. Hermed tegner der sig et billede af den langsomme, men grundige elev, der svarer korrekt på de opgaver, som nås selv om de ikke er mange. I figur 13 er sammenhængen mellem hastighed og sikkerhed i faget matematik i 7. klasse opstillet. Her synes billedet endnu mere udtalt, hvor den langsomme elev er forholdsvis sikker, mens den hurtige elev præsterer alle mulige løsningsværdier. 25

26 Sikkerhed i % Sikkerhed i % Figur 13: Sammenhæng mellem hastighed og sikkerhed i faget matematik i 7. klasse i (0,1 = 10%; 0,2 = 20% osv.) 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0, ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Hastighed i % Endelig viser figur 14 sammenhængen mellem hastighed og sikkerhed i faget grønlandsk i 7. klasse for Her tegner der sig det klassiske billede, hvor langsomme elever har lav sikkerhed og modsat, at hurtige elever har høj sikkerhed. Figur 14: Sammenhæng mellem hastighed og sikkerhed i faget grønlandsk i 7. klasse i (0,1 = 10%; 0,2 = 20% osv.) 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0, ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Hastighed i % Den klassiske sammenhæng findes ikke blandt præstationerne i de fleste grønlandske trintest, noget som vil blive taget op senere. Den umiddelbare konsekvens af en manglende eller stærkt skiftende sammenhæng mellem hastighed og sikkerhed er, at man ikke simpelt kan rangordne elever i et forløb, som man ellers ser: Langsomme og usikre mod hurtige og sikre. 26

27 Løsningssikkerhed i % 6.5 Kommuner De fire nye storkommuner blev etableret pr. 1. januar Det er alligevel valgt af hensyn til fremadrettede sammenligninger at tilbageregne tallene for 2008 i forhold til den nye kommunestruktur. Nedenfor er der alene set på niveauet i løsningssikkerhed mellem kommunerne, og der kommenteres ikke på udviklingen mellem 2006 og 2008, da de fleste tal stammer fra geografiske og organisatoriske forhold, som hører fortiden til. I figur 15 er løsningssikkerheden vist for 3. klasse i Det bemærkes for det første, at der ikke er nævneværdig forskel i niveauet for faget matematik, mens det er indenfor sprogfagene, at forskellene udspiller sig. Med hensyn til faget grønlandsk er der markant forskel mellem Qaasuitsup Kommunia, der topper, og Kommuneqarfik Sermersooq, der ligger i bund. Med hensyn til faget dansk er det Qeqqata Kommunia og Kommuneqarfik Sermersooq, der har de højeste værdier for løsningssikkerhed. Figur 15: Løsningssikkerhed pr. kommune i 3. klasse i alle trintestfag i Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia I figur 16 er løsningssikkerheden vist for 7. klasse i Her er variationen i faget matematik noget større med Qeqqata Kommunia som den kommune, der har den højeste løsningssikkerhed og Kommune Kujalleq, der har den laveste. 27

28 Løsningssikkerhed i % Løsningssikkerhed i % Figur 16: Løsningssikkerhed pr. kommune i 7. klasse i alle trintestfag i Engelsk 10 0 Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia 6.6 Byer og bygder Der knytter sig en særlig interesse til at måle forskellen mellem elever fra byer og bygder. Selvom bygderne i en årrække har oplevet en tilbagegang i deres befolkningsgrundlag, bor ca. 15% af alle landets børn dog stadigvæk i bygderne. Figur 17 og 18 viser løsningssikkerheden på 3. henholdsvis 7. klassetrin for 2008 for byer og bygder. Figur 17: Løsningssikkerhed mellem byer og bygder i alle trintestfag på 3. klassetrin i By Bygd

29 Løsningssikkerhed i % Løsningssikkerhed i % Figur 18: Løsningssikkerhed mellem byer og bygder i alle trintestfag på 7. klassetrin i Engelsk By Bygd Eleverne i byerne klarer sig generelt bedre end eleverne i bygderne i fagene dansk og engelsk både i 2007 og Især i faget dansk er forskellen tydelig. I faget grønlandsk, både for 3. og 7. klasses vedkommende, gælder det, at eleverne i bygderne klarer sig bedre end eleverne i byerne. I faget matematik, både i 3. og 7. klasse, ligger løsningssikkerheden hos elever i bygderne over niveauet for elever i byerne. Denne forskel er særlig markant på 7. klassetrin. 6.7 Piger og drenge Forskelle mellem piger og drenge i forhold til læring og undervisningssystemet i det hele taget er et meget omdiskuteret emne i den internationale litteratur. Emnet har dog ikke tiltrukket megen opmærksomhed i grønlandske studier, og viden om kønsforskelle i uddannelsessystemet er meget begrænset. Figur 19 og figur 20 viser løsningssikkerheden for piger og drenge på 3. hhv. 7. klassetrin for året Figur 19: Løsningssikkerhed for piger og drenge på 3. klassetrin Piger Drenge

30 Løsningssikkerhed i % Figur 20: Løsningssikkerhed for piger og drenge på 7. klassetrin Engelsk Det fremgår, at piger klarer sig bedre end drenge i alle fag. Eneste undtagelse er faget dansk på 3. klassetrin hvor der, modsat andre år, var balance. Det kan skyldes tilfældig statistisk variation i dette år. Pigernes præstationer i 7. klasse er markant bedre i fagene grønlandsk og dansk. Forskellen i fagene engelsk og matematik er også i pigernes favør, men er her mindre udtalt end i de andre fag. Piger Drenge 6.8 Fagligt stærke og svage elever Man kan ikke ud fra objektive kriterier fastlægge, hvornår man ser en god eller mindre god præstation, eller om en elev er faglig stærk eller svag. Det skyldes, at der i forbindelse med trintestene endnu ikke er taget stilling til, hvad der set fra didaktisk side skal til for at opnå en god eller dårlig præstation. Det er derfor helt op til testkonstruktører at bestemme, hvor svær en samlet test skal være ud fra samlingen af enkeltopgaver eller items, som de også kaldes. Hvis items er gennemgående svære, bliver niveauet af procent korrekte svar tilsvarende lav. Det er en erfaring, at trænede opgavekonstruktører kan styre sværhedsgraden, således at de fleste elever besvarer et sted mellem ca. 20% og 80% af opgaverne korrekt. Tallene 20% og 80% er ikke tilfældigt valgte tal, fordi de repræsenterer testpsykologiske grænser for, hvor langt ud til siderne man i praksis bør gå. Det er international erfaring fra PISA eller TIMSS og PIRLS undersøgelserne, at man bør tilstræbe en gennemsnitlig eller median løsningssikkerhed på ca. 60% for en test. Figur 21 viser, hvor mange elever i procent der klarer at besvare trintesten med en løsningssikkerhed på mere end 80%. Under alle omstændigheder vil en sådan præstation være bemærkelsesværdig, hvis ikke opgaverne er meget lette. Elever, der klarer at besvare opgaverne med mere end 80% rigtige, kaldes fagligt stærke elever. Figuren viser, hvor hyppigt forekommende denne kategori af elever er for året 2008, opdelt på de nye kommuner. 30

31 Hyppighed i % Figur 21: Hyppighed af fagligt stærke elever i 3. klassetrin pr. kommune i Det ses, at Kommuneqarfik Sermersooq har markant flere stærke elever i faget dansk i 3. klasse end de øvrige kommuner. Modsat ligger Qaasuitsup Kommunia og Kommune Kujalleq lavest i dette fag. Kommune Kujalleq har i store træk den laveste hyppighed, hvad angår fagligt stærke elever i de tre testdiscipliner i 3. klasse Fagligt stærke elever I figur 22 vises hyppigheden af fagligt stærke elever på 7. klassetrin. Her skiller Kommuneqarfik Sermersooq og Qeqqata Kommunia sig markant ud i forhold til fagligt stærke elever inden for de fleste fag. Det skal understreges, at man ikke kan tage ændringen fra 3. klassetrin til 7. klassetrin som et generelt billede af, at disse kommuner udvikler deres elever markant fra yngstetrinnet til mellemtrinnet, idet der jo er tale om to forskellige læringsmål, som testes i hhv. 3. og 7. klasse. 31

32 Hyppighed i % Figur 22: Hyppighed af fagligt stærke elever pr. kommune på 7. klassetrin i Engelsk 0 Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia Fagligt svage elever I figur 23 og figur 24 vises billedet af hyppigheden af fagligt svage elever. Det er elever, som opnår løsningssikkerhed, der er lavere end 20%. Disse elever har dermed løst mindre end en femtedel af de opgaver, der er forsøgt besvaret. Uanset en generel diskussion om gode eller mindre gode præstationer er dette kriterium en karakteristik af en præstation, som er svag. Der er her tale om et spejlbillede af figurerne med stærke elever, hvor f. eks. Kommuneqarfik Sermersooq har en relativ stor hyppighed af fagligt svage elever i faget grønlandsk. Det er også i dette fag, den største andel af fagligt svage elever i 3. klasse findes i alle kommuner. Kommuneqarfik Sermersooq er også den kommune, som ud over at have størst andel af fagligt stærke elever, også har den største andel af fagligt svage elever i faget dansk i 3. klasse. 32

33 Hyppighed i % Hyppighed i % Figur 23: Hyppighed af fagligt svage elever pr. kommune på 3. klassetrin i Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia Figur 24: Hyppighed af fagligt svage elever pr. kommune på 7. klassetrin i Kommune Kujalleq Kommuneqarfik Sermersooq Qeqqata Kommunia Qaasuitsup Kommunia Engelsk Den relative største andel af fagligt svage elever findes i Kommune Kujalleq i alle trintestfag i 7. klasse. Kommuneqarfik Sermersooq har også relativ stor andel af disse elever i faget matematik. Qaasuitsup Kommunea er den kommune med lavest andel af fagligt svage elever i alle trintest fag på mellemtrinnet. 33

34 7. Tema: En didaktisk vinkel på resultaterne fra trintest 2008 De analyser, som traditionelt gennemføres på data fra trintestene, anvender beregninger udført ved hjælp af procent rigtige, enten pr. elev eller pr. opgave. Det er karakteristisk at opgaver, som har været igennem de tidligere omtalte homogenitetsundersøgelser ud fra Rasch modellen, i denne sammenhæng optræder anonymt og alene bidrager til evalueringen med en bestemt sværhedsgrad. Det er i overensstemmelse med denne tankegang, at man som analytiker ikke hæfter sig ved hvilke opgaver, der er besvaret rigtigt og hvilke opgaver, der er besvaret forkert. Det er alene antallet af korrekte opgaver, som er relevant. Om et bestemt antal rigtige, altså elevscoren, kommer fra det ene eller andet sæt af opgaver, er principielt uden interesse. Faktisk ligger det i de homogenitetskrav, som opgaverne er underkastet, at man ud fra nogle svar på nogle opgaver med en vis sikkerhed kan forudsige svarene på nogle andre opgaver disse andre opgaver forventes at blive besvaret korrekt, hvis de er lettere end de opgaver, hvorfra forudsigelsen gennemføres. Hvis man i stedet for at danne mønstre ud fra rigtigt/forkert ser på mønstre, dannet ud fra de oprindelige svar, opstår der nye analytiske muligheder. I sådanne mønstre indgår de faktiske svar, som eleven har afgivet. Hvis dette faktiske svar er rigtigt, tilføjes der ikke ny information, fordi facitlisten kan fortælle præcis, hvilket svar eleven så har afgivet. For forkerte svar øges informationen betydeligt, fordi den måde, der er svaret forkert på, nu er tilgængelig. Man kan kæde sådanne iagttagelser af præcise angivelser af måden for flere opgaver sammen og se, om der er system i den eller de måder, eleven har svaret forkert på. I tilfælde af multiple choice opgaver (MC) er der typisk én svarkategori, der er det rigtige svar og ca. 3 alternative svarmuligheder 17, der alle repræsenterer ikke-korrekte svar. Det er indlysende, at opmærksomhed omkring den måde eleven har svaret forkert på, dvs. hvilke af de alternative svarmuligheder eleven har valgt, kræver, at man allerede i konstruktionsfasen af opgaverne tænker sig godt om i valget af alternative svarmuligheder, således at informationen om at eleven vælger denne svarmulighed, bliver nyttig og relevant for analyserne. Ikke alle alternative valg er selvfølgelig lige velegnede til den slags analyser, hverken til at understøtte og fastholde egenskaben homogenitet, som udspilles på niveauet rigtigt/forkert eller på det mere detaljerede plan, hvor måden eleven har afgivet fejlsvar på studeres og fortolkes. I tilfælde af opgaver, der besvares i det format, som kaldes kort svar (SF), hvor spørgsmålet f. eks. lyder: hvor mange cm er linjen? og svaret er: 10 cm, er tallet 10 et kort svar, som noteres. I sådanne SF-opgaver er der typisk flere muligheder for fejlsvar sammenlignet med MC-opgaver, og mulighederne for efterfølgende interessante svar fra denne og andre opgaver til at danne interessante mønstre over flere opgaver øges derfor betydeligt i forhold til MC-opgaver. Uanset om der er tale om MC eller SF opgaver, vil mønstre af fejlsvar over flere opgaver kunne bidrage med nyttig pædagogisk viden om eventuelle mangler hos eleven. Der kan i bedste fald stilles en slags didaktisk diagnose, som læreren kan benytte i sin tilrettelæggelse af undervisningen. 17 alternative svarmuligheder kaldes også distraktorer. 34

35 Eksemplerne herunder vil demonstrere, hvorledes metoden kan anvendes, illustreret ved eksempler på trintest i faget matematik i 7. klasse afholdt i Eksemplerne kan uden problemer udvides til de andre fag og klassetrin, og de vil hermed indfri et løfte fra starten af konstruktionen af trintestene for Grønland om at være pædagogisk orienteret på et diagnostisk plan som del af den løbende interne evaluering. Eksempel 1: Vandret addition Opgaverne nr. 1-4 i opgavehæftet tester eleverne i simpel addition ud fra et opgaveformat, hvor det, der skal lægges sammen, står vandret: De rigtige svar er 58, 76, 61 og 211. Tabel 4 viser de 24 mønstre af svar 18, som eleverne præsterede. Alle kombinationer vises, men der er særlig tre kombinationer, der springer i øjnene. Disse er markeret med fed skrift i tabellen. 18 Antal linjer i tabellen. 35

36 Tabel 4: Svarmønster for vandret addition Antal Løsningssikkerhed Kombinationer Svar Opgave 1 Svar Opgave 2 Svar Opgave 3 Svar Opgave 4 elever Ikke besvaret Ikke besvaret Ikke besvaret Ikke besvaret Ikke besvaret Ikke besvaret Ugyldigt svar Ugyldigt svar Ugyldigt svar Ugyldigt svar Forkert Ikke besvaret Ugyldigt svar I alt Note: Ikke alle 657 elever, der deltog i trintest i 7. klasse i 2008, er omfattet af analysen. Af tabellens første linje fremgår det, at 7 elever svarede rigtigt på alle fire opgaver. Disse 7 elever havde samtidig en gennemsnitlig løsningssikkerhed i på 50 og en løsningssikkerhed i på 59, hvilket fremgår af tabellens søjler yderst til højre. Det svarer stort set til landsnormen på 51 i og 60 i. Det er overraskende, at kun 7 elever, eller 1,5 % af det samlede elevtal, svarede rigtigt på alle opgaver. Det er også overraskende, at disse 7 elever ikke ligger over normen i og, men faktisk en smule under. Den hyppigst forekommende kombination af svar er nr. 17. Her svarer eleverne rigtig på de to midterste opgaver. På opgave 1 svares der 44, og på opgave 4 svares der 201. Begge disse svar er forkerte. I alt 240 elever, eller 51% af alle elever, har svaret efter dette mønster. Disse elever har en gennemsnitlig løsningssikkerhed på 54 i og 63 i, hvilket er pænt over landsnormen på 51 hhv. 60. Der er altså ikke tale om generelt fagligt svage elever i eller 36

37 elever, der har læsevanskeligheder. Faktisk er denne gruppe af elever gennemsnitligt set bedre end de 7 elever, der svarede rigtigt på alle opgaverne. Den næsthyppigst forekommende kombination er nr. 4. Her svarer eleverne rigtigt på opgave 1 og 4. På opgave 2 svares der 56, mens der på opgave 3 svares 51. Begge disse svar er forkerte. I alt 99 elever, eller 21% af alle elever, svarede sådan. Disse elever har en løsningssikkerhed på 51 i, hvilket svarer til landsnormen. I er denne gruppe elevers løsningssikkerhed på 57, hvilket er en smule under landsnormen på 60. Igen kan det siges at være elever, som hverken er specielt svage i eller. Hvordan kan det være, at så mange, oven i købet dygtige elever, svarer 44 på den første opgave? Didaktiske analyser giver ikke noget umiddelbart svar der er hverken mentefaldgruber eller lokning til sjuskefejl. En tanke kunne være, at eleverne tjekker svarmulighederne fra oven én for én og kasserer de tre øverste som urealistiske muligheder og så må det jo være den sidste kasse, der rummer løsningen, kunne de tænke. Sådanne sidste kasse-løsninger som princip kan man tjekke ved at se på, hvordan disse elever, som svarer med 44, har svaret f. eks. på opgave 2. Hvis princippet også gælder her, skal mange af de samme elever vælge 56, som er den sidste svarmulighed. Her viser det sig, at praktisk taget alle 240 elever faktisk har svaret den rigtige løsning 76, som står som nummer ét fra oven, og 3 elever har svaret 75, der står som nummer to. Samtidig viser det sig, at gruppen af elever, der svarer 56, som er den sidste svarmulighed i opgave 2, faktisk alle svarer 58, dvs. den rigtige i opgave 1. Alt i alt en solid afvisning af hypotesen om screening fra oven og valg af sidste kasse. Muligheden 44 er derfor ikke valgt af den grund. En anden forklaring kunne være, at eleverne ser et problem vedrørende talmønstre i den første opgave ikke nogen realistisk forklaring, men i givet fald skulle den gå ud på, at 23 mangler tallet 4 og 35 mangler også tallet 4, for at det hele skal gå op. Som sagt ikke nogen god forklaring og desværre ikke en forklaring, der kan benyttes til at forstå, hvorfor så mange elever har valgt at svare 56 i stedet for 76 på opgave 2. Med mindre man igen anvender antagelsen om, at eleverne ser et andet problem vedrørende talmønstre end opgaven egentlig stiller. Ud fra samme mening som ovenfor ved opgave 1 fører det til, at 56 er valgt, fordi første ciffer i de to tal, der skal adderes, er 3 og 4 og så mangler 5. En foreløbig diagnose kunne være, at vandret addition ikke siger mange elever noget, selv dygtige elever, selv om simpel addition skulle være indlært allerede ved yngstetrinnet Det ser ud til, at eleverne anvender egne rutiner eller algoritmer for at nå frem til svaret. Da ovenstående analyse ikke kan komme tættere på, hvilke rutiner eleverne anvender ved vandret addition, er der behov for at gå endnu tættere på eleverne for at forstå, hvorfor de svarer, som de nu engang gør. Det ligger uden for rammerne af Trintestsystemet at give svar herpå. Andre metoder af mere kvalitativ karakter må tages i anvendelse i så henseende. 37

38 Eksempel 2: Talbehandling Mens eksempel 1 ingen tekst havde og derfor ikke indbød til forklaringer på fejlagtige svar, som kan sættes i relation til tekstforståelse eller lignende, så indeholder opgaverne 27 og 28 tekst. De rigtige svar er 26,25 kr. og 5 kr. Tabel 5: Svarmønster for talbehandling Kombinationer Svar Svar Antal Løsningssikkerhed Opgave 27 Opgave 28 elever 1 26,25 kr. Ikke besvaret 2 26,25 kr. Ugyldigt svar 3 Forkert 5 kr Forkert Forkert Ikke Ikke besvaret besvaret I alt Note: Ikke alle 657 elever, der deltog i trintest i 7. klasse i 2008, er omfattet af analysen. Svarmønstrene er opsummeret i tabel 5. Der er ingen elever, som har begge opgaver rigtigt. Det er igen overraskende, at det forholder sig sådan. Eleverne fordeler sig i tre store grupper: (1) elever, der svarer rigtigt på opgave 27, men undlader at svare på 28, (2) elever, der svarer forkert på opgave 27, men rigtigt på 28 og (3) elever, der svarer enten forkert eller undlader at besvare begge opgaver. Den hyppigst forekommende kombination er nr. 3. Her svarer eleverne forkert på opgave 27, men rigtigt på opgave 28. I alt 194, eller 40% af eleverne, har svaret efter dette mønster. Disse elever har en generel løsningssikkerhed i på 58 og en løsningssikkerhed i på 65, begge klart over landsnormen. 38