Grønlandske elevers præstationer i matematik i et internationalt perspektiv. Internationalt anerkendte opgaver (TIMSS) afprøvet i Grønland

Transkript

1 Grønlandske elevers præstationer i matematik i et internationalt perspektiv Internationalt anerkendte opgaver (TIMSS) afprøvet i Grønland Arbejdspapir: 2012:1

2 INDHOLDSFORTEGNELSE FORORD INTERNATIONALE MATEMATIKSPØRGSMÅL (TIMSS) AFPRØVET I GRØNLAND UNDERSØGELSENS RAMME UNDERSØGELSENS UDFORMNING UNDERSØGELSENS HOVEDRESULTATER ELEVHÆFTET ELEVSPØRGESKEMAET ANALYSER PERSPEKTIVERING Side 2

3 Forord Matematik er et af de centrale udgangspunkter for de videre studier indenfor naturvidenskabelige fag på de højere- og videregående uddannelser. Der vil uden tvivl og givetvis indenfor en kort tidshorisont - være en stigende efterspørgsel efter personer, med kompetencer indenfor naturvidenskabelige discipliner (ingeniører mv.), blandt andet i forbindelse med den forventede øgede aktivitet indenfor mineog råstofområdet i samfundet. Det er derfor af uddannelsespolitiske/strategiske årsager meget vigtigt, at vores unge står godt rustet på det naturvidenskabelige område, klar til at imødekomme de krav, som de kommende væksterhverv vil stille. Og med den konsekvens, at så mange hjemmehørende som muligt, kan påtage sig de jobmuligheder, der forventes mange af i fremtiden. Desværre må det konstateres, at mange elever lige nu forlader folkeskolen med ringe færdigheder i matematik. Ved afgangsprøverne i 2011 var gennemsnittene i matematik i prøvedisciplinerne skriftlig og problemregning de laveste blandt alle disciplinerne i de aflagte prøver. Desuden har trintestresultaterne ikke vist samme positive udvikling siden 2006, som det har kunnet spores i de øvrige trintestfag. Inerisaavik ser med alvor på denne øjeblikkelige situation, og derfor blev det besluttet i 2011 at analysere situationen nærmere, for at tilvejebringe et godt grundlag for den videre udvikling af faget. Et vigtigt element af en sådan analyse indeholder en vurdering af de grønlandske Trintests og en evaluering af grønlandske elevers færdighedsniveau, målt gennem trintestene. En praktisk indfaldsvinkel til dette har været, at sammenligne grønlandske elever ved at lade dem besvare matematikopgaver i internationalt regi. Det blev besluttet at vurdere, hvordan grønlandske elever kunne klare internationale matematikspørgsmål og, samtidig med at se på, hvordan danske elever ville kunne klare de grønlandske matematikopgaver i fra trintestene. Resultaterne fra undersøgelsen er på mange måder opløftende: Grønlandske elever på mellemtrinnet besvarer internationale matematikspørgsmål i det internationale midterfelt, dvs. på linje med elever fra Norge. Danske elever klarer de grønlandske trintestspørgsmål en smule bedre end i grønlandske elever, men forskellen er ikke markant. Det betyder på den ene side, at trintestene ser ud til at repræsentere nogle udfordringer, der i sværhedsgrad er sammenlignelige med internationale opgaver og, på den anden side, at de grønlandske elevers niveau på disse opgaver ligger i midten som sammenligningen med Norge antyder. Måske betyder det alt i alt, at forordningen om folkeskolen og dens principper så småt er ved at kunne ses på præstationerne på yngste- og mellemtrinnet? Vigtigst af alt er dog, at resultaterne giver stof til eftertanke og en ansporing til at gøre undervisningen i matematik endnu bedre. Med denne publikation introducerer Inerisaviik hermed en ny måde at publicere de mange videnskabelige og interessante resultater, der løbende skabes i evalueringsafdelingen, på. Formen kaldes et Arbejdspapir, og dette er hermed det første af slagsen, der præsenterer resultaterne af afprøvningen af internationalt anerkendte matematikspørgsmål i Grønland. Senere på året præsenteres Side 3

4 undersøgelsen den anden vej, ved at vise hvordan danske elever har besvaret de grønlandske Trintest. Med disse arbejdspapirer ønsker vi at formidle videnskabelige resultater om undervisning på en hurtig og let forståelig måde og for den bredere offentlighed. Arbejdspapirer behøver ikke nødvendigvis at komme rundt om alle hjørner af et emne område, hvilket typisk sker i de trykte publikationer, som fx de trykte Trintestrapporter. Der vil senere også komme en mere udførlig rapport fra afprøvningen af opgaver fra TIMSS. Undersøgelserne er gennemført af Inerisaaviks evalueringsafdeling med Ellen Jensen Karlsen (afdelingsleder) og Esekias Therkelsen (evalueringsmedarbejder) som ankerpersoner. Peter Allerup (Professor ved Danmarks Pædagogiske Universitet) har været ansvarlig for gennemførelsen af undersøgelsen af hvordan danske klarer grønlandske trintestspørgsmål, og har desuden forestået de statistiske analyser af alle tallene. Carsten Petersen (specialkonsulent i Departementet for Uddannelse og Forskning) har bistået i forskellige sammenhænge ved dataindsamling og analyse. Tak til alle for det gode samarbejde på tværs af institutioner og faggrænser. Denne arbejdspapir dokumenterer grundlaget bag de gennemførte undersøgelser og afrapporterer også undersøgelsernes hovedkonklusioner. God læselyst Jens Jakobsen Side 4

5 1. Internationale matematikspørgsmål (TIMSS) afprøvet i Grønland 1.1 Undersøgelsens ramme Grønlandske elevers viden om og færdigheder i matematik er i 2011 testet med udgangspunkt i spørgsmål fra det internationale komparative undersøgelsesdesign TIMSS, hvilket er en forkortelse for Trends in Mathematics and Science Studies. TIMSS er gennemført i en række lande i årene 1995, 1999, 2003 og 2007, og senest i Opgaverne i TIMSS tester elevernes færdigheder i matematik og naturvidenskab sidstnævnte område er dog ikke omfattet af nærværende undersøgelse. Det er en væsentlig egenskab ved spørgsmålene i TIMSS at de er konstrueret på en sådan måde, at de kan benyttes som én, international skala til at sammenligne elevers færdigheder på tværs af lande. De statistiske (psykometriske) principper, som har været anvendt internationalt ved TIMSS opgaverne har vist sig heldigvis også at kunne anvendes ved konstruktion og afprøvning af opgaverne i de Grønlandske Trintest. Den samling internationale TIMSS matematikopgaver, som det grønlandske hefte er konstrueret ud fra, er blevet testet for såkaldt itemhomogenitet ved hjælp af Rasch modeller. Under denne fase, der sædvanligvis eliminerer ca. 50 % af opgaverne, undersøges de psykometriske egenskaber specifikt med henblik på at undersøge om opgaverne kan lægges til grund for beregning af én fast type af elevfærdigheder i matematik. Uanset om alle opgaver tages i anvendelse eller man kun anvender nogle af opgaverne - hvad man jo typisk gør, hvis én elev kun ser ét hefte med de opgaver, der nu engang findes her. TIMSS er udviklet og gennemføres i regi af International Association for the Evaluation of Educational Achievement, forkortet IEA. Det er en samarbejdsorganisation med deltagere fra forskningsinstitutioner, der sætter forskellige evalueringstemaer på dagsordenen, når disse er vedtaget på IEA s dagsorden. Hvorfor er TIMSS valgt som analyseramme frem for fx PISA, som er den mest citerede analyseramme i fx danske medier? PISA er Literacy baseret, mens TIMSS er Curriculum baseret. Det betyder med andre ord, at TIMSS s opgaver er udviklet i tæt overensstemmelse med fagets læringsmål (Curriculum), mens PISA s literacy baserede opgaver tester tilstedeværelsen af bestemte kompetencer (Literacy) hos eleverne mht. at benytte det indlærte til at løse specifikke opgaver. PISA s opgaver kan derfor alene anvendes til enkle rangordninger af eleverne uden at give mulighed for tilbagemeldinger til elever/lærere mht. hvad der evt. er galt i en elevs besvarelser, set i forhold til de opstillede læringsmål. Grønlands folkeskoles curriculum er beskrevet i de trinmål, som ligger til grund for undervisningen i fx matematik. Det er derfor naturligt, at vælge TIMSS opgaver som grundlag for en evaluering af grønlandske elevers færdigheder. Skal man lave et regnestykke som i TIMSS eller skal man bare prøve at regne den ud ved fx at gætte som i PISA? Der skelnes mellem en situation, hvor eleven i Side 5

6 TMSS formulerer problemet i opgaven ved hjælp af formeltænkning, hvorimod PISA løsningen ikke kalder på bestemte færdigheder i den retning her gælder det bare om at finde det rigtige resultat, så har man kompetencen. TIMSS-metoden er illustreret i figuren til venstre, mens PISA-metoden er illustreret i figuren til højre. Det er dog ikke formålet med dette notat at komme med en dybere beskrivelse af forskellen mellem TIMSS og PISA. Der henvises til Evaluering i skolen: Baggrund. Praksis.Teori. Allerup, Jansen, Weng. Dafolo 2011 for en nærmere beskrivelse af de to evalueringsrammer. Det skal bemærkes, at Grønland ikke deltager officielt hverken i PISA eller TIMSS, og resultaterne af denne undersøgelse gøres derfor heller ikke tilgængelig på TIMSS s hjemmeside, som tilfældet er med resultaterne fra de øvrige officielt omfattede lande. TIMSS har alene dannet grundlag for en række opgaver, der har kunnet fungere som referenceramme, primært for at kunne komme med en første sammenligning og vurdering nogensinde af, hvordan grønlandske elever placerer sig indenfor matematik i en international dimension. International er TIMSS-opgaverne fordelt over adskillige opgavehæfter/skemaer og eleverne besvarer tillige et elevhæfte mens deres lærer besvarer et lærerskema. Den grønlandske TIMSS-afprøvning omfatter et elevopgavehæfte bestående af 31 spørgsmål, et elevspørgeskema samt et lærerspørgeskema og der gives 45 minutter til besvarelse. Eleven må kun bruge en blyant når opgaverne løses. Det er ikke tilladt at bruge en lineal og lommeregner. Elev- og lærerspørgeskemaet indeholder en række spørgsmål om elevers og læreres baggrund samt spørgsmål af mere kvalitativ karakter til elever og lærere om oplevelsen af faget matematik. Elevhæftet og elevspørgeskemaet vedlægges. Side 6

7 1.2 Undersøgelsens udformning Udformningen af undersøgelsen blev fastlagt i foråret Helt overordnet set skete undersøgelsen ud fra følgende hovedprincipper: For det første skulle alle elever og lærere - naturligvis have mulighed for at besvare spørgsmålene også på grønlandsk, selvom de umiddelbart forelå på dansk. Dermed er alle tre spørgesæt blevet oversat fra dansk til grønlandsk. Når det er væsentligt at bemærke dette, er det fordi, at visse resultater i undersøgelsen kunne tyde på, at oversættelsen fra dansk til grønlandsk i visse tilfælde kan være forstyrrende og i visse tilfælde svarer eleven forkert, måske simpelthen ud fra en forkert opfattelse af spørgsmålet. Dette er en relevant viden at have med sig i den videre udvikling af faget. For det andet blev det besluttet, at undersøgelsen skulle være en stikprøve i stedet for at teste samtlige elever i Grønland, primært af tidsmæssige og økonomiske hensyn. Det var et ønske, at data i så høj grad som det var muligt skulle indsamles som en repræsentativ stikprøve omfattende i alt elever. For at få dette antal elever blev otte skoler på Vestkyst valgt tilfældigt. Restriktionen til Vestkysten skete for at sikre den praktiske afvikling før sommerferien. Det blev endvidere besluttet, at stikprøven skulle indeholde elever fra Nuuk s Internationale Privatskole, således at offentlig versus privat ejerskab bevidst gøres til en del af samplingen. Da TIMSS afvikles på elever i 4. klasse og i 8. klasse i Danmark betyder det, at man skal vælge elever fra 5. og 9. klasse i Grønland, hvis sammenligningen skal have mening. I første omgang valgtes 5. klasse, fordi Danmark i 2007 deltog med 4. klasseelever og alle testmaterialer derfor er tilgængelige i dansk version, som herefter har kunnet oversættes til grønlandsk. Med besvarelser pr. opgave matcher den grønlandske stikprøve meget præcist de internationale vilkår, der har 250 elevbesvarelser pr. opgave. Reliabiliteten er derfor på linje med forholdende internationalt i TIMSS. Det blev også besluttet at undersøgelsen skulle fokusere på færdigheder hos elever på byskoler af tidsmæssige og ressourcemæssige årsager, men også fordi der knytter sig en række andre aspekter til læringen i bygderne, herunder den udbredte anvendelse af timelærere. Endelig skal det bemærkes, at det ikke har været hensigten med undersøgelsen, at sammenligne skolernes præstationer. Resultaterne fra undersøgelsen skal betragtes som ét hele. Skoler og antal besvarelser fremgår af de tre nedenstående tabeller 1-3. Side 7

8 Tabel 1: Antal besvarelser af elevhæftet fordelt på skoler og køn Piger Drenge Ukendt I alt Nuussuup Atuarfia (Nuuk) Kangillinnguit Atuarfiat (Nuuk) Atuarfik Kilaaseeraq (Maniitsoq) Gammeqarfik (Aasiaat) Atuarfik Jørgen Brønlund (Ilulissat) Qeqertarsuup Atuarfia (Qeqertarsuaq) Nuuk Internationale Friskole (Nuuk) I alt Tabel 2: Antal besvarelser af elevspørgeskemaet fordelt på skoler og køn Piger Drenge Ukendt I alt Nuussuup Atuarfia (Nuuk) Kangillinnguit Atuarfiat (Nuuk) Atuarfik Kilaaseeraq (Maniitsoq) Gammeqarfik (Aasiaat) Atuarfik Jørgen Brønlund (Ilulissat) Qeqertarsuup Atuarfia (Qeqertarsuaq) Nuuk Internationale friskole (Nuuk) I alt Side 8

9 Tabel 3: Antal besvarelser af lærerskema fordelt på skoler Antal Nuussuup Atuarfia (Nuuk) 2 Kangillinnguit Atuarfiat (Nuuk) - Atuarfik Kilaaseeraq (Maniitsoq) 3 Gammeqarfik (Aasiaat) 1 Atuarfik Jørgen Brønlund (Ilulissat) - Qeqertarsuup Atuarfia (Qeqertarsuaq) 1 Nuuk Internationale friskole (Nuuk) 1 I alt 8 Der blev udvalgt i alt 31 spørgsmål til elevhæftet ud fra de internationale opgavehæfter i TIMSS. Disse opgaver er ligeligt fordelt på de tre væsentlige læringsmål i Grønland, nemlig algebra, geometri og matematik i anvendelse. Side 9

10 2. Undersøgelsens hovedresultater 2.1 Elevhæftet Det er afgørende, at de udvalgte TIMSS opgaver fungerer som elementer på én skala, lige som det er tilfældet med TIMSS opgaverne i de andre ca. 60 lande, der deltager i TIMSS. Dette er blevet undersøgt ud fra de indsamlede data på Grønland og resultatet er positiv, så man kan konkludere, at den internationale TIMSS skala i matematik er den samme som den skala, der anvendes på Grønland. Man kan derfor gå meningsfuldt videre til næste skridt, hvor man faktisk benytter skalaen til at måle niveauforskelle med. Det sker ved at beregne Rasch scores på den sædvanlige TIMSS-skala, hvor alle lande præsenteres (500 i gennemsnit, 100 point spredning), eller via simple gennemsnitlige rigtighedsprocent-værdier. Den første type beregning fører til nogle tal, som man umiddelbart kan regne videre på fx til belysning af forskelle mellem lande via simple differenser. De simple gennemsnit gengiver korrekt nogle forskelle, men det er fx ikke (statistisk set) den samme forskel, som reelt ligger bag ved en forskel mellem 50% og 52% (nemlig 2%) og mellem 90% og 92% (øjensynlig også 2%). I figur 1 er undersøgelsens hovedresultat vist. Den gennemsnitlige rigtige svarprocent er 44%. Det internationale gennemsnit er på 48%. Grønlands svarprocent ligger på linje med Norge og Ukraine. Side 10

11 Figur 1: Den gennemsnitlige svarprocent i TIMSS 2007 samt Grønland 2011 I tabel 4 vises hvor stor en procent del rigtige grønlandske og danske elever har opnået i de i alt 31 spørgsmål. Tabel 4: Antal rigtige (procent) på Grønland (2011) og Danmark (2007) Absolut Spm. Grønland Danmark forskel Side 11

12 Selvom undersøgelsen i udgangspunktet ikke har til formål at afdække didaktiske aspekter af læringen i matematik er det alligevel interessant at se, om grønlandske elever svarer mere rigtigt på nogle spørgsmål end fx danske elever. Det viser sig at være tilfældet for tre spørgsmål, nemlig: Spørgsmål 6: Anvendt Spørgsmål 8: Algebra Spørgsmål 15: Anvendt Det er karakteristisk for disse tre spørgsmål, at de er visuelle i opbygningen, dvs. eleven skal forholde sig visuelt til tingene. Det spørgsmål hvor forskellen er størst i grønlandske elevers disfavør er nr. 17. Opgave nr. 17 har følgende formulering: Side 12

13 Marie har 6 røde æsker. I hver rød æske er der 4 blyanter. Hun har også 3 blå æsker. Hver blå æske indeholder 2 blyanter. Hvor mange blyanter har Marie i alt? A 6 B 15 C 24 D 30 Dette spørgsmål er rent sprogligt præget af høj sproglig kompleksitet. Af særlig interesse er at se på kønsforskelle på de grønlandske besvarelser. Resultatet er, at der ikke er forskel på pigers og drenges besvarelser. Dette fremgår af figur 2, hvor 31 punkter, svarende til løsning af 31 opgaver er gengivet, procent korrekt på hver akse, drenge vandret. Punkterne ligger tæt omkring den indlagte linje, der signalerer 100% lighed mellem de to køn (punkter under svarer til at drenge løser opgaven bedre end piger). Figur 2: Sammenligning af drengenes og pigernes resultater Side 13

14 Graden af udeladt svar vokser mod slutningen af opgavebesvarelsen, viser en tabel som ikke gengives her. 2.2 Elevspørgeskemaet Elevspørgeskemaet stiller en række spørgsmål til eleven. Der spørges ind til elevens socioøkonomiske baggrund, om oplevelsen af faget matematik og det at gå i skole, om anvendelsen af IT samt tiden der bruges på matematik. Nedenfor bringes et udpluk af resultaterne, Som en måde at afdække elevens socioøkonomiske baggrund, spørges der til hvor mange bøger der er i hjemmet. Dette er naturligvis kun en meget simpel måde at få disse oplysninger på, og det kan oplyses at Inerisaavik i øjeblikket er i gang med en meget mere dybdegående analyse. Figur 3: Hvor mange bøger er der ca. i dit hjem Side 14

15 Der er desuden spurgt til elevens oplevelse af faget matematik, se figur 4. Det er bemærkelsesværdigt, at over 2/3 af eleverne (71 %) kan lide faget i meget høj grad. Figur 4: Jeg kan godt lide matematik Der er samtidig spurgt til elevens samlede oplevelse af at gå i skole, jf. figur 5. Her er billedet mere broget, men stadig er 63% meget enig i at det er godt at gå i skole. Figur 5: Jeg kan lide at gå i skole Side 15

16 Der er også stilet en række spørgsmål om anvendelsen af IT i skolen og uden for hjemmet. Det er i den forbindelse bemærkelsesværdigt at 55% af de adspurgte elever ikke bruger computer i forbindelse med undervisningen i matematik. Figur 6: Bruger du computer i skolen Endelig er der spurgt til hvor ofte man laver lektier i matematik, se figur 7. Figur 7: Hvor ofte laver du lektier i matematik Side 16

17 De ovenstående data er kun et udpluk af de mange interessante tal og opstillinger, der kan udledes af materialet. Datasættet kan stilles rådighed for interesserede. 3. Analyser Trods det at datamaterialet er meget lille er det dog muligt at udlede nogle interessante sammenhænge mellem elevhæftets besvarelser og elevspørgeskemaet. For at se de forskelle, der eksisterer mellem dygtige og svage elever, kan man i første omgang sammenholde hyppigheden af svar i den ekstreme første svarmulighed Meget enig ifm. spørgsmål nr. 6 i elevspørgeskamaet: Jeg klarer mig som regel i matematik.. Her har 61,76% af de dygtige elever tilkendegivet, at de er meget enig i, at de som regel klarer matematik, mens procenten for de svage elever ligger på 36,31. Der er altså i dette tilfælde en god sammenhæng mellem elevernes selvvurdering og testresultatet! Den samme type af realistisk selvvurdering følger besvarelsen af spm. nr. 6c: Matematik er sværere for mig end for mange af mine klassekammerater. Her er meget enig procenten 8,82 for de dygtige elever og 20,24 for de svage elever. Det er interessant, at hyppigheden af elever blandt de dygtige, som svarer ja til hver time eller næsten hver time mht. Jeg arbejder sammen med de andre elever i små grupper (spm. nr. 7g) er 44,12%, mens den for de svage elever er betydeligt lavere på 23,81%. Sat på spidsen betyder dette en markering af gruppearbejdets betydning for at opnå gode færdigheder i faget. Det er også interessant og tankevækkende, at hyppigheden af elever blandt de dygtige, som svarer meget enig til spm. nr. 9c: Jeg tror, at lærerne på min skole ønsker at eleverne skal gøre deres bedste er 85,29%, mens procenten for de svage elever er betydeligt lavere og er på 55,95%. Er der er sammenhæng mellem lærerens udtalte og elevoplevede ønske om at eleverne skal gøre deres bedste og elevernes faktiske resultat? Mht. til sammenhængen mellem præstation og socioøkonomisk baggrund målt som antal bøger i hjemmet - ses der en negativ sammenhæng, således at elever fra hjem med mange bøger klarer sig bedre. Det skal klart understreges at antal bøger er et meget groft mål for den socioøkonomiske baggrund, men den kan dog indikere, at eleven kommer fra et hjem med faste udstukne rammer, uanset hjemmets i øvrigt økonomiske status. Sproget i forhold til de stillede opgaver synes at være væsentligt. Det er interessant at grønlandske elever klarer visuelle spørgsmål bedre end danske elever. Samtidig klarer grønlandske elever spørgsmål af meget kompleks sproglig karakter meget dårligere end danske elever. Det talte sprog i hjemmet er også en forklarende faktor i forhold til hvordan eleven klarer sig. I hjem hvor dansk er det mest anvendte sprog, klarer eleven sig typisk Side 17

18 bedre. Det kan dog hænge sammen med, at hjem hvor dansk er mest udbredt kan være domineret af tilkaldt og ofte højtuddannet arbejdskraft. Endelig tyder analyserne på, at der er en sammenhæng mellem adgangen til internet i hjemmet og præstationerne i matematik, således at elever med adgang til internet generelt klarer sig bedre. 4. Perspektivering Undersøgelsen peger på flere interessante aspekter. Generelt klarer de grønlandske elever sig ikke så dårligt som måske antaget. Grønland ligger på niveau med Norge i det internationale midterfelt. Sproget tyder på at være en væsentlig faktor. Både i forbindelse med det talte sprog i hjemmet som ved sproget i opgaveformuleringen. Sprog er altså en central faktor ved indlæringen af faget. Samtidig tyder undersøgelsen på, at grønlandske elever åbenbart har lettere ved opgaver af en visuel karakter i visse spørgsmål. Denne indsigt er vigtig i den videre udvikling af faget og Inerisaavik vil undersøge dette aspekt nærmere i de videre studier. Endelig er det ikke underligt, at adgang til IT internet forbedrer elevens præstationer i faget. I foråret 2013 aftestes TIMSS i grønlandske 9. klasser med spørgsmål i såvel matematik som naturfag. Desuden forventes det at afprøve en række spørgsmål fra PISA-spørgerammen i 10. klasse, herunder spørgsmål i matematik. Fra næste år udvides de igangværende trintest med et elevspørgeskema og et lærerspørgeskema. Sidstnævnte vil give et indblik i lærerne, hvilket ikke har været muligt i denne undersøgelse, da meget få lærere deltog i TIMSSundersøgelsen. Side 18