Vejledning for anvendelse af Beregneren til Matematik Læsevejledning og praktiske spørgsmål Vejledningen indeholder 3 dele: 1. En indledning, som overordnet beskriver baggrunden for projektet Øget pædagogisk anvendelighed af de nationale test og udarbejdelsen af den elektroniske omsætningstabel kaldet Beregneren. 2. En teknisk vejledning til hvordan man bruger beregneren, dvs. hvordan man lægger testresultater for sine elever ind, får de konverterede testresultater ud enten som tabel eller grafisk så man kan sammenstille sine elevoplysninger, så de giver mening. 3. En kort vejledning i form af en case om hvordan man kan forstå og fortolke de oplysninger, der kommer ud af beregneren. Derudover er der tre appendikser til denne vejledning: Appendiks 1: Om baggrund og teori bag valg af skala Appendiks 2: Om normskalaer, kriterieskalaer og progression i de nationale test Appendiks 3: Om analyse af elevforløb Beregneren forudsætter brug af Excel2010, men kan fungere på ældre versioner. Det tilrådes at: A) Brug en maskine der har Excel2010 installeret i forvejen eller få installeret Excel2010 (I København lægger PIT det på ved forespørgsel). B) Hvis du ikke har erfaring med at bruge både regneark og testsystemet, så alliér dig med en der har rutinen, når du går i gang - spørgsmål om test, progression og måleusikkerhed er i forvejen svært stof. Bemærk at, testdata er fortrolig information, og at de konverterede data er omfattet af de samme krav til fortrolighed som de data, der kan hentes i testsystemet. Der bør udvises særlig forsigtighed, hvis resultaterne gemmes. Vigtigt Der er megen information i denne vejledning. Her er et råd til, hvordan man kommer i gang: Start med at se instruktionsvideoen til Beregneren til Læsning og/eller bladre igennem afsnit 2 om teknikken resten er nemmere at læse, når man har været inde og bruge systemet på egne elever. Hvis der er problemer eller spørgsmål, kan du kontakte: Info@NordicMetrics.com God arbejdslyst!
1. Indledning og baggrunden for projektet Test som pædagogisk værktøj Hvor stærk er den faglige udvikling hos eleven?, Er den mindre/større end forventet?, Hvad virker?, Virker det vi gør?, Er der noget vi skal ændre på? og Er der elever, der ikke udfordres optimalt? er blandt de vigtigste spørgsmål at besvare for at sikre sig de nødvendige pædagogiske oplysninger. Noget kan direkte observeres (fx produktive færdigheder - kan eleven redegøre for en matematisk løsning af en opgave?), andet er man nødt til at bruge redskaber til at undersøge (fx receptive færdigheder kan eleven afkode og fortolke opgaven?). En præcis registrering af faglig udvikling (elevens udbytte af undervisningen) - kræver en systematisk registrering gerne skriftlig. Når man som lærer skal sætte mål for eleverne i klassen, skal man bruge en måde at beskrive målet på og helst også en metode eller et redskab til at undersøge om målet nås. Et meget håndgribeligt redskab til registrering af faglig udvikling (progression) er test. Principielt kan progressionen beregnes ved at trække to testscorer fra hinanden. Men resultaterne skal være opgjort på den rigtige måde på den samme skala, og denne skala skal have nogle helt særlige egenskaber. Resultaterne fra de nationale test er lette at forstå, da de måler op mod én norm eller ét kriterium (i forhold til middeleleven eller de nye kriteriescorer, for mere herom se appendiks 2.), og på den måde ligner de karakterer, som alle kender både elever, skoler og forældre. Dette valg betyder samtidigt, at skalaerne hverken er designet eller egnede til måling af progression og beregning af elevgennemsnit (fx klasseresultater), og det kan give betydelige målefejl, når man alligevel gør det (se Appendiks 1: Om baggrund og teori bag valg af skala). Desuden rapporteres matematiktestene på fire fagligt usammenlignelige skalaer. For mere om testsystemets og NordicMetrics skalaer se appendiks 1 og 2. Skolens kvalitet kan ikke måles på elevernes faglige niveau Danske skoler har meget forskellige og meget blandede elevgrundlag yderpunkterne kan beskrives således: Nogle skoler er belastede ved at ligge i boligområder, hvor flertallet af eleverne taler et andet sprog end dansk til dagligt derhjemme, og hvor der er mange forældre, der har mest fokus på at klare dagligdagen, som derfor ikke har overskud til/svage forudsætninger for at bakke op om skolen og hjælpe med lektierne fx i sprog og matematik 1. Andre skoler er privilegerede ved at ligge i områder, hvor forældrene er veluddannede og naturligt følger tæt med, hjælper med lektier, og hvor samtalen om middagsbordet handler om noget, som udvikler/skærper elevens danske sprogforståelse og logiske sans. Sammenhængen mellem skole og elevers faglige niveau er stærk men kun statistisk: Eleverne fra belastede skoler har som udgangspunkt dårligere forudsætninger for at klare sig godt i skolen. Som udgangspunkt kan man regne med, at de privilegerede skoler klarer sig bedre i de nationale test i matematik end de belastede skoler. Men der er grænser for, hvad man kan bruge et gennemsnit til. At lære at afkode, fortolke og løse matematiske opgaver er en individuel færdighed. Det er de enkelte elever, der lærer ikke klassen. Ser man på, hvad gennemsnittet består af, er der i alle skoler, elever der bryder mønstere: Positivt i de mest belastede skoler og negativt i de privilegerede skoler. Så det er ikke en ubrydelig årsagssammenhæng - Sammenhængen er statistisk, og undtagelserne fra reglen forekommer, så vidt vides, i alle klasser på alle folkeskoler i Danmark. Der er en betydelig spredning mellem top og bund i alle klasser på alle klassetrin. Opgaven, som Danske skoler har, er, at alle elever skal bringes så langt frem som muligt: Undervisningen skal svare til den enkelte elevs behov og forudsætninger ( 18). Spændet mellem de svageste og de 1 Elevens baggrund spiller ikke helt så stor en rolle for niveauet i matematik som det gør i fx læsning. Men internationale undersøgelser viser at der ofte er en sammenhæng mellem niveau i læsning og matematik. På den måde kan det have en effekt på niveauet i matematik, hvis en elev fx ikke kan læse ved skolestart.
stærkeste elever kan reduceres en smule gennem skoleforløbet. Men det kan konstateres, at det er normalt for elever, der niveaumæssigt starter i toppen i 0. klasse at ende i toppen ved den afsluttende prøve i 9. klasse og tilsvarende i bunden. Det er en logisk følge af princippet om differentieret undervisning - helt i lovens ånd. Skolers indsats kan altså kun måles på elevernes progression og ikke på deres niveau. Elevernes faglige niveau undervejs og ved afslutningen af skolen afhænger i høj grad af, hvad eleverne havde med sig fra starten (faktorer, der ikke har noget med skolen at gøre som fx forældre, familie og venner, sprog og kultur, ånd og motivation, den genetiske og sociale arv). De nye skalaer I forlængelse af projektet Øget pædagogisk anvendelighed af de nationale test er der i samarbejde med Københavns Kommune a) Foretaget beregning af hvordan man kan omsætte skalaerne i de nationale test til en fælles skala pr. profilområde, der er forberedt på, at kunne måle progression for den enkelte elev og b) Lavet en regnearksapplikation (Beregneren - der fungerer som elektronisk omsætningstabel) der kan omsætte de normbaserede resultater fra testsystemet til de fælles progressionsskalaer. Der er altså beregnet fire skalaer: En for hvert profilområde som gælder for både3. og 6. klassetrin (T&Askalaen, Geo-skalaen og MiA-skalaen for henholdsvis profilområderne Tal og Algebra, Geometri og Matematik i Anvendelse ). Desuden beregnes der en samlet score for matematik på den skala, der hedder Mat i alt-skala. Se mere information om beregningen af denne i Appendiks 1. Når resultaterne fra både 3. og 6. klasses matematiktest rapporteres på disse skalaer, bliver resultaterne sammenlignelige, og elevens progression kan dermed beregnes 2. 2. Hvordan man bruger beregneren, en teknisk vejledning Beregneren er et regnearksprogram (Excel2010), der som Input skal bruge o Oplysninger om hvilken test (Matematiktesten til 3. eller 6. klasse) der skal omsættes data fra o Elevernes percentilscorer (1-100-skalaen) for de tre profilområder (altså normbaserede resultater) o Hvis man skal måle progression skal der bruges to testresultater for de samme elever (fx 3. klasse testen fra 2011/2012 og 6. klasse testen for 2014/2015) Output leveres som scorer på fire skalaer, der er fælles for begge test. Disse fire skaler er kaldet T&Askalaen (Profilområdet Tal & Algebra), Geo-skalaen (Profilområdet matematik), MiA-Skalaen (Profilområdet Matematik i Anvendelse) samt Mat i alt-skalaen (en samlet score for matematikfærdighed). Der beregnes desuden klassegennemsnit og progression for hver elev på de fire skalaer (altså de tre underliggende profilområder og en samlet score). Beregneren er et regneark med fem faneblade: Forside, Omsætning, Progression-Tabel, Progression-Grafisk og Statistik. Forside Åbn Exel2010-programmet Beregneren. Du kommer så ind på forsiden, som ser ud som i Figur 1. Her finder du en række links, du kan få brug for. Der er blandt andet link til en overskuelig videovejledning (den er lavet til læsning men principperne er de samme), som på få minutter gennemgår, hvordan Beregneren fungerer 3. Hvis du ikke har set videovejledningen, så bør du overveje at gøre det, før du går videre. 2 De fire skalaer (som normalt ligger mellem 0 og 1700) er stærkt inspireret af en af de mest anvendte og gennemprøvede amerikanske skalaer Lexile-skalaen. For mere information om valg af skala læs: Appendiks 1: Om baggrund og teori bag valg af skala. 3 Videoen tager udgangspunkt i Beregneren til de nationale læstest, men Beregneren til matematik fungerer på samme måde.
Figur 1 Omsætning Klik på fanebladet Omsætning. Her ser du tre områder (Figur 2, fra venstre): Et blåt til input-data, et grønt til visning af outputdata. Figur 2
Når man skal kopiere ind fra testsystemet, gøres følgende: Åben en adgang til testsystemet (fx ved at klikke på Link til testsystemet ) Log ind med UNI-Login Vælg Testresultater og den test der skal arbejdes med (enten Frivillige test eller Obligatoriske normbaserede.visningen Kriteriebaserede kan ikke benyttes da der ikke oplyses percentilscorer) Vælg det år du skal hente data fra fx 2014/2015 Find klassen i venstre side af skærmbilledet (her 6A, matematik 6. kl.) Vælg Alle elever - tabel Så fremkommer et skærmbillede som i Figur 3. Marker med musen elevrækkerne i tabellen i testsystemet (det markerede felt i Figur 3). Kopier: Tryk Ctrl+C. Undgå at kopiere overskrifter og rækken benævnt klassegennemsnit. Årsagen til dette findes i: Appendiks 1: Om baggrund og teori bag valg af skala. Figur 3 Gå til Beregneren (regnearket, fanebladet Omsætning jf. Når man således har omsat en klasses testresultater (fx 6A) i 6. klasse-testen til progressions-scorer, kan man bruge dette resultat til at få et overblik over den reelle faglige spredning i klassen, du kan arbejde videre med disse oplysninger fx regne på gennemsnit, se på forskelle mellem drenge og piger osv. Figur 4) Sæt ind (Tryk Crtr+V)
HUSK at anføre testens klassetrin (ikke nødvendigvis det samme som elevernes!) i det markerede felt (rød pil) øverst til venstre i Når man således har omsat en klasses testresultater (fx 6A) i 6. klasse-testen til progressionsscorer, kan man bruge dette resultat til at få et overblik over den reelle faglige spredning i klassen, du kan arbejde videre med disse oplysninger fx regne på gennemsnit, se på forskelle mellem drenge og piger osv. Figur 4. Når man således har omsat en klasses testresultater (fx 6A) i 6. klasse-testen til progressions-scorer, kan man bruge dette resultat til at få et overblik over den reelle faglige spredning i klassen, du kan arbejde videre med disse oplysninger fx regne på gennemsnit, se på forskelle mellem drenge og piger osv. Figur 4 Men den virkelige værdi kommer, når man ser på den faglige udvikling - Progressionen. Testresultaterne, som der er arbejdet med ovenfor, var de obligatoriske matematiktest i 6. klasse, som de nuværende elever i 6A tog i 2014-2015, da de gik i 3. klasse. De samme elever i 6A tog i 2011-2012 matematiktesten til 3. klasse. Disse resultaterne findes frem på følgende måde: Gå ind i testsystemet, slå op under obligatoriske test - normbaseret i 2011-2012, vælg den tabel, der indeholder oplysninger om eleverne i 6A s obligatoriske matematiktest i 3. klasse Markér tabellen og tryk Crtl+C Gå dernæst ind i Beregnerens faneblad Omsætning hvor 6Aś resultater fra 6. klasse i testsystemet blev kopieret ind under Nyeste test. Scroll ned til omkring linje 50 hvor der står Ældste test: Input - kopier resultater fra test-systemet. Det ser ud som vist nedenfor i Figur 5.
Figur 5 Placer musen i øverste venstre hjørne af Inputområdet og indsæt (tryk Crtl+V). Husk at tjekke klassetrinnet (her skal det være 3 ) i det lille felt over tabellen. Nu er 6A s testresultater fra 6. og 3. klasse lagt ind i regnearket, og deres percentilscorer er konverteret til de nye skalaer. Progression - Tabel Klik på fanebladet Progression Tabel Resultaterne er nu vist ved siden af hinanden (Figur 6) sammen med progressionen (kolonnerne til højre), der er beregnet som differencen mellem de to testresultater. Det skal understreges, at der kun kan beregnes en progression hvis en elev har taget begge test: Hvis eleven kun har taget 3. klassetesten, så vil eleven optræde i tabellen men ikke med oplysninger om den anden test og progression. Hvis eleven kun har taget 6. klassetesten, så vil elevens data ikke fremgå af tabellen. Det vil ofte også gælde elever, der lige er kommet ind i skolen 4. 4 Man skal være opmærksom på, at hvis eleven har taget den obligatoriske test på en anden skole, så vil det gamle testresultat ligge i systemet og vil kunne fremskaffes ved henvendelse til UNI-C s support.
Figur 6 Progression - Grafisk I Figur 6 optræder en masse oplysninger, men for at kunne få mening ud af dem, er det nødvendigt at have noget at holde dem op mod. Ellers kan det være svært at vide, om en score på 930 er et godt resultat for en elev i 3 klasse? Og om en progression på 35 fra 3. til 6. klasse er godt eller skidt? Her kan fanebladet Progression Grafisk være til nytte. Hvordan graferne i dette faneblad bruges og aflæses er eksemplificeret i casen nedenfor. Den grafiske funktion forudsætter at der er tre år mellem de testdata der arbejdes med. Det vil sige at det er muligt at vise en grafik af progressionen mellem to obligatoriske test 3. og 6. klasse eller to frivillige test med tre år imellem. Statistik Af det fjerde faneblad Statistik fremgår baggrunden for graferne i den grafiske visning. Her er henholdsvis to tabeller og syv grafer. Nogle af disse fremgår også i nedenstående case, og resten kan du læse om i Appendiks 2. 3. Progression fra 3. til 6. klasse En case I denne sammenhæng ser vi nærmere på eleverne i 6A (en fiktiv klasse) og deres progression, som fremgår af figur 7. Først ser vi på hele klassen, og dernæst gennemgås enkelte elevers testforløb. Figur 7
Resultaterne fra 3. og 6. klassetesten er direkte sammenlignelige, så progressionen kan beregnes for hvert profilområde ved at trække scoren i 3. klassetesten (2011-2012) fra scoren i 6. klassetesten (2014-2015). Dermed får man estimatet på progressionen, som fremgår i de fire kolonner til højre i figur 7. For at have et sammenligningsgrundlag er Fejl! Henvisningskilde ikke fundet. fra fanebladet statistik vist. Den beskriver de gennemsnitlige scorer og den gennemsnitlige progression. For at kunne fortolke betydningen af resultaterne, er det vigtigt, at kunne holde dem op mod gennemsnitlige værdier: Hvad kan normalt forventes mht. fagligt præstationsniveau på klassetrin? Hvilken progression kan forventes? o Fordelt på profilområder? o Givet præstationsniveauet? Hvad er et godt resultat, og hvornår bør man se efter muligheder for forbedring?
Her kan gennemsnittene bruges, hvis man ikke selv har bedre ideer (hvilket den indsigtsfulde lærer sagtens kan have). For at fokusere på principperne, så lad os nøjes med at se på det umiddelbart mest centrale (indrammet med rødt i figur 7), nemlig: a) Gennemsnittet i klassen, som fremgår af den øverste række i tabellen. b) Progressionen i Matematik i alt (Mat-i alt skala) for eleverne, kan ses aflæses i figur 7, kolonnen længst til højre. c) Andreas progression I matematik I anvendelse, den lille markering i figur 7. Gennemsnittet er genberegnet, fordi der ikke er tale om en transformering af percentil-gennemsnittet (som fremgår i testsystemet). Der er tale om et ægte gennemsnit af de nye scorer. Havde man i stedet regnet videre på percentil-gennemsnittet, ville man få indbygget en ganske betydelig fejlkilde 5 (se Appendiks 1: Om baggrund og teori bag valg af skala). Som det fremgår, er den gennemsnitlige score i 6A øget fra 597Mat-ialt i 3. klasse til 922Mat-italt i 6. klasse dvs. en gennemsnitlig progression på 325 enheder på Mat-ialt-skalaen (øverste linje i figur 7). Sammenligner man med Fejl! Henvisningskilde ikke fundet., kan det aflæses, at klassens gennemsnit i 3. klasse ligger mellem 20 og 30 percentilen. Helt til højre i tabellen kan det aflæses, at den normale progression i Mat-i alt for de to percentiler er henholdsvis 267 og 255. Det vil sige, at klassens gennemsnitlige progression på 325 Mat-i alt er højere, end man kunne forvente af en klasse på 6A s niveau. For at få en grafisk visning af elevernes progression kan man gå til fanebladet Progression grafisk. Skrives der 0 i feltet markeret med rødt, vises klassens gennemsnitlige progression. Figur 8 5 Omregnes percentilgennemsnit fra testsystemet, kan det i praksis give en forskel på op til 200T. Da den gennemsnitlige progression pr år er ca. 100T, kan beregninger på grundlag af percentilscorer (som der oplyses i testsystemet) realistisk udløse fejl i beregnet klassegennemsnit, der svarer til 2 års gennemsnitlig progression.
Det er vigtigt at være varsom med at fortolke for bastant på gennemsnittet for klassen, da der ofte er en betydelig spredning mellem top og bund. Det er derfor interessant, hvordan dette gennemsnit er skabt, m.a.o. at se på hvilke elever der ligger omkring en gennemsnitsprogression, og hvilke der afviger markant fra forventningen (evt. normen). Resultaterne, som er fremhævet med pile i figur 7, for Andrea, Lars og Mie (elev nr. 1, 8 og 13) kunne det fx være nødvendigt at se nærmere på. Andrea som er markeret med en grøn pil, har haft en stærk progression i matematik i anvendelse, men ikke i de to andre profilområder. Lars, som er markeret med en rød pil, er rykket baglæns og Mie, som også er markeret med en grøn pil, har haft en markant fremgang på alle profilområder. Når der er elever som disse i en klasse, er det en god ide at gå ind i testsystemet og undersøge elevernes testforløb især skal man se på de elever, der scorer lavere end forventet: Er der tale om reel tilbagegang? eller er det måske en målefejl, koncentrationsbesvær eller bare en dårlig dag? Andrea (elev nr. 1) er det værd at se nærmere på da hun har haft en progression i MiA på 520, mens hendes progression i de andre profilområder ligger væsentligt lavere (255 T&A og 120 Geo).
Det betyder, at Andreas progression i den samlede matematikscore ikke afviger væsentligt fra klassens gennemsnitlige progression. I Andreas testscore fra 3. klasse kan man se, at hun har scoret væsentligt lavere i Matematik i anvendelse, end hun har i tal og algebra og geometri. Andrea scorer mere homogent på tværs af profilområder i 6. klasse. Heraf opstår den store progression i matematik i anvendelse. Noget kunne tyde på, at Andreas score i MiA i 3. klasse måske ikke er retvisende for hende. I tilfælde som Andreas er det en god idé at se nærmere på hendes testforløb for at få en fornemmelse af, om hendes matematiktest i 3. klasse er retvisende. Lars (elev nr. 4) leverede i 2011/12 en toppræstation, men er rykket en smule ned ad skalaen. Lars ser ud til at have været en rigtig dygtig elev i 3. klasse, men han har stået stille i sin udvikling rent matematikfagligt siden, og ser ud til i 6. klasse at være blevet marginalt dårligere til matematik, end han var i 3. klasse. Hvis målingen er retvisende, bør skolen holde nøje øje med om om Lars potentialer udfoldes. Det vil være et emne der bør vendes ved skole-hjem-samtalen. Mie (elev nr. 12) har en fremgang, som svarer til mere end det dobbelte af den progression man kunne forvente af hende. Det ser ud til, at hun i 3. klasse havde rigtig svært ved matematik, men at hun har haft en rigtig positiv udvikling siden, og er i 6. klasse blevet dygtigere end mange af hendes klassekammerater til matematik. Hendes testresultater ser umiddelbart retvisende ud, fordi hun har haft en ensartet progression på alle profilområder. Mie ser ud til at være inde i en rigtig god udvikling. For resten af klassen og alt i alt - ser det ud til, at klassen gør planmæssige fremskridt, og Da klassen ligger lige omkring 40-percentilen, vil det sige at klassen præsterer lidt under det gennemsnitlige niveau. Til gengæld er 6A s progression højere, end man kunne forvente. Det vil derfor være rimeligt at sætte det mål, at alle har øget deres individuelle Matematikscore med lidt mere end det gennemsnitlige i den nærmeste fremtid. Denne case er et eksempel, der illustrerer metoden. Ved i højere grad at inddrage lærerens forudgående viden om klassen, undervisningen og de enkelte elever, kan analysen blive langt mere raffineret og nuanceret.