Appendiks 3: Analyse af en elevs testforløb i 3. og 6. klasse I de nationale test er resultaterne baseret på et forholdsvist begrænset antal opgaver. Et vigtigt hensyn ved designet af testene har været, at et normalt testforløb skal kunne gennemføres i løbet af en lektion på 45 min. varighed. Tilmed skulle designet også sikre et mere nuanceret resultat end blot én testscore, derfor gennemføres test af tre profilområder, som i Matematik er: Tal og Algebra, Geometri og Matematik i Anvendelse. Normalt besvares mellem 30 og 60 items svarende til 10-20 items pr. profilområde. Testsystemets krav til målingens pålidelighed (reliabilitet) i de nationale test er, at SEM (Standard Error of Measurement = måleusikkerheden) reduceres til højest 0,55 dette mål nås som regel på 12-15 spørgsmål pr. profilområde. Dette er at betragte som et mindstekrav, og flere besvarede spørgsmål vil øge sikkerheden 1 (se i øvrigt den Vejledning til gennemførelse af test, der er lagt på NordicMetrics hjemmeside). Med de relativt få besvarede opgaver, får den enkelte opgave/besvarelse i en national test en forholdsvis stor betydning for den endelige score. Det er derfor en nødvendighed at være opmærksom på, om den enkelte elevs svar afspejler elevens faktiske dygtighed. Når man arbejder med måling af progression (som forskellen mellem to testresultater), skal man være ekstra opmærksom, idet hvert af de to testresultater kan være et produkt af en usikker måling. Når eleverne gennemfører de to test, der indgår i progressionsberegningen på en nogenlunde ensartet måde (med samme instruktion, samme koncentrationsniveau, med samme hjælpemidler osv.) vil beregningen af progression som regel blive rimeligt retvisende. Men hvis eleverne fx får lommeregner og masser af tid til den ene test men ikke til den anden, eller hvis instruktionen af eleverne er forskellig ved de to test, kan progressionsberegningen blive misvisende. Visse forhold har den opmærksomme lærer mulighed for at kende til (instruktion, tid, hjælpemidler, teknisk udstyr) og tage højde for ved vurdering af resultatet. Men der kan også forekomme ikke-observerbare forhold, som kan gøre progressionsberegningen misvisende, fx kan en elev være ukoncentreret under hele, eller dele af det ene eller begge testforløb, ikke have taget besvarelsen af testen alvorligt eller blot have haft en dårlig dag. Dette kan give misvisende resultater, som læreren ikke har registreret/observeret i testsituationen, hvilket ved mange test er et kedeligt faktum, der er svært at gøre noget ved. De nationale test skiller sig i denne sammenhæng ud ved at give adgang til en betydelig mængde information, der i mange tilfælde kan afsløre en problematisk elevpræstation. Det fordrer dog, at læreren har en tilstrækkelig viden om testene og færdighed i at fortolke resultater, til at kunne vurdere, om testresultatet er retvisende. Dette er der kun få, som er opmærksomme på, og det er heller ikke umiddelbart enkelt, men der er nogle generelle huskeregler og fif, som gør det mere tilgængeligt, de illustreres i nedenstående eksempel. Andreas testforløb Tabel 1 viser klassens gennemsnit samt Andrea s testresultater og beregnede progression fra 3. til 6. klasse. Vi skal i det efterfølgende fokusere på Matematik i Anvendelse, som adskiller sig fra de andre 2 profilområder. Det fremgår, at Andrea er gået 520 point frem i Matematik i Anvendelse (MiA). Det svarer til 1 Skal en test leve op til en solid, internationalt anerkendt standard for pålidelighed (realibilitet) skal usikkerheden på estimatet af dygtigheden ned på et lavt niveau. Ofte kræves at Standard Error of Measurement (SEM) reduceres til under 0,3 enheder på Raschskalaen; altså at den sande dygtighed med 95% sandsynlighed ligger indenfor 0,3 logits afstand det fra den estimerede værdi. Dette kræver besvarelse af ca. 40 optimalt udvalgte spørgsmål. Omsat til scorer på de tre skalaer svarer 0,3 Logits til godt 50 point.
mere end dobbelt så stor progression over en 3-årig periode som normalt, og det vil være naturligt at spørge, om så store faglige fremskridt er reelle, eller om målingen er misvisende. Tabel 1 Informationerne fra Tabel 1 kan også vises grafisk ved at gå ind i Beregnerens faneblad som hedder progression Grafisk og trykke nummeret på eleven ind så ser Andreas progression ud som i Figur 1. Figur 1: Andreas progression på de beregnede skalaer, vist grafisk I Figur 1 fremgår den store tilvækst i Matematik i Anvendelse også tydeligt her kan det også ses hvordan hendes udvikling inden for netop dette profilområde er meget stejlere end for de andre profilområder, samt stejlere end de gennemsnitlige progression for percentilerne, som fremgår af de grå kurver. Den store tilvækst kan principielt opstå på tre måder: Enten ved at Andrea har underpræsteret i 3-klassetesten
Eller ved at hun har overpræsteret i 6-klassetesten Eller ved en betydelig faglig tilvækst, hvor resultaterne faktisk er retvisende. Sædvanligvis vil der være en betydelig sammenhæng mellem de tre profilområder i Matematik, fordi de tre profilområder er fagligt tæt beslægtede (en korrelation på r=0,6 er forventelig). Ser man nøjere på resultaterne i 3-klasse-testen i tabel 1, kunne det tyde på, at Andrea har underpræsteret i Matematik i Anvendelse (MiA-skala) i 3-klasse-testen, da hun har klaret sig betydeligt bedre i de andre to profilområder. For at undersøge hvad der kan være årsagen, kan man i testsystemet se på detaljer for elevens testforløb, som det fremgår af figur 2. Figur 2 Detaljer for elevens testforløb Her kan man se elevens testforløb i detaljer, og for bedre at kunne danne sig et overblik over den del af testen, der drejer sig om matematik i anvendelse, kan man ved at klikke på tabelhovedet få sorteret efter profilområder. I figur 3 er vist tabellens samlede indhold sorteret efter profilområder. Figur 3 Testforløb sorteret efter profilområde (Matematik i anvendelse øverst) Noget der karakteriserer matematik i anvendelse er, at den matematiske problemstilling er pakket ind i en kontekst. Derfor er det ofte tidskrævende opgaver, man finder i dette profilområde. En indikation på om eleven har gjort sig umage for at løse opgaven, som det var meningen, finder man ved at se på tidsforbruget. Dette fremgår ikke ligesom ved læsetest - af opgaveoversigten over testforløbet (jf. figur 3).
Men det registrerede tidforbrug pr. opgave kan findes ved at åbne hver opgave (højre kolonne i figur 3). Det normerede tidsforbrug for opgaven er ikke oplyst. Det vil derfor være klogt at være opmærksom på, om eleven er lidt for hurtig, når det drejer sig om fx teksttunge opgaver især mod slutningen af testen. Typiske tegn herpå er, hvis der er svaret blankt på mange af disse opgaver, hvis de er besvaret uforholdsmæssigt hurtigt eller hvis niveauet generelt er faldende. For at give et overblik over forløbet med Andrea s opgavebesvarelser, er det vist i figur 4 nedenfor som en grafisk præsentation. Figur 4 Grafisk præsentation af Andreas testforløb i 3. klasse 2 Hvis man sammenholder testforløbet med tidsforbruget for MiA, fremgår der et mønster: Andrea bruger ikke systematisk mere tid på MiA-opgaverne (undtaget lige til sidst), hvilket man kunne have forventet, da de ofte er mere tidskrævende/teksttunge. Det fremgår at niveauet for MiA er faldende i starten svarer Andrea rigtigt på opgaver med en sværhedsgrad på over 500 point, men hun slutter med en score på ca. 400 MiA. Efter opgave 21 bruger Andrea kortere tid på at besvare MiA opgaverne, men hun svarer også kun rigtigt på opgaver med en sværhedsgrad på 400 og derunder. Desuden er opgaverne besvaret på mellem 8 og 60 sek. 2 Der er så store forskelle i tidsforbrug pr. opgave at vi af forståelseshensyn har lavet aksen for tid på den logaritmisk skala.
Der tegner sig alt i alt et billede af, at Andreas score i MiA måske ligger i underkanten af, hvad hun rent faktisk kan, når hun tager sig tid til at besvare opgaverne. Men det er også tydeligt, at hun klarer sig dårligere i MiA end i de to andre profilområder. Andreas testforløb tre år senere Nedenfor i figur 5 er vist Andreas testforløb i 6. klasse, og som det fremgår, er den store forskel mellem de tre profilområder blevet reduceret ganske betydeligt. Figur 5 Grafisk præsentation af Andreas testforløb i 6. klasse Sammenholder man testforløbet med tidsforbruget, viser det sig, at situationen nu er en anden: I 6. klasse tager Andrea sig bedre tid til at løse opgaverne i MiA. Der ser ud til, at denne sidste test med rimelig præcision kan bruges som mål for Andreas matematikfærdigheder ved udgangen af 6. klasse. Hvad er der sket fra 3. til 6. klasse? Til tider skal forklaringen findes uden for kernen i faget, og ofte spiller læsefærdigheder ind på udviklingen i andre fag end dansk. Det kunne der være grundlag for, at undersøge om gør sig gældende her, da opgaverne inden for profilområdet matematik i anvendelse desuden stiller krav om færdigheder i læsning. Nu er der ikke obligatoriske læsetest i 3. klasse, men en belysning af udviklingen fra 2-4-6 klasse kan give en indikation på, om læsudviklingen kan have spillet ind. Denne fremgår af figur 6.
Figur 6 Andreas læseudvikling vist med Skole-hjem-udgaven af beregneren. Som det kan aflæses af figur 6, er Andrea kommet lidt sent i gang med at læse. Hun har haft rigtig svært ved læsning i forhold til hendes jævnaldrende i 2. klasse. Fra 2. til 4. klasse har hun haft en næsten eksplosiv udvikling i tekstforståelse, som har bragt hende op i nærheden af gennemsnittet. Men i de to andre profilområder har udviklingen været mere gradvis. I 6. klasse ligger hun noget under middel på alle tre profilområder, men dog på et niveau hvor hun absolut vil være i stand til at klare sig i læsning og de andre fag. Konklusion Det fremgår, at Andrea i 2. klasse havde problemer med at følge med i læsning, og de ordrige opgaver i MiA i 3. klasse kan have udgjort en betydelig udfordring for hende. Det kunne være en nærliggende forklaring på hendes lave resultat i MiA i 3. klasse og grundlaget for den meget betydelige progression fra 3.-6. klasse. Når man sammenligner Andreas to testforløb, kan man se, at Andrea er blevet bedre til matematik. Men det er også overvejende sandsynligt, at en progression på 520 point i matematik for en stor dels vedkommende skyldes en kombination af faktorer (ikke mindst læsning) end snæver matematikfaglig udvikling.