Appendiks 2: Analyse af en elevs testforløb i 4. og 6. klasse I de nationale test baseres resultaterne på et ret begrænset antal opgaver (normalt 15-25 items pr. profilområde 1 ). Hensynet ved design af testene var at de normalt skulle kunne gennemføres indenfor en lektion og skulle kunne give et mere nuanceret resultat end blot en enkelt testscore: Der skulle gives både en afkodnings-, sprogforståelses- og læseforståelses-score. Det betyder at de enkelt opgavers besvarelse i en national test får en relativ stor betydning for scoren og at læreren derfor skal være meget opmærksom på, om elevens svar afspejler hvad eleven faktisk kan. Når man arbejder med måling af progression (som forskellen mellem to testresultater) skal man være ekstra opmærksom, idet hvert af de to testresultater kan være et produkt af et problematisk forløb. Når eleverne gennemfører de to test, der indgår i progressionsberegningen på en ensartet måde (med samme instruktion, samme koncentrationsniveau, med samme hjælpemidler osv.) vil beregningen af progression som regel blive retvisende. Sker der imidlertid ændringer (hvis fx eleverne får ordbøger og masser af tid til den ene test men ikke den anden eller hvis instruktionen af eleven er forskellig ved de to test) vil progressionsberegningen kunne blive misvisende. Disse ydre forhold har læreren som regel mulighed for at kende til og kunne tage højde for ved vurdering af resultatet. Men det kan også opstå uden at læreren har en chance for at registrere det, fx hvis eleven har været ukoncentreret i hele eller dele af det ene eller begge testforløb, ikke har taget besvarelsen af testen alvorligt eller blot har haft en dårlig dag. Dette kan give misvisende resultater, som læreren ikke kan registrere/observere i testsituationen, hvilket ved mange test er et kedeligt faktum der er svært at gøre noget ved. Her adskiller de nationale test sig ved at give adgang til en betydelig mængde information om testforløbet, der i mange tilfælde kan afsløres en problematisk elevpræstation. Dette fordrer dog at læreren har en tilstrækkelig viden om testene og færdighed i at fortolke resultater til at kunne vurdere om testresultatet er retvisende. Dette er der kun få der er opmærksomme på, og det er heller ikke umiddelbart enkelt, men der er nogle generelle huskeregler og fif, som gør det mere tilgængeligt og som skal illustreres i nedenstående eksempel. Mortens testforløb I figur 1 er vist et udklip af vejledningens figur 12 klassens gennemsnit (genberegnet) samt Mortens testresultater og beregnede progression fra 4. til 6. klasse. Som det fremgår, er Morten gået 700 point frem i tekstforståelse (T-skala). Det svarer til ca. 7 års normal progression over en 2-årig periode. Dette er en ganske voldsom forskel og det vil kun undtagelsesvist kunne lade sig gøre at opnå så store faglige fremskridt. Det mest sandsynlige er, at der er tale om et udslag af forskelle i kvaliteten af testgennemførelsen. 1 Skal en test leve op til en solid, internationalt anerkendt standard for pålidelighed (realibilitet) skal usikkerheden på estimatet af dygtigheden ned på et lavt niveau. Ofte kræves at Standard Error of Measurement (SEM) reduceres til under 0,3 enheder på Raschskalaen; altså at den sande dygtighed med 95% sandsynlighed ligger indenfor 0,3 logits afstand det fra den estimerede værdi. Dette kræver besvarelse af ca. 40 optimalt udvalgte spørgsmål. Omsat til scorer på de tre skalaer svarer 0,3 Logits til godt 50 point. Appendiks 2: Vejledning_DNT_Progression_v3.4 1
Figur 1 Den voldsomme tilvækst kan principielt opstå på tre måder: 1. Enten ved en ekstrem faglig tilvækst, hvor resultaterne er retvisende, 2. eller ved at Morten har underpræsteret i 4-klassetesten, 3. eller overpræsteret i 6-klasse testen Sædvanligvis vil der være en vis sammenhæng mellem de tre profilområder i læsning, da tekstforståelsen principielt er et produkt af sprogforståelse og afkodning 2. Ser man nøjere på resultaterne i 4-klasse-testen i figur 1, kunne det tyde på, at Morten har underpræsteret i tekstforståelse (T-skala) i 4-klasse-testen, da han har klaret sig betydeligt bedre i de andre to profilområder. For at undersøge hvad der kan være årsagen, kan man i testsystemet se på detaljer for elevens testforløb, som det fremgår af figur 2. Figur 2 Her kan man se elevens testforløb i detaljer, og for bedre at kunne danne sig et overblik over den del af testen der drejer sig om tekstforståelse, kan man ved at klikke på tabelhovedet få sorteret efter profilområder. I figur 3 er vist tabellens samlede indhold sorteret efter profilområder. 2 Se Gough, P. B., Hoover, W. A., & Peterson, C. L. (1996). Some observations on a simple view of reading. Reading comprehension difficulties: Processes and intervention, 1-13 Appendiks 2: Vejledning_DNT_Progression_v3.4 2
Figur 3 Appendiks 2: Vejledning_DNT_Progression_v3.4 3
Især når det drejer sig om tekstforståelse er det vigtigt at se på Anvendt tid ift. Normeret tid. Der relativt meget tekst i opgaverne i forhold til i de to andre profilområder, og der er en del elever (især drenge), der springer hurtigt hen over de teksttunge opgaver, især mod slutningen af testen. Typiske tegn herpå er hvis der er svaret blankt på mange af disse opgaver eller hvis de er besvaret uforholdsmæssigt hurtigt. Det kunne godt se ud som om Morten har behandlet disse opgaver med meget lidt tålmodighed. Det er imidlertid vanskeligt at danne sig et overblik over testen med udgangspunkt i en sådan tabel, hvorfor de samme oplysninger som i tabellen er vist i figuren nedenfor som grafisk præsentation. Figur 4. Mortens testforløb i 4. klasse (2010/2011) Hvis man alene ser på tidsforbruget fremgår et mønster: Frem til opgave 20 bruger Morten tid på alle opgaverne på nogle opgaver endog rigtig meget tid. Fra opgave 20 og frem besvarer han med få undtagelser tekstforståelsesopgaverne (de grønne) på mellem ½ og 1/8 af den tid de er beregnet på, mens han frem til opgave 33 bruger tid på både afkodning og sprogforståelsesopgaverne (de blå og de røde). Herefter og frem til opgave 54 bruger han meget kort tid på næsten alle opgaver det kan dog ses, at der hvor han faktisk bruger tid (opgaverne 36, 42 og 43) der svarer han rigtigt. Til sidst tager han sig igen tid til nogle af opgaverne. Der har ikke været nogen rime rytme i testforløbet, og det er ganske tydeligt at dette testresultat ikke nødvendigvis afspejler Mortens læsefærdigheder især ikke i tekstforståelse. Appendiks 2: Vejledning_DNT_Progression_v3.4 4
To år senere tager Morten den obligatoriske test i 6. klasse. Af figur 5 fremgår forløbet, svarende til det ovenstående. Figur 5. Mortens testforløb i 6. klasse (2012/2013) Det ses tydeligt at dette er en helt anden situation: Morten bruger nu helt stabilt den tid, der er beregnet til opgaverne eller en lille smule mere. Der er så godt som ingen forskel på mønsteret for besvarelsen af de enkelte profilområder. Hen mod slutningen af testen lader det til, at koncentrationen begynder at svigte der kommer en stribe forkerte svar i træk, den næstsidste opgave bliver, som den eneste i testen, besvaret på under den halve tid af det, der er afsat til den. Der ser ud til, at denne sidste test med rimelig præcision kan bruges som mål for Mortens læsefærdigheder ved udgangen af 6. klasse. Konklusion Når man sammenligner Mortens 2 testforløb er det tydeligt, at der virkelig er sket noget på læsefronten for Morten i de 2 år, men det står også rimeligt tydelig, at en progression på 700T må være en betydelig overvurdering. Appendiks 2: Vejledning_DNT_Progression_v3.4 5