Opsamling af erfaringer og overvejelser om fremtidig brug af de nationale test i Aalborg Kommune

Transkript

1 29.juli 2015 Opsamling af erfaringer og overvejelser om fremtidig brug af de nationale test i Aalborg Kommune Dette notat er udarbejdet til brug for Nordicmetrics egen dokumentation af udviklingsforløbet. Det har dels til formål at belyse visse generelle problemstillinger i de nationale test, dels beskrive Aalborg kommunes lærings- og læsevejlederes vurdering af testenes anvendelighed samt vejledernes egen vurdering af kompetenceudvikling fra før til efter deres deltagelse på workshop. Det er vores forhåbning, at informationerne kan være af interesse for vejlederne, skolerne, forvaltningen og politikere i Aalborg kommune. En tak skal rettes til forvaltningen for samarbejdet og vejlederne i Aalborg, som har bidraget til undersøgelserne. Generelt om de nationale test, progression og kriteriescorer Undersøgelser foretaget af Rambøll (2013 og 2014) og EVA (2012) viser, at de obligatoriske nationale test bliver gennemført, men at resultaterne sjældent bliver anvendt pædagogisk. Gennem samarbejde med en lang række skoler i en række kommuner har Nordicmetrics konstateret, hvad Rambølls og EVAs undersøgelser også påpeger, nemlig at en væsentlig årsag til den manglende pædagogiske anvendelse er, at kun de færreste medarbejdere i forvaltningerne og skolerne (lærere, skoleledere, vejledere) har den fornødne viden til at anvende testene pædagogisk og strategisk. Faktisk har kun et fåtal af lærerne adgang til de testresultater, de skal bruge for at kunne vurdere deres egne elevers progression. Typisk har lærerne adgang til deres egne elevers nyeste testoplysninger, men ikke de tidligere periodes testresultater. Dette begrænser lærernes mulighed for vurdering af progression og dermed også pædagogisk anvendelse af testenes resultater. Med introduktionen af de nye kriteriescorer er dette problem til dels omgået ved, at adgangen til en elevs scorer i et fag automatisk udløser adgang til visse andre obligatoriske test scorer (men ikke frivillige) uden om den styring af rettigheder, der ellers er i systemet. Baggrunden for denne løsning er, at der i systemet er etableret mulighed for at monitorere en form for progression hvilket kun lader sig gøre, når der er adgang til flere testresultater for den samme elev. Progression kan opgøres på mange måder, og selv inden for de nationale test er der flere måder at opgøre faglig udvikling på. Således er der væsentlige forskelle mellem den absolutte progression, 1

2 som vises ved hjælp af Beregneren og den relative progression, der vises i forbindelse med de kriteriebaserede scorer i testsystemet på Absolut og relativ progression Det, Beregneren måler, er absolut progression. Det vil sige progression i forhold til det læsefaglige niveau, altså om eleven rent faktisk er blevet dygtigere til at læse. At opgøre den absolutte progression kræver, at elevernes faglige præstationer (uden hensyn til elevernes alder, social baggrund eller klassetrin) kan placeres på en fælles skala. I skoleåret 2014/15 lancerede ministeriet en ny tilbagemeldingsform ved de nationale test i matematik og læsning, kriteriescorer. Kriteriescoren er en opgørelse af det faglige niveau set i forhold til elevens klassetrin og tidspunkt på året. I testsystemet oplyses på baggrund af kriteriescorerne en form for faglige udvikling, som kan betegnes som relativ progression. Her betyder progression tilvækst i forhold til ministeriets forventninger til elevernes faglige udvikling alt efter klassetrin. Med kriteriescoren introduceres altså en forventet faglig tilvækst det der skal til for at være fx God læser på forskellige klassetrin. En elev, der går fra God i 4. klasse til Jævn i 6. klasse, lever ikke op til forventningen, men kan godt være gået frem rent læsemæssigt, bare ikke nok til fortsat at være i kategorien God læser. I nedenstående figur illustreres forskellen ved at vise den samme elevs testresultat via den skala der vises i Beregneren og ministeriet kriteriebaserede progression. Figur 1 I figur 1 illustreres, at selvom eleven er gået tilbage i forhold til faglige forventninger til eleven, der er indbygget i testsystemets kriteriescorer (figuren til højre), så er eleven rent faktisk gået frem i sin faktiske læseudvikling (ses i figuren til venstre). 2

3 Figuren til venstre indeholder mest information: Både at eleven skifter kategori (krydser linjen fra God til Jævn ) og den absolutte progression (illustreret ved hældningen på den sorte kurve). Det skal understreges, at visningen til højre (den relative progression) er afhængig af, at testen er taget på det tidspunkt, som ministeriets fagfolk har vurderet det ønskede faglige niveau ud fra. Dette betyder, at kriteriescore ikke kan anvendes til de frivillige nationale test, da tilbagemeldingen God er baseret på elevens læseniveau på et specifikt tidpunkt, hvor testen er obligatorisk. Beregneren derimod videreformidler elevens egentlige læseudvikling, uafhængigt af elevens alder, klassetrin og tidspunktet på året hvor testen er taget. Det skal understreges, at begge metoder er gængse og korrekte metoder at opgøre elevers faglige tilvækst på, man skal blot være klar over forskellen. Processen i Aalborg Kommune I efteråret 2014 sendte NordicMetrics et oplæg til implementering af systematisk anvendelse af de nationale test til Aalborg Kommune (jf. bilag F). I dette forslag var implementering på alle niveauer (forvaltningen, skoleledere, vejledere og lærere) medtænkt. Anbefalingen var at anlægge enten et top-down approach (dvs. starte med skoleledelsen med henblik at sikre en ledelsesmæssig opbakning til arbejdet med de nationale test) eller et bottom-up approach (dvs. at starte med lærerne, der skal anvende den nye viden, Beregneren giver om elevernes faglige niveau, hvis det skal have en effekt). Sideløbende med overvejelserne om projektdesign blev det, på grundlag af ønsket om at kunne følge elevernes læseudvikling igennem hele grundskolen, drøftet, hvordan en systematisk anvendelse af de nationale frivillige test til dansk, læsning kunne introduceres. Det blev meldt ud til skolerne, hvordan de frivillige test bedst kan gennemføres samt en model for, hvornår på året de skulle tages. Optimal anvendelse forudsætter, at de frivillige og obligatoriske test gennemføres med nogenlunde lige store afstande (ca. et års mellemrum) gennem hele skoleforløbet (Jf. bilag F). Den foreslåede anvendelse af de frivillige nationale test blev introduceret som forvaltningens anbefaling i en prøveperiode. En markant erfaring var, at de nationale test i dansk, læsning skulle anvendes med omtanke på elever i 1. klasse. Der blev rejst spørgsmål ved, om testene, der er obligatoriske for elever i slutningen af 2. klasse, overhovedet er egnede til elever i det første halvår i 1. klasse. De nationale test er adaptive og tilpasser sig dermed elevernes niveau - hvis eleven svarer forkert, vil eleven få en lettere opgave næste gang. Dette betyder, at selvom 1. klasses eleverne gennemfører 2. klasse læsetesten, så indstiller testen sig efter elevernes niveau. Det forudsætter imidlertid, at eleven har en helt grundlæggende læsefærdighed, hvilket ikke er tilfældet for alle elever i 1. klasse. En analyse af data fra testforløb gennemført af alle elever en 1. klasse viste, at anvendelse af de nationale test giver god mening for 7 ud af 10 elever altså at elevers testresultater i 1. klasse er brugbare til analyse. På det grundlag blev det af Aalborg Kommune påpeget, at læreren skal 3

4 vurdere og beslutte, om de enkelte elever i 1. klasse med mening kan gennemføre den frivillige nationale test i dansk, læsning. En indikator kan være, om eleven demonstrerer sikker læsning i en begyndertest (OS64 eller tilsvarende). I starten af januar 2015 blev der indgået aftale mellem Aalborg Kommune og NordicMetrics (jf. Bilag E) om et projekt i prøveperioden. Nedenstående blev aftalt at gennemføre i Aalborg Kommunes forsøgsperiode: Fire oplæg med orientering om Beregneren og konvertering til progressionsscorer for skoleledelserne (de 4 områder nord, centrum, sydøst og sydvest) d. 5. og 6. februar. Oplæg på to netværksmøder for henholdsvis læse- og læringsvejledere d. 4. og 5. marts 2015, hvor deltagerne blev indført i principperne bag Beregneren/progressionsskalaer og dermed godt forberedt til deltagelse i de planlagte workshops i april. Målet med ovenstående møder var derudover at give indsigt i, drøfte og analysere behov og problemstillinger i forhold til Aalborg Kommunes folkeskolers arbejde med en mere struktureret og systematisk fortolkning og opfølgning på progression i de nationale test. Det var samtidigt meningen at få samlet op på erfaringerne med anvendelsen af frivillige test. Der blev afholdt otte ½-dags workshops for lærings- og læsevejledere d og april Hver workshop bestod af en blanding mellem teori og øvelser i fortolkning og anvendelse af egne elevers resultater fra de nationale læsetest. I forlængelse af prøveperioden (skoleåret 2014/15) vil Aalborg Kommune på grundlag af erfaringerne tage stilling til, hvorvidt systematisk anvendelse af de nationale test, med det fokus som NordicMetrics generelt anbefaler (ud fra vurdering af den absolutte progression), skal implementeres generelt på skolerne. 4

5 Kompetenceafdækning og evaluering: Præ- og postmåling Efter oplæggene på netværksmøderne for vejledere, men før afholdelse af workshops, blev gennemført en indledende spørgeskemabaseret kompetenceafdækning for samtlige vejledere (præmåling, marts 2015). Resultaterne fra dette fremgår af Bilag C. Præmålingen Hovedresultaterne fra kompetenceafdækningen før deltagelsen i workshops fremgår af figur 2. Besvarelsen blev afgivet på en 5 punkts Likert-skala og blev omregnet til et indeks for enighed (hvor Helt enig sættes til 100 %, Nærmest enig til 75 %, Både/og til 50 %, Nærmest uenig til 25 % og Helt uenig sættes til 0 %). Figur 2 Beregningerne bag figuren er baseret på 114 besvarelser, og det fremgår her, at vejlederne vurderer: at de havde et solidt kendskab til, hvad de nationale test måler og til hvordan det adaptive princip fungerer, at de var middelgodt klædt på til at læse og fortolke norm-, kriteriescorer og progression, men havde mindre godt kendskab til de forskellige skalaers egenskaber, at de i høj grad havde behov for, at udvide kendskabet til test som måleredskab og til at analysere testresultater for at kunne vejlede om disse samt at de var overordentligt motiverede for at udvikle deres kompetencer på testområdet. 5

6 Der var i alt 140 tilmeldinger til workshoppen med et mindre frafald, så svarprocenten til præmålingen var på over 80 %, hvilket må anses som et godt grundlag for undersøgelsen. Postmåling, retrospektiv vurdering af udbytte Efter workshops blev der gennemført en spørgeskemabaseret evaluering af lærings- og læsevejledernes erfaringer og vurdering af forløbets effekt (postmåling, maj 2015). Opgørelsen er baseret på besvarelser fra 110 respondenter ud af de 140 tilmeldte deltagere på workshops; igen et solidt grundlag for evalueringen. I figur 3 er gengivet lærings- og læsevejledernes angivelse af deres selvvurderede udbytte af workshops. Opgørelsen bag figuren er baseret på de respondenter, der har besvaret begge skema (både præ- og postmålingen, i alt 93 respondenter). Figur 3 Som det fremgår, har der været et ganske betydeligt positivt udbytte på alle de områder, der er spurgt ind til. Især vurderes udbyttet stort i forhold til at fortolke testresultater, vurdere elevens faglige niveau og progression, evnen til at analysere testforløb og identificere problemer samt anvende testresultater i forbindelse med skole-hjemsamarbejdet. Mindst har udbyttet været vurderet i forhold til anvendelse af testresultater ved fastlæggelse af årsplanen, hvor udbyttet er vurderet til middel. Lærings- og læsevejlederne har bortset fra på to områder haft nogenlunde samme vurdering af udbyttet: De to områder er relateret til feedback på testresultater til hhv. eleverne og hjemmet. Her har læringsvejlederne fået et signifikant større udbytte. I slutningen af spørgeskemaet har vejlederne kunnet angive kommentarer (ris, ros, forslag og uddybende bemærkninger) - disse er alle gengivet i bilag A1. 6

7 Flere af disse afspejler forskellige frustrationer (mangel på tid, tekniske problemer og bekymringer om opgavevaretagelse), men der er også flere meget positive bemærkninger, fx i forhold til de nationale test og arbejdet med progression, jf. fx denne kommentar fra en læringsvejleder: Beregneren er "The missing link". Super brugbar. Burde være integreret direkte i testafviklingsmodulet. Figur 3 illustrerer, at vejlederne har fået et betydeligt læringsudbytte af workshops. Der er en klassisk problemstilling, man skal forholde sig til, når der spørges retrospektivt, som der blev gjort i figur 3. Der kan være en risiko for, at respondenterne overvurderer en positiv udvikling når den ses i bakspejlet efter et forløb, som har været vurderet som nyttigt/relevant. For at undgå denne mekanisme kan man for at opnå en mere neutral vurdering af effekt stille det samme spørgsmål både før og efter en påvirkning (her før og efter deltagelse i workshops). Dette skal senere belyses i afsnit om effektvurdering. Anvendelse af de erhvervede kompetencer/færdigheder I spørgeskemaet bliver spurgt i hvilket omfang, at vejlederne på meget kort sigt (inden sommerferien) vil anvende de nyerhvervede kompetencer ifm. de nationale test, på en række områder, jf. figur 4. Her skelnes ligeledes mellem lærings- og læsevejlederne besvarelser. 7

8 Figur 4 På generelle områder (at fortolke testresultater, vurdere elevers progression samt at fastsætte undervisnings- og læringsmål) er der ikke nævneværdig forskel på lærings- og læsevejledernes anvendelse af de nye kompetencer. På de øvrige og typisk mere fagspecifikke områder (dvs. at vejlede dansklærere, at vurdere testforløb, at give feedback til elever og at drøfte resultater med ledelsen) fremgår det, at læsevejlederne har tydeligt mere både behov og muligheder for at kunne anvende de nye kompetencer på kort sigt. Dette hænger naturligt sammen med, at kompetenceudviklingen dels var målrettet en fagfaglig tilgang, som nok passer bedre på læse- end læringsvejledernes opgaver, og dels at den var fokuseret på vurdering af læsetestene, som naturligt lagde sig op ad læsevejledernes behov. Ser man på vejledernes vurdering under et, fremgår det, at ingen områder udskiller sig markant. Dog er det - vurdere elevernes progression, som topper for både lærings- og læsevejledere, mens det især er læsevejlederne, der i den nære fremtid kan bruge den nye viden, når de skal vejlede dansklærere om brug af Beregneren og fortolkning af testresultater. Sammenlignes figur 2. og 3. er det, set i lyset af udbyttet, påfaldende, at niveauet for anvendelsen af kompetencerne i praksis er på et relativt beskedent niveau. Dette skal især ses i lyset af, at mange vejledere generelt ville afvente den varslede politiske beslutning om anvendelsen af de 8

9 nationale test/beregneren set i lyset af, at foråret 2015 var meldt ud som en prøveperiode: Der blev på flere workshops efterlyst en melding om, hvad der efterfølgende skulle ske, og det udløste tøven, at man skulle afvente politisk stillingtagen (som en læringsvejleder udtrykte det: Vi har ikke brug for at sætte flere nye skibe i søen på min skole. Så jeg vil ikke foretage mig videre før der foreligger en afklaring ). Men også andre forhold spiller ind: I kommentarer (jf. bilag A) kommer det frem, at flere ikke har den fornødne adgang til at kunne bruge Beregneren. Her tænkes dels på manglende adgang til testresultater og/eller licenser til Excel. Dels påpeger flere, at de er vejledere i fx matematik eller for lærere på klassetrin, hvor der ikke er obligatoriske test, og at de derfor ikke direkte kan anvende Beregneren på egne elevers testresultater fra i år. Det skal understreges, at ovenstående besvarelser ikke kan tages som et tegn på, at vejlederne har begrænset lyst og/eller motivation til at arbejde med de nationale test/beregneren der var tværtimod en stor parathed og nysgerrighed i retning af at supplere med denne form for evidensbasering af praksis. Vejledernes vurdering af kompetence efter kompetenceforløbet Vejlederne er blevet spurgt om nogle få, men centrale spørgsmål under overskriften Har du det fornødne faglige niveau til at kunne fortolke, anvende og vejlede i de nationale test? I hvor høj grad er du enig i følgende udsagn. Udsagnene, som vejlederne skulle forholde sig til på en fem-punkts likert-skala 1, fremgår af figur 5, hvor vejledernes vurderinger af færdigheder i at fortolke, anvende og vejlede i de nationale test/beregneren efter kompetenceudviklingsforløbet er vist. 1 jf. ovenfor vedr. kommentarerne til figur 1 9

10 Figur 5 Det fremgår, at især læsevejlederne efter kompetenceudviklingsforløbet generelt føler sig godt klædt på til at fortolke testresultater, vurdere progression, identificere problemer i testene og i lidt mindre grad har overblik over de forskellige skalaer. Derudover er det tydeligt, at især læringsvejlederne oplever et betydeligt behov for yderligere udvikling af deres kompetencer, hvis de skal kunne vejlede lærerne og selv kunne analysere testresultater. Effektvurdering af kompetenceforløbene Spørgsmålene, som blev gengivet i ovenstående figur 5, blev stillet enslydende i både kompetenceafdæknings- og evalueringsskemaet, hvilket gør det muligt at foretage en vurdering af udviklingen i selvvurderet kompetence. I tabel 1 er besvarelserne af spørgeskemaer benyttet i Aalborg vist, herunder til lærings- og læsevejledere. Det fremgår, at spørgsmålene i figur 5 er blevet stillet til og helt eller delvist besvaret af 116 personer i kompetenceafdækningsskemaet, til personer 118 i evalueringsskemaet, men at kun 93 personer deltog i begge spørgeskemaundersøgelser. Tabel 1 Oversigt over antal i populationen og antal respondenter Spørgsmål til skoleledere om viden/interesse for DNT Spørgeskema før workshops (kompetenceafdækning) Spørgeskema efter workshops (evaluering) Målgruppe: Skoleledere lærings- og læsevejledere mv. Population (antal) Besvarelser (107) 118 (104) Har besvaret begge skemaer 93 (86) Note: Tallene i parentes er antal af besvarelser, hvor alle relevante spørgsmål er besvaret (ingen manglende værdier) 10

11 I det efterfølgende er der gennemført en analyse af disse 93 respondenters udvikling på itemniveau (dvs. enkeltspørgsmålsniveau). Resultaterne, som er vist i figur 6, udgør en simpel form for effektmåling. Figur 6 Det fremgår af de to første spørgsmål, at der er sket en ganske betydelig tilvækst i kompetence med hensyn til at fortolke testresultater og især at kunne vurdere elevernes progression. Det tredje spørgsmål (om at identificere problematiske forløb) blev kun stillet i evalueringsskemaet 2, men også her ses en betydelig udvikling. Det fjerde spørgsmål omhandlede spørgsmål om skalatyper, og her har der ligeledes været en ganske betydelig tilvækst i kompetence. Behovet for at dygtiggøre sig (de to sidste spørgsmål i figur 6) opleves stadigt som markant, omend det er blevet signifikant reduceret efter deltagelsen på de afholdte workshops. Flere har påpeget ønsket om genopfriskningskurser og behov for, at deres kollegaer og ledere også kender til muligheder med de nationale test, skalaer og Beregneren. Dette gav flere vejledere udtryk for i forbindelse med workshops og også i kommetarer til evalueringsskemaet. Kommentar fra en læringsvejleder: Kurset var rigtig godt, og jeg følte mig generelt godt informeret undervejs. Men når man ikke straks anvender det, glemmes meget af det. Jeg har brug for et opfølgende kursus, hvor der også bliver fokus på formidlingen til elever og kolleger. Besvarelser af enkeltspørgsmål giver en fornemmelse af en fornuftig samlet effekt, men for at kunne belyse dette nærmere er der gennemført Rasch-analyse af de stillede spørgsmål. 2 Udsagnet Jeg føler mig godt klædt på til at identificere problematiske testforløb blev kun brugt i evalueringsskemaet, da der var en så klar reference til workshoppens indhold, at det ikke ville give mening at spørge til ved kompetenceafdækningen. 11

12 Raschanalyse af vejlederkompetence Målet er, at undersøge om der ud fra de seks spørgsmål i figur 5 og 6 kan dannes én latent variabel, som samlet kan udtrykke vejlederkompetence i relation til de nationale test på en effektskala, der er egnet til at sammenligne kompetenceniveau. Altså måle progression hos de deltagende vejledere før og efter workshops (dvs. en unidimensional intervalskala). I praksis undersøges det om de 211 responser (dvs. 107 før og 104 efter workshop, jf. tabel 1, ovenfor) med svar på alle relevante spørgsmål samlet kan passe til en Raschmodel, givet en relevant scoring 3. Data passer i det store hele til Rasch-modellen, dog skulle der løses et enkelt problem, nemlig at de to sidste spørgsmål er meget stærkt lokalt afhængige (vejlederne skelner tilsyneladende i praksis ikke imellem kompetence til at analysere og vejlede i de nationale test). Problemet løses ved at sammenlægge disse to items til ét item, der kan antage værdien 0-8. Der er stadig visse tegn på flerdimensionalitet, men tilpasningen til modellen vurderes trods alt som acceptabel. Rasch-scoren er (blandt andet pga. negative værdier, som følge af en centrering om 0) vanskelig at formidle og for at forenkle vurderingen transformeres til en lettere fortolkelig skala en T-skala 4. For hver respons foreligger der således en Raschscore, der er sammenlignelige mål for selvvurderet vejlederkompetence. Der er i alt 86 personer, der har besvaret både et før- og et efterskema, og for disse personer kan der beregnes en udvikling. Ved at sammenligne de samme personers scorer før og efter workshoppen fås et mål for progressionen. Ændringen af middelværdien af scoren er testet i tabel 2, ved en t-test af parvis dobbelt stikprøve for middelværdi. Udviklingen af dette kan også anses som et mål for forløbets effekt. Tabel 2. t-test, Parvis dobbelt stikprøve for middelværdi T-Før T-Efter Middelværdi 45,46 55,05 Varians 120,40 57,88 Observationer Pearson-korrelation 0,28 Hypotese for forskel i middelværdi 0 Fg 85 t-stat -7,77 P(T<=t) to-halet 1,62E-11 3 De fire første items scores, så Helt uenig tildeles scoren 0 mens Helt enig tildeles værdien 4. Jo større værdi des større selvvurderet kompetence. For de to sidste items reverseres scoren: jo større behov, des mindre antages den selvvurderede kompetence at være, hvilket kan være en diskutabel forudsætning (Det er erfaringsmæssigt ikke nødvendigvis dem, som har lavest kompetence, der selv vurderer at have de største behov for udvikling behov kan være svært at adskille fra interesse ). 4 Konkret transformeres der til en T-score, dvs. en score, hvor skalaen har middelværdien 50 og spredning

13 Heraf fremgår, at gennemsnittet for fordelingen har flyttet sigsignifikant (med næsten 10 point fra godt 45 til ca. 55), at variansen er reduceret ganske betydeligt (i hovedsagen ved at bundniveauet er hævet betydeligt) og endvidere, at der er en vis, men ikke meget stor korrelation (knap 0,3) mellem scoren før og efter kompetenceforløbet. Udviklingen er også illustreret grafisk i figur 7. Figur 7 Her ses tydeligt den markante forskydning af fordelingen mod højre; altså en meget klar tilvækst i fordelingen af den selvvurderede kompetence fra før til efter deltagelsen i workshops. Imidlertid er det væsentligt ikke kun at se på fordelingen før og efter, men også de enkelte vejlederes udbytte af kompetenceudviklingsforløbet. Vurdering af vejledernes individuelle progression i forhold til arbejdet med DNT/Beregneren Af figur 8 fremgår før- og efter-scoren plottet mod hinanden for de 86 respondenters (vejlederes) scorer, der besvarede spørgeskemaer både før og efter workshops. Endvidere er det markeret, hvilke respondenter der var læringsvejledere (med rød cirkel), og det fremgår, at der ikke kan ses nogen systematisk forskel mellem lærings- og læsevejledernes svar. 13

14 Figur 8 Den røde punkterede linje viser grænsen mellem, hvor der er forskel i vurderingen af kompetencen før og efter. De respondenter, der er placeret nordvest for grænsen, har haft en tilvækst i scoren. Det fremgår, at de fleste respondenter ligger over linjen, hvilket betyder, at deres besvarelser tyder på en tilvækst i kompetence. Men der ligger også nogle respondenter under linjen, hvilket betyder, at deres vurdering af egen kompetence før workshop var større end efter workshoppen de oplever sig tilsyneladende mindre kompetente efter deltagelse i workshop. Den beskedne korrelation (r = 0,28) fremgår tydeligt ved, at der kun er en svag positiv sammenhæng mellem den estimerede selvvurderede kompetence før og efter workshops (regressionslinjen indtegnet). Der er altså tale om en betydelig variation i vejledernes oplevelse af udbyttet af kompetenceudviklingsforløbene målt på denne måde. 14

15 Da den anvendte skala 5 er en intervalskala, og da det er samme skala, som alle responser er målt/beregnet på, kan progressionen beregnes som differencen mellem før- og eftermålingen. I figur 9 er differencerne (progressionen) vist for hver af de 86 vejledere i stigende orden. Figur 9 Gennemsnitligt er progressionen målt til 9,6 point på t-skalaen, men som det fremgår, er der en betydelig variation, mere end 70 point mellem top og bund (fra -8,7 til 63,3). Et spørgsmål, som man med rimelighed kan stille, er, hvordan det overhovedet kan lade sig gøre at opleve en reduceret kompetence efter et kompetenceudviklingsforløb. Der kan selvfølgelig være tale om fejlbesvarelser, dårlige dage og manglende konsistens. En anden, og nok mere plausibel hypotese, kunne dog være, at nogle vejledere indledningsvis havde fornemmelsen af at vide det nødvendige, men i løbet af forløbet oplevede en stigende erkendelse af en betydelig større kompleksitet tilknyttet de nationale test og dermed erkendelse af manglende kompetencer på området end først antaget. Med henblik på at belyse årsagen nærmere er i Bilag A2 gengivet den vejleders svar, som havde registreret den mest negative progression (på -8,7 point). Her fremgår, at respondenten før kompetenceforløbet erklærede sig helt enig (5 på en skala fra 1-5) i alle følgende spørgsmål: - Jeg føler mig godt klædt på til at læse og fortolke norm- og kriterie-resultaterne af de nationale test - Jeg føler mig godt klædt til på til at vurdere elevers progression - Jeg har brug for at dygtiggøre mig i forhold til at kunne vejlede om elevresultater - Jeg har brug for at dygtiggøre mig i forhold til at analysere testresultater 5 Rasch-skalaen er transformeret til en T-skala, dvs. med middelværdi på 50 og en standardafvigelse på 10 for samtlige responser både før og efter kompetenceudviklingsforløbene 15

16 Efter workshoppen svarede respondenten Hverken/eller (3 på en skala fra 1-5) på de to første spørgsmål. Altså vurderede respondenten sig kun middelgodt klædt på til at læse og fortolke resultaterne af de nationale test og vurdere elevers progression og var fortsat helt enig i spg. 3 og 4 (dvs. stort oplevet behov for videreudvikling i evnerne til at analysere og vejlede om testresultater). Når respondenten har oplevet reduceret kompetence og stort behov for videreudvikling, kunne det umiddelbart antages, at der ikke var noget udbyttet af workshoppen. Dette er ikke imidlertid ikke tilfældet; På spørgsmålet om udbytte med hensyn til erhvervelse af ny viden og større kompetence i at fortolke testresultater/elevernes faglige niveau samt at vurdere elevernes progression svarede respondenten i nogen grad (dvs. 3 på en skala fra 1-4). Dette kunne understøtte hypotesen om, at en tilsyneladende negativ udvikling kan være et produkt af en ny erkendelse af en større kompleksitet, et uddannelses-/udviklingsbehov og et måske et større potential ved arbejdet med de nationale test end først antaget. Nedenfor i tabel 3 er gengivet korrelationskoefficienter (Pearson) mellem de beregnede Raschscorer (T-scorer) og spørgsmålene, som indgår i beregningerne. Tabel 3: Korrelationer mellem Raschscorer og spørgsmålene, som indgår i modellen Har du det fornødne faglige niveau til at kunne fortolke, anvende og Korrelation med Rasch-scorer vejlede i de nationale test? I hvor høj grad er du enig i følgende udsagn: Progression T-Efter T-Før Jeg føler mig godt klædt på til at læse og fortolke norm- og kriterieresultaterne af de nationale test 0,40 0,76 0,11 Jeg føler mig godt klædt til på til at vurdere elevers progression 0,32 0,72 0,16 Jeg føler mig godt klædt på til at identificere problematiske testforløb 0,34 0,73 0,15 Jeg har overblik over forskellige skalaers egenskaber (fx ordinal og intervalskala) 0,11 0,64 0,33 Jeg har brug for at dygtiggøre mig i forhold til at kunne vejlede om elevresultater -0,28-0,81-0,27 Jeg har brug for at dygtiggøre mig i forhold til at analysere testresultater -0,25-0,77-0,27 16

17 Fremadrettet Erfaringerne fra Aalborg Kommunes prøveperiode peger i retning af et betydeligt udbytte for vejlederne, men det er nok tvivlsom, om dette isoleret set vil få nævneværdig effekt fx for elevernes faglige udvikling. Selvom vejlederne nu bedre kan fortolke testresultater og progression, vurderer de selv, at de har behov for yderligere udvikling for at kunne anvende og vejlede lærerne heri. En effektiv implementering vil kræve stærk ledelsesinvolvering og udbygget indsigt, ligesom det vil kræve en betydelig kompetenceudvikling af de lærere, der skal anvende testresultaterne i forbindelse med det pædagogiske arbejde og samarbejde med hjemmet. Dette blev bl.a. markeret af flere deltagere på workshops, som påpegede behovet for, at alle led var indstillet på at udnytte og forstod konceptet bag Beregneren og strategisk anvendelse af de nationale test (jf. bilag B). Der er flere mulige strategier for fremtidig anvendelse af de nationale test i Aalborg Kommune. Nedenfor er skitseret tre forskellige muligheder, hvortil der er knyttet kommentarer. 1. Den store løsning. Aalborg Kommune satser på at implementere Beregneren og strategisk anvendelse af de nationale test oppefra via forvaltning/skoleledelse og nedefra via lærerne. Ved at medtænke alle led (forvaltning, ledere, vejledere og lærere) i implementeringsprocessen af Beregneren og strategisk anvendelse af de nationale test vil Aalborg Kommune fremme at en varig kulturændring finder sted. Her vil mao. så hurtigt som muligt kunne implementeres en evalueringskultur, hvor de nationale test anvendes optimalt både pædagogisk og som ledelsesinformation. Dette vil kræve en betydelig ressourceindsats. 2. En top-down-løsning. Aalborg Kommune kan vælge at gå samme vej som Vejen Kommune, der har besluttet at implementere en model for anvendelse af obligatoriske og frivillige test med systematisk anvendelse af testene til arbejde med progression, jf. Bilag G. Modellen bygger på skoleledelsen og vejlederne som drivkraft ud fra et ønske om at anvende de nationale test til både pædagogisk og administrativ opfølgning, fx i kvalitetsrapporter. Vejen Kommunes løsning ligger tæt op ad den, som oprindelig var skitseret som forslag til Aalborg Kommune, jf. det oprindelige tilbud bilag F. Dette vil være en ressourceøkonomisk implementeringsmodel, hvor resultaterne dog vil komme over en længere periode. 3. En løsning baseret på Friendly users. En tredje løsning er at gå gradvist/forsøgsvis til værks evt. ud fra et princip om frivillighed. Det kan fx tilbydes en række skoler (hvor mange, kunne man lade afhænge af skolernes interesse og/eller budget) at være forsøgsskoler, hvor anvendelsen af testene og Beregneren bliver implementeret i fuldt omfang efter den oprindeligt skitserede model. I denne løsning, hvor skolerne selv tilmelder sig, vil det sikres, at deltagerne er motiverede for at gå ind i projektet samt er indstillet på at gøre det i fuldt omfang. I en indledende fase vil der givetvis skulle ske en betydelig lokal udvikling bl.a. mht. evalueringskultur og den pædagogiske anvendelse af testresultater. Derfor vil en positiv holdning, der følger af stærk motivation, være en meget betydelig fordel. 17

18 Oversigt over bilag: Bilag A (inkl. A1 og A2): Tabeller, figurer og udskrift af bemærkninger fra spørgeskemaundersøgelse gennemført ultimo maj 2015 blandt lærings- og læsevejledere efter deltagelse på workshop afholdt af NordicMetrics. Bilag B: Notat om erfaring fra workshop for lærings- og læsevejledere sendt til Aalborg Kommune d. 7.maj Bilag C: Tabeller (randfordeling) vedrørende lærings- og læsevejlederes spørgeskemabesvarelser (medio marts 2015) før deltagelse i kompetenceudviklingsforløb med Beregneren. Bilag D: Notat om skoleledernes besvarelse af spørgeskema gennemført medio november 2014, vedlagt tabeller med randfordeling. Bilag E: Kontrakt mellem Aalborg kommune og NordicMetrics. Bilag F: Det oprindelige forslag/tilbud (F1: Oprindeligt projektoplæg og F2: Udfoldning af pakke 4). Bilag G: Vejen kommune, Udvalget for skoler og børn, Mødedato: , punkt 44: Måling af faglig progression (Beregneren). 18