PILOTAFPRØVNING AF KRITERIEBASEREDE TILBAGEMELDINGER ERFARINGSOPSAMLING

Transkript

1 Til Kvalitets- og Tilsynsstyrelsen Dokumenttype Rapport Dato September 2014 PILOTAFPRØVNING AF KRITERIEBASEREDE TILBAGEMELDINGER ERFARINGSOPSAMLING

2 PILOTAFPRØVNING AF KRITERIEBASEREDE TILBAGEMELDINGER ERFARINGSOPSAMLING Rambøll Hannemanns Allé 53 DK-2300 København S T F

3 Erfaringsopsamling INDHOLD 1. Sammenfatning 1 2. Indledning Baggrund Om pilotafprøvningen Formål Metode og datagrundlag Læsevejledning 6 3. Opfattelse og vurdering af de kriteriebaserede tilbagemeldinger Anvendelse af resultatvisningen Den grafiske fremstilling Benævnelse af de seks niveauer De national resultatmål Statistisk usrhed Forældrebrev Fremadrettet anvendelse Analyse af resultaterne Fremadrettet anvendelse lærerne, elever og forældre Fremadrettet anvendelse skoleledelse og forvaltning Vejledningsmateriale og understøttelse af fremadrettet anvendelese Vejledningsmateriale Forslag til understøttelse af den fremadrettede anvendelse af testresultater 27 BILAG Bilag 1: Tabeloversigter Bilag 2: Skærmbilleder

4 Erfaringsopsamling 1 af 3 1. SAMMENFATNING Rambøll Management Consulting (herefter Rambøll) har i perioden maj-august 2014 gennemført en erfaringsopsamling vedrørende pilotafprøvning af kriteriebaserede tilbagemeldinger på de nationale test. Erfaringsopsamlingen er gennemført for Kvalitets- og Tilsynsstyrelsen. Erfaringsopsamlingen afspejler forvaltning, skoleledelse, lærere, forældre og elevers vurdering af de kriteriebaserede tilbagemeldingers brugervenlighed, såsom den grafiske fremstilling, benævnelsen af de seks niveauer, visning af statistisk usrhed m.v., samt en vurdering af, hvorvidt den nye type af tilbagemelding i højere understøtter en fremadrettet anvendelse af testresultaterne både som pædagogisk værktøj og som styringsredskab. Der er således tale om en vurdering af testens indhold eller statistiske model. Fokus er alene på resultatvisningen og dens anvendelighed. Generelt kan det konkluderes, at størstedelen af informanterne udtrykker stor tilfredshed med de nye resultatvisninger, hvor de to sidstnævnte informantgrupper er de mest positive. De nye visninger opleves umiddelbart som intuitive og let forståelige, og stort set alle informanter giver udtryk for, at det er en styrke, at resultatet klart viser elevernes, klassens, skolens eller kommunens faglige niveau ud fra nogle generelle kriterier frem for en relativ vurdering. Informanterne oplever, at det giver testresultatet en langt større legitimitet, der vil anspore til øget brug. På baggrund af erfaringsopsamlingen er det Rambølls vurdering, at der med indførelse af de kriteriebaserede tilbagemeldinger er et klart potentiale for en højere 1 af fremadrettet anvendelse af testresultaterne, både som pædagogisk værktøj i lærernes planlægning af undervisningen og i deres fastsættelse af mål for elevernes læring, samt mindst som styringsredskab for skoleledelserne og den kommunale forvaltning. Der er dog en række opmærksomhedspunkter, hvor nogle knytter sig til den konkrete resultatvisning, mens andre er af mere generel karakter. I relation til de konkrete resultatvisninger udtrykkes blandt andet ønske om: Mulighed for andre visninger, fx progressionen for hvert klassetrin år for år Tydeligere markering af reformens resultatmål En præcisering af definitionen på de seks niveauer, mindst "jævn" og "mangelfuld" En kobling af resultaterne med 100-skalaen fra de normbaserede visninger Automatisk generering af relevante opgaver til eleverne på baggrund af deres testresultat. Derudover peger erfaringsopsamlingen på en række generelle forhold. Det kan blandt andet konstateres, at de forbehold over for de nationale test, der kom til udtryk i evalueringen fra , stadigvæk gør sig gældende hos en gruppe af lærerne. Der er fortsat nogle, der ser nationale test som et supplement til andre test, der kan tages hvert år. Resultatet bruges derfor alene til at orientere sig i. Andre peger på, at der mangler en klar og tydelig kobling til Fælles Mål, hvis testen skal give mening. Endelig er det at arbejde systematisk med målstyring, herunder at lade evalueringsresultater danne grundlag for den videre planlægning af 1 Betegnelsen højere relaterer til evalueringen af nationale test i 2013, der viste en begrænset fremadrettet anvendelse af resultaterne. Se Evaluering af de nationale test, Rambøll, Se Evaluering af de nationale test, Rambøll, 2013.

5 Erfaringsopsamling 2 af 3 undervisning og pædagogisk udvikling, fortsat en praksis, der generelt har brug for at blive understøttet 3. 3 Udsendelse af nye Fælles Mål og Vejledning om læringsmålstyret undervisning i folkeskolen er andre eksempler på sådan en understøttelse.

6 Erfaringsopsamling 3 af 3 2. INDLEDNING Rambøll Management Consulting har i perioden maj-august 2014 gennemført en erfaringsopsamling på pilotafprøvning af kriteriebaserede tilbagemeldinger på de nationale test. Resultatet præsenteres i nærværende rapport. 2.1 Baggrund De nationale test er indført med pædagogisk anvendelse som det primære mål, samtidig med at der er en ambition om, at de nationale test skal anvendes som styringsredskab af både skoleledere og kommuner i deres kvalitetsarbejde på henholdsvis den enkelte skole og for det samlede skolevæsen. Aftalen om et fagligt løft af folkeskolen (2013) skaber grundlag for et generelt styrket fokus på mål og opfølgning. Opfølgning på disse mål kræver, at elevernes faglige niveau kan måles ud fra bestemte faglige kriterier. Boks 2-1: De nationale resultatmål 1. Mindst 80 pct. af eleverne skal være gode til at læse og regne i de nationale test 2. Andelen af de allerdygtigste elever i dansk og matematik skal stige år for år 3. Andelen af elever med dårlige resultater i de nationale test for læsning og matematik skal reduceres år for år. Ovenstående er baggrunden for, at de nationale test i læsning og matematik suppleres med kriteriebaserede tilbagemeldinger (jf. Aftale om et fagligt løft af folkeskolen). De nuværende normbaserede tilbagemeldinger måler elevernes relative dygtighed i forhold til andre elever, mens de kriteriebaserede tilbagemeldinger angiver, i hvilken eleven har nået et bestemt fagligt niveau Det betyder, at de normbaserede tilbagemeldinger, der viser, om elevernes præstationer ligger omkring, over eller under gennemsnittet i forhold til andre elever, fremover vil blive suppleret med vurderinger af, hvilket fagligt niveau elevens præstation svarer til. Formålet med en kriteriebasering af de nationale test er først og fremmest at kunne følge op på de nationale resultatmål. Samtidig er det en forventet afledt effekt, at den fremadrettede anvendelse af resultaterne og dialogen herom bliver styrket. Rambølls evaluering af de nationale test fra 2013 viste bl.a., at resultaterne af de nationale test primært blev brugt til at skabe overblik over elevernes faglige niveau (summativ anvendelse), og kun i meget begrænset omfang blev anvendt til at planlægge, tilrettelægge og målrette undervisningen for den enkelte elev, klasse, skole og/eller kommune (formativ anvendelse). Antagelsen er, at de kriteriebaserede tilbagemeldinger - i højere end de normbaserede tilbagemeldinger - tydeliggør elevernes faglige niveau. Denne tydeliggørelse skal skabe et bedre grundlag for og tilskynde yderligere til en fremadrettet anvendelse af resultaterne af de nationale test. Samlet set skal dette bidrage til at løfte det faglige niveau hos fagligt dygtige såvel som fagligt svage elever Om pilotafprøvningen Pilotafprøvningen af kriteriebaserede tilbagemeldinger på de nationale test blev gennemført i perioden 26. maj til 13. juni Pilotafprøvningen omfattede testene i dansk, læsning og matematik. Eleverne på de deltagende skoler gennemførte de nationale test i nævnte periode, som svarer til den sædvanlige sygeperiode, hvor udeblevne/fraværende elever har mulighed for at deltage i de nationale test. I pilotafprøvningen deltog 32 skoler og seks kommuner. Skoler og kommuner kunne melde sig frivilligt til at deltage i pilotafprøvningen. Oprindeligt havde 50 skoler og syv kommuner meldt sig til at deltage. 18 skoler faldt dog fra, da de ved en fejl havde afviklet de nationale test forud for perioden for pilotafprøvningen og derfor kunne gennemføre testene i forbindelse med pilotafprøvningen. En kommune måtte i forlængelse heraf melde fra, da der længere var skoler i kommunen, der deltog i pilotafprøvningen.

7 Erfaringsopsamling 4 af 3 De fleste deltagende skoler deltog med klasser i både dansk, læsning og matematik samt med flere klassetrin og klasser. I alt har 121 lærere og elever fra mere end 50 klasser deltaget i pilottesten. 2.2 Formål Formålet med nærværende erfaringsopsamling er at indsamle vurderinger af og viden om oplevelser med de kriteriebaserede tilbagemeldinger på de nationale test blandt lærere, skoleledere, elever, forældre og forvaltninger. Konkret skal erfaringsopsamlingen bidrage til: At få indblik i læreres, skolelederes og kommuners opfattelse og brug af de nye tilbagemeldinger At vurdere om og hvordan de kriteriebaserede tilbagemeldinger kan styrke grundlaget for en styrket fremadrettet anvendelse og den løbende dialog mellem kommuner og skoler om mål og opfølgning At have et erfaringsbaseret grundlag for justering af vejledningsmaterialet for at understøtte lærernes løbende tilbagemeldinger til den enkelte elev og forældrene. Erfaringsopsamlingen skal indgå i Kvalitets- og Tilsynsstyrelsens videre arbejde med de kriteriebaserede tilbagemeldinger på nationale test, herunder udvikling af vejledningsmateriale. 2.3 Metode og datagrundlag Jf. ovenfor har erfaringsopsamlingen til formål at indsamle vurderinger af og viden om oplevelserne med de kriteriebaserede tilbagemeldinger. For at give et så præcist og dækkende billede som muligt har Rambøll lagt vægt på, at samtlige deltagende kommuner og skoler skulle deltage i erfaringsopsamlingen samt at få belyst erfaringerne fra flere forskellige informanttyper. Derfor deltog både forvaltningsrepræsentanter, repræsentanter for skoleledelser, lærere (herunder faglige vejledere), elever og forældre i erfaringsopsamlingen. Tabellen nedenfor giver en oversigt over antallet af informanter og interviewmetode fordelt på informanttype og geografisk placering. Tabel 2-1: Oversigt over informanter Informanter Sønderjylland Forvaltningsrepræsentanter (telefoninterview) Skoleledelsesrepræsentanter (telefoninterview) Lærere (fokusgruppeinterview eller telefoninterview) Lærere (spørgeskema) Elever (fokusgruppeinterview) Forældre (telefoninterview) Nord- og Midtjylland Fyn Lolland Sjælland og hovedstadsom rådet* I alt Note: En viceskoleleder tælles med både i skoleledelse og lærerinterview, da vedkommende både er dansklærer, læsevejleder og viceskoleleder, og derfor deltog i begge interview. *: Herunder en skole på Bornholm.

8 Erfaringsopsamling 5 af 3 Af hensyn til lærernes tidsforbrug kunne deres deltagelse ske på forskellig vis. Lærerne blev som udgangspunkt tilbudt at deltage i et fokusgruppeinterview, men hvis dette kunne lade sig gøre (pga. tid, lang transport el.lign.), blev de tilbudt at deltage i et telefoninterview eller at udfylde et spørgeskema i stedet. Forud for interviewene blev der udarbejdet interviewguides målrettet den enkelte informanttype og interviewmetode (telefonisk enkeltinterview eller fokusgruppeinterview). Derudover blev der udarbejdet et spørgeskema bestående af få centrale spørgsmål. Interviewguides til forvaltninger, skoleledelser, lærere og forældre blev alle afsluttet med en række lukkede spørgsmål, hvor en del af dem går igen på tværs, mens andre er specif for den enkelte informanttype. Fordelen ved at stille de samme spørgsmål til flere informanttyper er, at man kan udvide antallet af svar på et givet spørgsmål og således får et bedre grundlag for at vurdere en af enighed, tilfredshed eller lign. Derudover giver det gode muligheder for at vurdere, hvorvidt der er interessante forskelle i vurderinger mellem de forskellige informanttyper. Besvarelserne er optalt og vist i tabeller. Et udvalg af tabellerne indgår i nærværende rapport, mens bilag 1 indeholder samtlige tabeller. Formålet med interviewene med forvaltningsrepræsentanter, repræsentanter for skoleledelsen og lærere var overordnet set at få indblik i informanternes (forventede) anvendelse og vurdering af de kriteriebaserede tilbagemeldinger samt deres forslag til justeringer af vejledningsmaterialet. Fokusgruppeinterview med lærere blev gennemført med en kombination af spørgsmål og drøftelser blandt lærerne. Omdrejningspunktet for sidstnævnte var skærmbilleder (vedlagt som bilag 2) af et fiktivt elevforløb. Med afsæt i elevforløbet skulle lærerne komme med konkrete forslag til, hvordan de ville analysere og tolke resultatet, samt hvordan de ville anvende resultatet i den fremadrettede undervisning. Interview med eleverne havde til formål at indsamle viden om deres oplevelse af den nye kriteriebaserede tilbagemelding, herunder deres dialog om testresultaterne med deres lærere, mens interview med forældrene særligt skulle belyse forældrenes oplevelse af forældrebrevet og deres dialog med lærerne om deres barns testresultater. Datakvalitet Rambøll vurderer, at datakvaliteten samlet set er god. En meget stor del af de personer, der har deltaget i pilotafprøvningen, har også deltaget i erfaringsopsamlingen. Dog har kun et mindre antal elever og forældre deltaget. Samlet set er det dog Rambølls vurdering, at datagrundlagets omfang giver grundlag for at give et dækkende og nuanceret billede af informanternes oplevelser med de kriteriebaserede tilbagemeldinger. Som det fremgår af tabel 1, har samtlige forvaltningsrepræsentanter og 28 ud af 32 repræsentanter for skoleledelsen deltaget i erfaringsopsamlingen. Derudover har ca. halvdelen af lærerne 4 deltaget i interview, ligesom Rambøll har modtaget spørgeskemaer fra ca. 70 pct. af lærerne. Der er derudover stor geografisk spredning blandt informanterne, ligesom der er spredning i forhold til fag og klassetrin. For elevernes vedkommende gik ca. halvdelen på 6. klassetrin og den anden halvdel på 8. klassetrin. For lærernes vedkommende var lidt over halvdelen af lærerne dansklærere og lidt under halvdelen matematiklærere. Der var en klar overvægt af lærere på mellemtrinnet, da der er flest test i denne afdeling, men både indskolingsog udskolingslærere var repræsenteret i både fokusgrupperne og udfyldelse af spørgeskemaerne. Der er dog nogle forhold, der skal holdes for øje ved læsning af erfaringsopsamlingen. For det første har skoler og kommuner frivilligt kunne melde sig til at deltage i pilotafprøvningen. Dette kan have betydning for deres vurdering af de kriteriebaserede tilbagemeldinger såvel som nationale test som helhed ud af 121 lærere.

9 Erfaringsopsamling 6 af 3 En antagelse kunne være, at mange af informanterne i udgangspunktet har været positivt indstillet, og at erfaringsopsamlingen omfatter kommuner og skoler, som er mere forbeholdne. For det andet er pilotafprøvningen gennemført så sent på skoleåret, at langt de fleste kommuner og skoler har nået at anvende tilbagemeldingerne i praksis. Deres vurderinger beror således i høj på deres forventninger til, hvordan de vil anvende resultaterne, altså deres forventede praksis. 2.4 Læsevejledning Notatet indeholder foruden konklusion og nærværende indledning tre analysekapitler: Kapitel 3 består af en gennemgang af informanternes opfattelse og vurdering af de kriteriebaserede tilbagemeldinger Kapitel 4 består af en gennemgang af informanternes vurdering af og forventninger til fremadrettede anvendelse af resultatet af de nationale test Kapitel 5 består af en gennemgang af informanternes input til justering af vejledningsmaterialet. Hvert kapitel indeholder delafsnit, der berører specif elementer af tilbagemeldingen eller den fremadrettede anvendelse. Hvert afsnit afsluttes med en boks, der opsummerer afsnittets konklusioner og opmærksomhedspunkter. Hvor det er relevant, er tillige indsat en boks, der sammenfatter brugernes ønsker til afsnittets tema. Enkelte brugerønsker nævnes i to bokse, da de relaterer sig til flere temaer. Notatet omfatter desuden en oversigt over resultater af spørgeskemaundersøgelser (bilag 1), samt skærmbilleder af tilbagemeldingen til de forskellige informanter (bilag 2).

10 Erfaringsopsamling 7 af 3 3. OPFATTELSE OG VURDERING AF DE KRITERIEBASEREDE TILBAGEMELDINGER I dette kapitel belyses læreres, samt repræsentanter for skoleledelser og forvaltningers opfattelse og vurdering af de kriteriebaserede tilbagemeldinger. Kapitlet indeholder en vurdering af skærmbilledernes brugervenlighed og overskuelighed, herunder specif elementer som benævnelsen af de specif niveauer og statistisk usrhed. Informanternes vurdering af udkast til forældrebrev med kriteriebaseret tilbagemelding behandles afslutningsvis. 3.1 Anvendelse af resultatvisningen Det er karakteristisk for både lærere, skoleledelsen og forvaltningsrepræsentanter, at der tegner sig et ensartet billede af, hvilke skærmbilleder disse grupper foretrækker at anvende og orientere sig i. Det er meget person- og funktionsafhængigt, Det vil sige, at deres brug afspejler deres faglige interesser, deres opfattelse af testenes vigtighed m.v. Som det fremgår nedenfor, er der fx stor forskel på, hvilket skærmbillede en kommunal læsekonsulent foretrækker sammenholdt med en pædagogisk konsulent, hvis arbejdsopgaver er af mere generel karakter 5. Samlet set giver lærerne udtryk for, at de anvender alle tre visninger. Tabel over klassens resultat (skærmbillede 2) fremhæves som særlig anvendelig i forhold til hurtigt at danne sig et overblik over og identificere, hvilke elever der kræver særlig opmærksomhed. Tabel over den enkelte elevs resultat og testforløb (skærmbillede 3) bruges typisk, hvis der er elever, der har overrasket positivt såvel som negativt. Figur 3-1: Skærmbillede 2 5 Se bilag 2 for alle tilgængelige skærmbilleder, der har været anvendt i pilotafprøvningen.

11 Erfaringsopsamling 8 af 3 Figur 3-2: Skærmbillede 3 Skoleledelsens brug af resultatvisninger afhænger mindst af deres funktion i ledelsesteamet. Rambøll har både interviewet skoleledere, viceskoleledere samt pædagogiske ledere, og det er forskelligt, hvilke skærmbilleder de først og fremmest orienterer sig i. Skoleledere orienterer sig typisk i skolens samlede resultat sammenholdt med landsgennemsnittet, hvorimod pædagogiske ledere/afdelingsledere oftere gør brug af resultatvisning af de enkelte klassers resultat sammenholdt med landsgennemsnit i søjlediagram eller tabeller over den enkelte klasses/elevs resultat, da de typisk har mere dialog med skolens lærere om resultatet. Enkelte repræsentanter fra skoleledelsen giver også udtryk for, at deres valg af resultatvisning er styret af, hvad den kommunale forvaltning har interesse i, herunder hvilke resultater der skal indgå i kvalitetsrapporten. Interviewene med forvaltningsrepræsentanterne viser, at valg af skærmbilleder også her er afhængigt af den enkeltes funktion. En læsekonsulent giver udtryk for, at hun alene anvender resultater for skolerne og kommunen fordelt på profilområder (skærmbillede 4), da et samlet gennemsnitligt resultat på kommuneniveau i hendes øjne giver noget billede af, hvor der er behov for at sætte ind med supervision, vejledning m.v. I modsætning hertil står de pædagogiske/administrative konsulenter, der fremhæver tabel over kommunens samlede testresultat fordelt på klassetrin samt skolernes resultat sammenholdt med kommune- og landsresultater (skærmbillede 1 og 2). Disse visninger vurderes meget anvendelige i kommunikationen med det politiske niveau, da de er lette at orientere sig i, og det mindst er disse resultater, politikerne ønsker viden om.

12 Erfaringsopsamling 9 af 3 Figur 3-3: Skærmbillede 1 Figur 3-4: Skærmbillede 2

13 Erfaringsopsamling 10 af 3 Figur 3-5: Skærmbillede 4 Faglig progression I dialogen om resultatvisninger blev der også spurgt ind til ønsket om/behovet for at kunne se den faglige progression. Lærerne er generelt positivt stemt og kan se en værdi i at kunne følge elevernes/klassernes faglige udvikling. Størstedelen giver dog udtryk for, at der går for lang tid mellem de nationale test i samme fag, hvorfor det giver mening at se på progressionen. I forlængelse heraf foreslår flere lærere, at de frivillige test som minimum inddrages i oversigten over elevernes faglige progression med henblik på at få et mere fyldestgørende billede af deres udvikling. Fra skoleledelsens side udtrykkes der ønske om en visning med oversigt over skolens klassetrin og elevernes udvikling fra test til test. Boks 3-1: Konklusioner og opmærksomhedspunkter Der er tale om en klar tendens, alle resultatvisninger anvendes i større eller mindre Lærerene anvender som udgangspunkt alle skærmbilleder. Lærerne anvender typisk visning af den enkelte elevs resultat og testforløb, når der er elever, hvis faglige resultat overrasker Forvaltningens og skoleledelsens valg af resultatvisning hænger sammen med den enkeltes rolle og funktion, herunder faglige interesse og holdning til testens anvendelighed Valg af resultatvisning er afhængig af formål. Resultatvisninger med fokus på samlede resultat for skoler/klassetrin egner sig i høj til orientering af politikere eller skolebestyrelser, hvor resultater på klasseniveau opfattes som en understøttelse af dialog om fremadrettede opfølgning På nogle skoler er skoleledelsen valg af resultatvisning påvirket af kommunens fokusområder. Visning af faglig progression giver som udgangspunkt mest mening, hvis der er tale om en test, der tages hvert år.

14 Erfaringsopsamling 11 af 3 Boks 3-2: Brugerønsker Nedenstående liste er udtryk for en prioriteret rækkefølge. De enkelte punkter kan udtrykke en eller flere informanters holdninger: Lærere: En visning, der sammenholder niveauerne med 100-skalaen fra den normbaserede test. Skoleledelse: En visning af historn fra år til år på klassetrin inden for hvert fag, så det er muligt at følge skolens udvikling En visning, der sammenligner de forskellige klasser på den samme skole En visning af hver enkelt elevs udvikling fra test til test (den enkelte elevs progression) En visning, hvor skolen sammenlignes med andre skoler i samme kommune fremfor sammenligning med landsgennemsnittet Mulighed for at kunne trække specialklasser og/eller specialskoler ud af skolens/kommunens samlede resultat. Forvaltning: En visning, der automatisk summerer de tal, der ligger inden for de grønne niveauer, så man skal aflæse og lægge sammen for at se, om man er over eller under de 80 pct. 3.2 Den grafiske fremstilling På tværs af lærere, skoleledelse og forvaltningsrepræsentanter er der overordnet set enighed om, at den grafiske fremstilling af resultaterne er særdeles intuitiv, overskuelig og anvendelig. Dette fremgår også af lærernes besvarelse af spørgeskemaundersøgelsen. Her har 64 pct. af lærerne tilkendegivet, at de i høj eller meget høj vurderer, at de nye resultatvisninger er brugervenlige og overskuelige (jf. Bilag 1, tabel 1, s. 3). Flertallet af både lærere og repræsentanter for skoleledelse og forvaltning fremhæver brugen af farver i visningerne positivt, hvilket især begrundes med, at farverne bidrager til at skabe et hurtigt overblik. I interviewene bliver informanterne bedt om at forholde sig specifikt til valget af farver i resultatvisningen. Flertallet forholder sig positivt til farvevalget, hvilket især tilskrives, at mange elever havner i en af de tre grønne kategorier, der betragtes som den gode gruppe. En del af informanterne peger dog på, at det kan være svært at skelne mellem de tre grønne farver, hvorfor de grønne nuancer godt måtte være mere forskellige. I forlængelse heraf tilkendegiver mange, at fraværet af farven rød er positivt, idet den røde farve typisk forbindes med dårlige resultater og således giver negative associationer blandt eleverne. Særligt lærerne nævner, at fraværet af den røde farve gør dialogen med eleverne mere positiv, idet omdrejningspunktet for samtalen nemmere bliver det fremadrettede perspektiv, samt at der er potentiale frem for, at (der er områder, hvor) eleven klarer sig dårligt. Her fungerer den gule farve fint som udtryk for, hvor der er områder, der kræver særligt fokus. Ganske få informanter savner den røde farve. De henviser til gængs tænkning om rød, gul og grøn, hvor mindst rød signalerer "fare" og i denne kontekst et alvorligt problem, der kræver opmærksomhed. På tværs af lærere, skoleledelse og forvaltningsrepræsentanter er der tillige enighed om, at der overordnet set er de relevante visningsmuligheder. Mange nævner i den forbindelse, at der er rigeligt med informationer i de eksisterende visninger, hvorfor flere visningsmuligheder er nødvendigt og/eller vil bliver brugt.

15 Erfaringsopsamling 12 af 3 Enkelte informanter fremhæver dog funktioner, som vil være fordelagtige i resultatvisningen. Dette gælder fx visning af tidsforbrug, rigtighedsprocent, mulighed for at sortere på alle parametre, flere valgmuligheder i visningerne og mulighed for at kunne trække specialklasser og/eller specialskoler ud af skolens/kommunens samlede resultat. Enkelte lærere fortæller, at man med fordel kunne fjerne visningen af antal besvarede opgaver under selve testforløbet, da dette i mange tilfælde fører til, at der for eleverne går konkurrence i, hvem der kan nå igennem flest opgaver, hvilket i sidste ende skaber et upræcist billede af elevernes formåen. Adspurgt om behov for mouse-over-funktion, der beskriver profilområderne, tilkendegiver flertallet af informanterne, at det er noget, de har savnet, men at det omvendt kunne være en fin funktion. En del informanter fortæller, at det vil være en fordel at skulle kl rundt for at se profilområderne. Der er dog også enkelte informanter, der vurderer, at mouse-overfunktionen er overflødig, da de er tilstrækkeligt bekendte med beskrivelserne af profilområder, ligesom ganske få tilkendegiver, at det kunne være et irritationselement. Sidstnævnte forklares med, at der er en risiko for, at det bliver rodet, hvis der hele tiden popper tekstbokse op, og/eller at de vurderer, at mouse-over-funktionen vil signalere, at man forventer, at lærerne kender profilområderne. Boks 3-3: Konklusioner og opmærksomhedspunkter Lærere, skoleledelse og forvaltningsrepræsentanter finder samlet set den grafiske fremstilling intuitiv, overskuelig og anvendelig Farverne i resultatvisningerne bidrager til at skabe et hurtigt overblik, om end der med fordel kunne være større forskel på de tre grønne nuancer Enkelte informanter ønsker rød som en del af resultatvisningen De eksisterende visningsmuligheder er relevante, og kun et fåtal savner yderligere/supplerende funktioner (uddybes i boks 3-4 nedenfor). Boks 3-4: Brugerønsker Lærere, skoleledelse og forvaltningsrepræsentanters positive vurdering af den grafiske fremstilling giver alene anledning til at overveje at supplere med følgende funktioner: Lærere: Mulighed for: At sortere efter opgavernes sværhedser At underinddele profilområder i opgaveemner At se visning for tid/hastighed i læsetesten for hvert item Visning af rigtighedsprocent Visning af rigtighedsprocent sammenholdt med opgavernes sværheds At sortere på samtlige parametre 6 At vælge mellem flere typer visninger, fx lagkagediagrammer frem for søjlediagrammer At se en tidsangivelse for den samlede test Tydeligere tekst på skærmen: Eksempelvis ved at ændre tekstfarven til hvid. Forvaltning: Markering af den socioøkonomiske reference på samme måde, som det gøres med karaktergennemsnittet: En stjerne og plus/minus for de resultater, der er hhv. signifikant over eller under den socioøkonomiske reference Tydeligere markering af resultatmål. 6 Rambøll er opmærksom på, at dette så vidt vides allerede er muligt. Man kan overveje, om funktionen skal tydeliggøres yderligere i visningen.

16 Erfaringsopsamling 13 af Benævnelse af de seks niveauer Der er på tværs af forvaltninger, skoleledelser, lærere, forældre og elever generelt tilfredshed med, de benævnelsen af de seks niveauer. Størstedelen af informanterne er meget positive overfor, at det i højere er ord, der anvendes til at forklare elevernes resultat, frem for tal og gennemsnit som ved den normbaserede tilbagemelding. Repræsentanter fra skoleledelsen og lærerne giver udtryk for, at betegnelserne for de nye niveauer generelt er forståelige og dækkende for de faglige standarder. De påpeger, at det er positivt, at skalaen består af seks niveauer (fremfor færre), da det giver et mere nuanceret billede af elevens præstation. De fremhæver desuden, at det er godt, at benævnelserne af niveauerne er formuleret positivt. Dermed får eleverne at vide, hvad de kan, frem for hvad de kan. Flere lærere og skoleledelser fremhæver desuden, at der er en tydelig sammenhæng mellem de seks niveauer og 7-trinsskalaen, hvilket gør det let at oversætte tilbagemeldingen til karakterer. Eksempelvis oversættes "mangelfuld" til 02, "jævn" til 04, "god" til 7 og så fremdeles. Forvaltningerne tilkendegiver også, at betegnelserne er forståelige og anvendelige og finder ligeledes sammenhængen mellem niveauerne og 7-trinsskalaen positiv. Selvom både lærere, skoleledelsesrepræsentanter og forvaltninger giver udtryk for, at de forstår niveauerne og mener, at de er anvendelige, viser interviewene, at informanterne har varierende opfattelser af, hvad de forskellige benævnelser af niveauerne dækker over. Det gælder særligt betegnelserne "jævn" og "mangelfuld". Nogle tolker "jævn" som et udtryk for en middelpræsentation, der hælder til den positive side. Fortolkningen er her, at eleven klarer sig godt. Andre tolker i højere "jævn" som en middelpræsentation, der hælder til den negative side, hvor fokus er på, at eleven skal forbedre sig. Tilsvarende divergerende opfattelser finder man, ifølge lærerne, hos forældrene. Nogle familier opfatter "jævn" som et helt tilfredsstillende resultat, der umiddelbart kræver en større indsats fra barnets sider. Andre familier opfatter det som et resultat, der kræver handling. Der er altså hos både lærere og forældre generelt forvirring om, hvorvidt niveauet "jævn" skal forstås som middel, over middel eller under middel. Nogle påpeger, at betegnelsen "jævn" er misvisende, fordi "jævn" har en mere negativ ordlyd end, hvad beskrivelsen af niveauet lægger op til. Som en mere anerkendende betegnelse end "jævn" foreslår nogle lærere betegnelsen "middel" eller "tilstrækkelig". Betegnelsen "mangelfuld" opfattes ligeledes forskelligt på tværs af interviewene. Nogle er meget positive over for betegnelsen "mangelfuld", fordi det signalerer, at der er plads til forbedring, og der derved kommer fokus på elevens udviklingspotentiale. Andre påpeger, at "mangelfuld" er for positivt ladet og derfor kan indikere, at eleven klarer sig fagligt bedre end eleven rent faktisk gør. I forlængelse heraf stilles der forslag om, at det fremgår mere tydeligt af definitionen, at elever, der har en mangelfuld præstation, har brug for massiv støtte for at udvikle sig fagligt. Enkelte elever peger ligeledes på, at "mangelfuld" viser, hvor dårlig en præstation det i virkeligheden er. Enkelte lærere peger endvidere på, at benævnelsen " tilstrækkelig" er uhensigtsmæssig, da den er svær at præsentere for elever, der i forvejen har faglige udfordringer. Derudover gives der i flere interview udtryk for, at skellet mellem "mangelfuld" og " tilstrækkelig" er uklart, ligesom det opleves som uklart, hvad der ligger bag placeringen på de forskellige niveauer.

17 Erfaringsopsamling 14 af 3 Eksempelvis nævnes det flere gange, at det er svært at gennemskue, hvilke resultater der skal til, for at en elev opnår en "fremragende præstation". Det er især, når lærerne sammenligner elevens præstation i den normbaserede tilbagemelding med den kriteriebaserede tilbagemelding, at det er uklart, hvordan de enkelte opgaver i testen vægtes. Flere har oplevet, at elever der fx er på højeste niveau i en normbaseret tilbagemelding nødvendigvis placeres på højeste niveau i den kriteriebaserede tilbagemelding. Nogle lærere efterspørger samtidig en forklaring på, hvordan den samlede vurdering tildeles. Lærerne undrer sig eksempelvis over, at elever, der er "rigtig god" til to af profilområderne og "fremragende" til det tredje profilområde, får en samlet vurdering som "fremragende" frem for "rigtig god". Den store variation i forståelsen af niveauerne viser, at der er et behov for en uddybende og mere tydelig præcisering af de enkelte niveauers definitioner og relation til elevens testresultat. Et eksempel på en oversigt, der vil gøre det mere gennemsigtigt og overskueligt for lærerne kunne se ud som nedenfor. Figur 3-6: Eksempel på en oversigt over sammenhængen mellem testresultat og kriterierne Niveauerne Point i test Fremragende Rigtig god God Jævn Mangelfuld Ikke tilstrækkelig 1-10 Forældrene giver generelt udtryk for, at betegnelserne er brugbare og lette at forstå. Enkelte har dog et ønske om, at niveauerne beskrives og konkretiseret yderligere. Dertil fremhæver forældre, såvel som lærere, at tilbagemeldingen skal understøttes af en uddybende samtale mellem lærere, elever og forældre, da resultatet kan stå alene (se afsnit 3.6 om forældrebrev). Eleverne oplever det, ligesom lærerne, som en styrke, at niveauerne er formuleret positivt, samt at de er personlige frem for relative. Flere elever fremhæver også, at de prøver at oversætte deres placering på niveauerne til karakterer på 7-trinsskalaen for at finde ud af, hvordan de har klaret sig. Boks 3-5: Konklusioner og opmærksomhedspunkter Størstedelen af informanterne er positivt stemte over for de anvendte benævnelser i de kriteriebaserede tilbagemeldinger Der er overensstemmelse mellem, hvordan informanterne forstår hhv. "jævn", "mangelfuld" og " tilstrækkelig" Lærerne oplever det som ugennemsigtigt, hvordan den gennemsnitlige vurdering udregnes på tværs af de tre profilområder, samt hvordan relationen mellem testresultatet og placering på niveauerne er Både skoleledelsesrepræsentanter, lærere og elever sammenligner placeringen på et af de seks niveauer med den normbaserede skala og 7-trinsskalaen. Boks 3-6: Brugerønsker Der er behov for en præcisering og mere tydelig beskrivelse af, hvad de enkelte niveauer, som fx "Jævn" og "mangelfuld" dækker over Der er behov for en kobling til 100-pointskalaen i den normbaserede tilbagemelding Enkelte forældre giver udtryk for, at de forskellige niveauer bør konkretiseres yderligere.

18 Erfaringsopsamling 15 af De national resultatmål Både skoleledelser, lærere og forvaltninger er bekendte med de nationale resultatmål (se boks 2.1), men opfattelsen og den forventede anvendelse heraf varierer betydeligt på tværs af informanterne. Forvaltningsrepræsentanter forholder sig i høj til de nationale resultatmål. Flertallet fremhæver, at det er positivt, at der er kommet tydelige mål for, hvad de skal leve op til. Forvaltningsrepræsentanterne fortæller, at de forventer at anvende resultatmålene til monitorering af kommunens skoler. På den måde kan resultatmålene være et redskab til at identificere skoler, hvor der er behov for en særlig indsats. Enkelte forvaltningsrepræsentanter efterlyser dog en markering af andelen af de allerdygtigste elever i dansk og matematik, samt andelen af elever med dårlige resultater i de nationale test for læsning og matematik. De efterlyser altså en markering af, hvilke niveauer på skalaen, der afspejler henholdsvis "de allerdygtigste elever" og "elever med dårlige resultater", så det er muligt at monitorere resultatmål 2 og 3 (jf. boks 2.1). Samlet set peger erfaringsopsamlingen på, at repræsentanter fra skoleledelserne forventer at forholde sig til de nationale resultatmål i mindre end forvaltningsrepræsentanterne. Dog er der på tværs af skolerne betydelig variation. Nogle tilkendegiver, at de vil arbejde aktivt for at opfylde de nationale resultatmål på deres skole. Andre ledelsesrepræsentanter opfatter de resultatmålene som målsætninger, der skal opfyldes på landsplan, og som derfor skal være styrende for den enkelte skole. Skoleledelsernes opfattelse og forventede anvendelse af de nationale resultatmål afhænger desuden af, hvilken værdi den kommunale forvaltning tillægger dem. En del fortæller, at de vil have fokus på tallene, fordi de skal stå på mål for dem over for forvaltningen, mens de typisk vil spille en mindre rolle på skoler i kommuner, hvor forvaltningerne tillægger dem mindre værdi. Det er derfor meget forskelligt fra skole til skole, hvor stor vægt man lægger på en visning/ tydeliggørelse af resultatmålene i selve testsystemet. Lærerne er den informantgruppe, der har mindst fokus på de nationale resultatmål. Flere giver udtryk for, at de opfatter tallene som et (styrings)redskab for skoleledelse og forvaltning, og som et redskab, der har betydning for deres undervisning. Derfor har flertallet et særskilt behov for en tydelig markering i resultatvisningen. Også hos lærerne afhænger holdningen til resultatmålene i nogen af ledelsens fokus og skolernes faglige resultater. Har skoleledelsen fokus på dem, har lærerne det typisk også. Lærere på skoler med stærke faglige resultater, tilkendegiver at de i højere vil være tilbøjelige til at anvende de nationale resultatmål i deres fremadrettede arbejde end lærere på skoler med mindre gode resultater. Sidstnævnte gruppe vurderer, at resultatmålene er mindre brugbare i deres arbejde, idet tallene tager højde for de specif udfordringer (fx mange fagligt svage elever, mange elever med diagnoser m.v.), der gør sig gældende i deres klasse/på skolen. Enkelte lærere giver udtryk for, at de nationale resultatmål slet giver mening, da det altid er et mål, at få alle elever til at præstere deres bedste, uanset om der er et nationalt mål eller ej. En udtrykker det således: "Man kan lade være med at kigge efter de 80 pct. Men målet har på den anden side altid været, at eleverne skal være så dygtige som muligt. Som lærere har vi jo altid fået eleverne til at præstere så godt, som vi kunne." Boks 3-7: Konklusioner og opmærksomhedspunkter (lærer)

19 Erfaringsopsamling 16 af 3 De nationale resultatmål er i højere et styringsværktøj end et redskab, der fremmer den fremadrettede anvendelse af de nationale test Forvaltningerne forholder sig i høj til de nationale resultatmål og forventer at anvendes dem i deres arbejde Der er variation i skoleledelsernes forventede anvendelse af de nationale resultatmål, og deres fokus herpå afhænger i høj af forvaltningen fokus på resultatmålene Lærerne forholder sig kun i begrænset omfang til de nationale resultatmål og kun en mindre del forventer at anvende dem aktivt i deres (planlægning af) undervisning(en). Boks 3-8: Brugerønsker En visning, der helt præcist viser, hvordan kommunen ligger i forhold til de nationale resultatmål, og som også viser resultatmål 2 og 3, der indikerer, hvor langt kommunen er fra målet. 3.5 Statistisk usrhed Generelt er forståelsen af markeringen af statistisk usrhed præget af stor misforståelse blandt både skoleledelse og lærerne, om end begge informantgrupper udtrykker stor glæde ved at have markeringen. Generelt betragter repræsentanter fra skoleledelserne markeringen af den statistiske usrhed som positiv, men det bunder, som nævnt ovenfor, i en forkert tolkning af begrebet. Skolelederne giver udtryk for, at det er positivt, at man kan se, om eleverne fagligt bevæger sig op eller ned, det vil sige, er på vej over i en ny kategori. De fleste læreres fortolkning bygger ligeledes på en misforståelse. De fortolker, ligesom skolelederne, markeringen (stregen) som pil op og pil ned og har svært ved at forstå, hvad statistisk usrhed dækker over. En lærer forklarer det på følgende måde: "Jeg har forstået, at de ligger i en kategori, fx fremragende, men det er med pil op eller ned". I eksemplet nedenfor vil flere lærere altså tolke elevens præstation i Tal og algebra til at være en rigtig god præstation med pil op, og at eleven er på vej til at blive bedre. Figur 3-7: Eksempel på en visning af statistisk usrhed Andre har helt misforstået, hvad statistisk usrhed er, som følgende kommentar illustrerer: "Da jeg så stregen, tænkte jeg, at det betyder, at eleven har bevæget sig, altså at eleven har været på vej over i en anden kategori. Man har prøvet at bevæge ham over i jævn, men han har klaret sig og ender derfor, hvor prn er placeret." (lærer) Tilbagemeldingen fra interviewede elever afspejler samme misforståelse. Dette skyldes typisk, at de har fået den statistiske usrhed forklaret af deres lærer. Lærerne udtrykker desuden usrhed om, hvordan de skal videreformidle den statistiske usrhed over for forældre og elever. Det gælder dog de lærere, der har tolket markeringen som pil op og pil ned. De mener, at en sådan markering er meget brugbar i dialogen om testresultatet, og det motiverer eleverne til at se, hvor tæt de er på kategori over eller under. Deres positive vurdering er dog, som nævnt, forankret i en misforståelse af, hvad der egentlig vises.

20 Erfaringsopsamling 17 af 3 Når informanterne senere får forklaret, hvad den statistiske usrhed rent faktisk viser, giver flere udtryk for, at de hellere vil være fri for markeringen, da den forvirrer dem. Det er Rambølls vurdering, at langt de fleste lærere udmærket er klar over, at der er usrhed forbundet med en test, det er nyt. En del ønsker en visning af den statiske usrhed erstattet af en visning af pil op, pil ned. En lærer forklarer det på følgende måde: "Det ville være godt med en visning på, hvor eleven er på vej hen, så man kan bruge det som motivation". Alternativt at der fortsat suppleres med 100 skalaen fra den normbaserede tilbagemelding 7. Afslutningsvis understreger en stor del af lærerne, at hvis man fastholder en visning af den statistiske usrhed, så er det helt centralt, at det klart kommunikeres, hvad den viser, og hvordan det skal bruges i dialog med elever og evt. forældre. Boks 3-9: Konklusioner og opmærksomhedspunkter Forståelsen af markeringen af statistisk usrhed præget af stor misforståelse blandt skoleledelser, lærere og elever Lærerne tillægger det stor værdi at kunne se, om elevens præstation ligger tæt på et af de tilstødende niveauer. Dette skyldes især, at de anvender den i dialogen med eleverne om deres præstation. Erfaringsopsamlingen peger på, at der er behov for ændring/præcisering af markeringen af den statistiske usrhed. Dette kan ske ved at: Fjerne markeringen Forklare den eksisterende markering bedre Ændre markeringen, således at den afspejler, hvilket niveau elevens præstation ligger tæt op ad. 3.6 Forældrebrev Generelt set mener lærere, forældre og elever, at forældrebrevet (orientering af forældrene om resultatet af deres barns test) er forbedret i den nye form. Forældrene giver udtryk for, at det er blevet nemmere at forstå, hvor deres barn har faglige styrker og svagheder, samt at det er blevet mere personligt. De sætter pris på, at deres barn vurderes ud fra nogle faglige kriterier frem for i forhold til et landsgennemsnit. Ifølge forældrene er der dog plads til forbedring. Flere efterspørger, at tilbagemeldingen til dem gøres mere konkret, sådan at de kan understøtte deres barns læring fremadrettet. De påpeger, at det fremgår tydeligt nok, hvad de skal arbejde med, eller hvordan de som forældre kan hjælpe deres barn. Enkelte giver udtryk for, at der er brug for konkrete ideer til, hvilke opgaver eleven skal arbejde med 8, og det pointeres, at brevet kan stå alene. Der er fortsat behov for en opfølgende dialog med barnets lærer for at få det fulde udbytte. Dette understreges i følgende citat: "Brevet fortæller mig noget om, hvad jeg konkret kan gøre for at styrke mit barn inden for nogle faglige profilområder. Altså - jeg kan jo godt give mit barn nogle flere plusstykker derhjemme, men det er jo srt, at det lige er det, der skal til." (Forældreinterview). Endelig peger nogle forældre på, at det fortsat kan være en udfordring at forstå, hvad profilområderne dækker over (fx Tal og algebra). Lærerne giver udtryk for, at forklaringerne i brevet stadig indeholder en del fagsprog, som de skal oversætte, for at det kan forstås af forældre. Ligesom forældrene efterspørger lærerne, at tilbagemeldingen indeholder forslag til, hvordan forældrene fremadrettet kan støtte deres barns faglige udvikling. 7 Flere lærere fortæller, at de fortæller deres elever, hvor på 100 skalaen de er placeret på baggrund af deres testresultat. 8 De henviser her til fx MAT-prøver, der automatisk genererer konkrete opgaver, som barnet kan arbejde med.

21 Erfaringsopsamling 18 af 3 Lærerne efterspørger samtidig en højere af digitalisering. Tilbagemeldingen til forældrene bør kunne hentes ned som en pdf-fil, der kan sendes elektronisk eller uploades via intranettet. Derudover påpeger en del, at det vil være en fordel, hvis det var muligt at overføre resultaterne fra de nationale test direkte til elevplanerne. De mener, det vil fremme den fremadrettede anvendelse af resultaterne. Enkelte forældre nævner ligeledes, at de gerne vil have tilbagemeldingen elektronisk, da deres børn ellers læser brevet forinden. Denne udmelding understøttes af eleverne, der fortæller, at de fleste elever (i 6. eller 8. klasse) læser brevet til forældrene og snakker med deres kammerater om det. I nogle tilfælde bruges forældrebrevet som udgangspunkt for elevsamtalen med læreren. Enkelte elever giver udtryk for, at tilbagemeldingen er vigtig for deres forældre, men de fleste elever taler hovedsagligt med forældrene om resultaterne, hvis de har klaret sig mindre godt på nogle områder. Det er oplevelsen, at forældrebrevet er centralt og anvendes sporadisk. Disse tilbagemeldinger er af mere generel karakter, og det er begrænset, hvor meget de kriteriebaserede tilbagemeldinger har indflydelse på dette. En forvaltningsrepræsentant nævner, at der er en særlig udfordring med forældrebrevet, der har været i fokus fra centralt hold. Den vedrører de forældre, der kan læse eller er udfordret af det danske sprog. I disse tilfælde er det ofte eleven selv, der er nødt til at oversætte brevet for deres forældre eller læse det højt for dem. Det efterspørges derfor, at forældrebrevet oversættes til andre sprog, samt at det kan blive læst op elektronisk. Boks 3-10: Konklusioner og opmærksomhedspunkter Generelt set mener lærere, forældre og elever, at forældrebrevet er forbedret i sin nye form Lærerne oplever fortsat, at det kan være en udfordring for forældre at forstå de faglige begreber, herunder hvad profilområderne rummer Nogle forældre efterlyser, at brevet bliver mere konkret, så det fremgår, hvilke type opgaver deres barn skal arbejde med fremover Flere elever giver udtryk for, at tilbagemeldingen i forældrebrevet oftest får opmærksomhed fra forældrenes side i de tilfælde, hvor der er tale om tilfredsstillende resultater. Boks 3-11: Brugerønsker Lærerne efterlyser en højere af digitalisering af tilbagemeldingen til forældrene i fx pdf-format (med henblik på en kobling til intranettet og elevplaner) Forvaltningen efterlyser digitalisering af tilbagemeldingen til forældrene med henblik på oversættelse til andre sprog eller elektronisk oplæsning Forældrene efterlyser forslag til konkrete opgaver, de kan lave med deres børn, med henblik på fremadrettet at styrke børnenes faglighed.

22 Erfaringsopsamling 19 af 3 4. FREMADRETTET ANVENDELSE Dette afsnit redegør for læreres, elevers, skoleledelses og forvaltnings vurdering af, hvorvidt de nye kriteriebaserede tilbagemeldinger i højere understøtter en fremadrettet anvendelse af resultaterne, herunder hvorvidt de indgår i planlægning af undervisningen for den enkelte elev og hvorvidt de styrker dialogen mellem henholdsvis lærer/leder og leder/kommune med henblik på udvikling af pædagogisk praksis. Der skal i denne sammenhæng endnu engang tages forbehold for, at der alene har været tale om en pilottest i en kort og afgrænset periode. Tilbagemeldingerne fra lærere, skoleledere og forvaltninger er derfor først og fremmest udtryk for en forventet praksis. 4.1 Analyse af resultaterne Sammenholdt med evalueringen af de nationale test i 2013 er der sket de store ændringer, når lærerne skal redegøre for, hvordan de gennemgår og analyserer testresultaterne. De kriteriebaserede tilbagemeldinger har altså umiddelbart ændret denne praksis. Der tegner sig derfor fortsat et varieret billede. Mange gennemgår og analyserer resultaterne alene, andre udveksler erfaringer og resultater med kollegaer. Enkelte fortæller, at de får feedback/sparring fra skolens læse- eller matematikvejleder. Flere giver dog udtryk for, at skolerne fremadrettet vil have mere fokus på at inddrage de faglige vejledere i en sparringsrolle. De fleste lærere giver udtryk for, at de først og fremmest analyserer og måler testresultaterne op mod den enkelte elevs egne resultater i form af supplerende/tidligere test eller andre evalueringer (se afsnit 3.1 om visning af progression) evt. suppleret med klassens eller årgangens resultater. Skolens eller landsresultater har umiddelbart interesse for den enkelte lærer i relation til planlægning af undervisningen. For skoleledelsen og forvaltninger er der heller tale om ændret praksis. Resultatet analyseres enten alene eller i samarbejde med skolens læse- eller matematikvejleder. På forvaltningsniveau inddrages kommunes læse- eller matematikkonsulent typisk, når resultaterne skal fortolkes og formidles, mindst til det politiske niveau. 4.2 Fremadrettet anvendelse lærerne, elever og forældre Hovedparten af de deltagende lærer i fokusgruppeinterviewene giver udtryk for, at der med indførelsen af de kriteriebaserede tilbagemeldinger er tale om en forbedring i relation til anvendelse af testresultaterne. Som det fremgår af tabel 4.1 nedenfor, vurderer ca. halvdelen af de adspurgte lærere i spørgeskemaundersøgelsen ligeledes, at de kriteriebaserede tilbagemeldinger i meget høj, eller høj understøtter den fremadrettede anvendelse 9. Enkelte lærere fortæller i interviewene, at de allerede har brugt resultaterne til at sammensætte grupper, der arbejder med forskellige faglige områder 9 Der er her tale om en vurdering af, hvorvidt resultaterne fremover forventes at indgå som en del af grundlaget for planlægning af undervisningen.

23 Erfaringsopsamling 20 af 3 Tabel 4-1: Oversigt over lærernes vurdering af den fremadrettede anvendelse af de nye kriteriebaserede tilbagemeldinger (pct.) I hvilken vurderer du, at de nye kriteriebaserede tilbagemeldinger styrker din fremadrettede anvendelse af de nationale test? Det vil sige, at de indgår som en del af grundlaget for den videre planlægning af undervisningen. I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder for at vurdere elevens faglige niveau, sammenholdt med de nuværende normbaserede tilbagemeldinger? I meget høj I høj I nogen I mindre Slet Ved N=85 lærere. En lærer beskriver fordelene ved de nye tilbagemeldinger på følgende måde: "De gamle [tilbagemeldinger] var udtryk for en dom - fx under gennemsnittet. Det her virker mere professionelt og afspejler, at der er tale om læring. Resultaterne holdes op imod, hvad der forventes at man kan." Netop dette, at testen nu afspejler det reelle faglige niveau hos den enkelte elev ud fra nogle på forhånd fastlagte kriterier, fremhæves som en afgørende styrke af mange af interviewdeltagerne. De fastslår, at det først nu giver mening at inddrage resultaterne i det videre arbejde. Én formulerer det som "det første store skridt". Mange peger i forlængelse heraf på, at de kriteriebaserede tilbagemeldinger bør indføres i alle de nationale test. Samtidig gives der udtryk for, at tilbagemeldingerne opleves som mere overskuelige og pædagogisk anvendelige. Et eksempel på øget anvendelighed er bl.a., at dialogen med eleverne styrkes, som det fremgår af nedenstående citat: "Mine elever er meget mere lydhør over for de tilbagemeldinger, som man kan give på baggrund af de kriteriebaserede tilbagemeldinger... Det er blevet mere tydeligt og vedkommende for dem, fordi de er sat over for et gennemsnit. Det er deres egen præstation i sig selv, der bliver vurderet." (lærer) En anden lærer har haft lignende erfaring: "Det var en stor hjælp i snakken med eleverne hvorfor ligger du der, hvor du ligger fagligt, og hvad skal vi arbejde videre med? Det var nemt at gå ind og se de opgaver, hvor det var gået godt osv." (lærer) Denne opfattelse deles af eleverne selv, der i fokusgruppeinterviewene giver udtryk for, at det er langt mere motiverende med de nye tilbagemeldinger: "Det er nemmere at tage seriøst og det virker mere ægte Hvis jeg før fik at vide, jeg var dårlig, så kunne det være på grund af, at landsgennemsnittet svinger. Nu vil jeg nok tage det mere seriøst." (elev 8. klasse). Andre elever peger på, at det, som tidligere nævnt, er lettere at "oversætte" de seks niveauer til karakterskalaen, og det opleves som særligt motiverende. Flere peger dog også på, at de savner en dialog med deres lærer med henblik på drøftelse af resultatet og opstilling af nye læringsmål 10. En elev formulerer det på følgende måde: "Jeg tror, det [opstilling af læringsmål] bliver lettere end før for lærerne med den nye slags tilbagemelding. Men jeg tror, at de skal have det at vide, før de gør det." (elev i 8. klasse) Som det fremgår af tabel 4.2, er der ligeledes 37 pct. af lærerne, der vurderer, at de nye tilbagemeldinger i høj eller meget høj vil styrke deres løbende tilbagemeldinger til den enkelte elev om dennes faglige niveau, og 34 pct., der mener, det vil styrke dialogen om opstilling af læringsmål. Lidt under halvdelen vurderer dog, at det kun i nogen er tilfældet. 10 Dette blev også påpeget af eleverne i evalueringen af de nationale test i 2013.

24 Erfaringsopsamling 21 af 3 Tabel 4-2: Oversigt over læreres generelle vurdering af de kriteriebaserede tilbagemeldingers styrker (pct.) I hvilken styrker de nye tilbagemeldinger lærernes løbende tilbagemeldinger til den enkelte elev om dennes faglige niveau? I hvilken styrker de nye tilbagemeldinger dialogen med eleven om at opstille læringsmål/udarbejde fremadrettet plan for deres videre arbejde? N=85 lærere. I meget høj I høj I nogen I mindre Slet Ved Når der både i relation til spørgsmålet om styrkelse af den fremadrettede anvendelse og tilbagemelding og dialog med eleverne er en vis tilbageholdenhed 11 hos cirka halvdelen af lærerne, kan det være udtryk for flere ting. Også her er der en række lighedspunkter, når man sammenholder lærernes tilbagemelding med evalueringen af nationale test i Der er fx fortsat en række lærere, der alene ser de nationale test som et supplement til de andre test og evalueringer, de løbende gennemfører. De tilrettelægger først og fremmest deres undervisning ud fra disse resultater. For disse lærere er en ændring i tilbagemeldingerne i samme afgørende for, hvorvidt de anvender resultatet af national test fremadrettet. Én formulerer det på følgende måde: "Det er sjældent, at testen [nationale test] overrasker helt vildt. Så det er yderst sjælendt, at jeg ændrer på min praksis." (lærer) Derudover peges der på nogle supplerende elementer, der vil kunne understøtte arbejdet, herunder en klar og tydelig kobling mellem resultatet af testen og de nye Fælles Mål, samt en mulighed for, at testsystemet automatisk kommer med forslag til konkrete materialer, opgaver m.v. målrettet den enkelte elev, sådan som det er tilfældet i en række andre test inden for matematik. Dertil kommer, at det fortsat er praksis hos alle lærere og ledere at gennemføre en målstyret undervisning, der tager udgangspunkt i elevens/skolens/kommunens faglige resultater. At en stor del af lærerne vurderer, at tilbagemeldingerne kun i nogen styrker dialogen med eleven om at opstille læringsmål, kan bl.a. skyldes, at rammerne for dialogen med den enkelte elev (herunder ressourcer) kan være meget forskellige fra skole til skole. Disse rammer påvirkes af, at tilbagemeldinger på testen ændres. Endelig skal forældrenes vurdering af de kriteriebaserede tilbagemeldinger i relation til den fremadrettede anvendelse fremhæves. Flertallet af de adspurgte forældre har endnu prøvet at indgå aftale med deres barns lærere om, hvordan de kan understøtte barnets læring. De har dog en forventning om, at de nye tilbagemeldinger kan åbne op for mere dialog end tidligere. Forældrene peger ligeledes på, at det er en væsentlig ændring, at dialogen nu kan udspringe af et resultat, der viser elevens faglige niveau. Det er langt mere meningsfuldt end tidligere, hvor barnets resultat blev sammenholdt med et gennemsnit. De føler sig bedre rustet til en dialog med læreren, fordi deres barns fagligt stærke og svage sider nu er tydeliggjorte. I forlængelse heraf påpeger en forældre, at testresultat og forældrebrev (se afsnit 3.6) netop kan stå alene. Den uddybende samtale med læreren er afgørende, hvis man som forældre skal have et klart billede af, hvordan man kan støtte op om sit barn. Forældrenes forholdsvis positive forventninger til de nye tilbagemeldinger afspejler sig i deres besvarelse af spørgeskemaundersøgelsen jf. tabel De, der har svaret i nogen eller i mindre.

25 Erfaringsopsamling 22 af 3 Tabel 4-3: Oversigt over forældres vurdering af den fremadrettede anvendelse af de nye kriteriebaserede tilbagemeldinger I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at vurdere, hvilken fremadrettet indsats skolen skal iværksætte? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at vurdere, hvordan hjemmet kan bidrage til elevens faglige udvikling? I meget høj I høj I nogen I mindre Slet Ved N=11 forældre. Boks 4-1: Konklusioner og opmærksomhedspunkter Flertallet af lærerne vurderer, at der i meget høj, høj eller nogen er sket en styrkelse af den fremadrettede anvendelse af testresultaterne med indførelsen af de nye kriteriebaserede tilbagemeldinger Både lærere, elever og forældre finder det brugbart og motiverende, at testresultatet nu afspejler den enkelte elevs konkrete faglige niveau Det er fortsat afgørende for både elever og forældre, at testen efterfølges af en dialog med faglæreren om resultatet Flere lærere ser fortsat de nationale test som et supplement til anden evaluering. For disse lærere vil testresultaterne derfor fortsat spille en begrænset rolle i den fremadrettede planlægning af undervisningen. Boks 4-2: Brugerønsker Klar og tydelig kobling til Fælles Mål, herunder faserne Testsystemet skal automatisk generere forslag til konkrete opgaver, materialer m.v. på baggrund af den enkelte elevs resultat Kriteriebaserede tilbagemelding bør indføres for alle nationale test. 4.3 Fremadrettet anvendelse skoleledelse og forvaltning Skoleledelses- og forvaltningsrepræsentanters vurdering af de kriteriebaserede tilbagemeldingers fremadrettede anvendelse er først og fremmest en vurdering af, hvorvidt resultaterne fremover forventes at indgå i den løbende dialog mellem henholdsvis lærere og skoleleder og skoleleder og forvaltning. Nærmere bestemt i hvilken den nye type resultatvisning fremover i højere vil spille en rolle som et styringsværktøj 12. Repræsentanterne fra skoleledelsen vurderer generelt den nye type af tilbagemelding meget positivt. Hele 83 pct. mener, at tilbagemeldingerne i meget høj eller høj generelt styrker den fremadrettede anvendelse. Et klart flertal mener ligeledes, at både monitorering af skolens og elevernes faglige niveau, og dialogen med lærerne om prioritering af og opstilling af klare faglige mål, faglig opkvalificering, prioritering af ressourcer m.v. er styrket i meget høj eller høj jf. tabel Se også model for evalueringskultur i evalueringen af de nationale test (Rambøll 2013 s. 7), der beskriver forskellige niveauer af fremadrettet dialog om resultatet af de nationale test.

26 Erfaringsopsamling 23 af 3 Tabel 4-4: Oversigt over ledelsesrepræsentanternes vurdering af den fremadrettede anvendelse af de nye kriteriebaserede tilbagemeldinger (pct.) I hvilken vurderer du, at de nye kriteriebaserede tilbagemeldinger generelt styrker den fremadrettede anvendelse af de nationale test? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at vurdere/monitorere skolens/elevernes faglige niveau? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at vurdere, hvilken fremadrettet indsats skolen skal iværksætte? I hvilken styrker de nye tilbagemeldinger skoleledelsens mulighed for dialog med lærergruppen om opstilling af klare faglige mål for udviklingen af skolens undervisning? I hvilken styrker de nye tilbagemeldinger skoleledelsens mulighed for dialog med den enkelte lærer om ressourcebehov, opkvalificering, vidensdeling etc.? I meget høj I høj I nogen I mindre Slet Ved N=28 ledelsesrepræsentanter. Mange giver i interviewene udtryk for, at de fremover i endnu højere ønsker at inddrage resultaterne som et pædagogisk redskab i en dialog med lærerne, fx på allerede eksisterende klassekonferencer. Én peger specifikt på tildeling af ressourcer som noget, der vil kunne blive påvirket. Ledelsen vil med de nye tilbagemeldinger få nogle klare indikationer på, hvor der er behov for en ekstra indsats/tildeling af midler m.v. Dette skyldes mindst, at tilbagemeldingerne opleves som informative og nemme at bruge. Flere ledelsesrepræsentanter giver ligeledes udtryk for, at de nye tilbagemeldinger i høj understøtter folkeskolereformens læringsperspektiv, hvorfor testresultaterne også i denne sammenhæng forventes at komme til at spille en betydelig rolle. Se også afsnit 3.4 om de nationale resultatmål. Aktuelt er situationen på de fleste af de deltagende skoler, at der er meget lidt eller slet ingen dialog med skolebestyrelsen om resultatet af de nationale test. Enkelte af de interviewede vurderer dog, at de nye tilbagemeldinger i højere vil danne grundlag for en dialog med bestyrelserne. For så vidt angår dialogen med forvaltningen om resultatet af de nationale test, er der stor variation fra skole til skole og kommune til kommune. En stor del af repræsentanterne fra skoleledelserne giver dog udtryk for, at de kriteriebaserede tilbagemeldinger potentielt styrker dialogen om fremadrettede pædagogiske tiltag. De understreger, at det forudsætter, at forvaltningen fremover begynder at prioritere denne dialog. De seks repræsentanter fra forvaltningerne vurderer, ligesom skoleledelsen, de nye tilbagemeldinger positivt i relation til fremadrettet anvendelse af resultaterne, som det fremgår af tabel 4.5. Eksempelvis vurderer alle, at de nye tilbagemeldinger i meget eller høj understøtter kommuners og skolers løbende dialog om testresultaterne, og fire ud af seks vurderer, at resultatvisningerne i høj understøtter en dialog med henblik på fremadrettet pædagogisk handling.

27 Erfaringsopsamling 24 af 3 Tabel 4-5: Oversigt over forvaltningsrepræsentanters vurdering af de nye kriteriebaserede tilbagemeldinger. I hvilken vurderer du, at de nye kriteriebaserede tilbagemeldinger styrker anvendelsen af de nationale test? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at vurdere skolernes faglige niveau? I hvilken understøtter de nye tilbagemeldinger kommunens og skolers løbende dialog om testresultaterne? I hvilken understøtter de nye tilbagemeldinger kommunens og skolers løbende dialog om testresultaterne med henblik på fremadrettet pædagogisk handling? I hvilken understøtter de nye tilbagemeldinger kommunens og skolers løbende dialog om testresultaterne med henblik på prioritering af ressourcer? I meget høj I høj I nogen I mindre Slet Ved N=seks forvaltningsrepræsentanter. Den generelle tilbagemelding i interviewene er, at der er en fornyet lyst til at bruge resultaterne fremadrettet. Der er et potentiale i de nye tilbagemeldinger på testresultater, da de klart indikerer, hvilke faglige områder skolerne skal fokusere på. Flere giver udtryk for, at de fremover i højere vil bruge de kriteriebaserede tilbagemeldinger som en del af resultatstyringen af skolerne. Én udtrykker det på følgende måde: "Man kan snakke sig ud af alt, men det her hjælper med at holde fokus på et mål. Det bliver et værktøj, der gør, at vi skal høre på undskyldninger, men derimod tale med skolerne om, hvad de kan gøre for ændre utilfredsstillende resultater." (repræsentant fra forvaltningen) En anden forvaltningsrepræsentant peger på, at de nye tilbagemeldinger giver mulighed for at bede skolerne udarbejde handleplaner for, hvordan de vil nedbringe andelen af elever, der har fået "mangelfuld" eller " tilstrækkelig". Andre planlægger to årlige læringsmøder for kommunens skoleledere, der tager udgangspunkt i resultaterne af de nationale test, altså fokus på at skabe rum for videndeling på baggrund af resultaterne. Også den fremadrettede dialog med politikerne vurderes at blive styrket. Hvor det tidligere har været en udfordring at forklare de normbaserede resultater, opleves det nu som mindre udfordrende at kommunikere resultaterne til det politiske udvalg/byrådet. Nu er det ud fra nogle faglige, objektive vurderinger helt klart, hvor kommunens elever er fagligt stærke eller fagligt udfordret. Boks 4-3: Konklusioner og opmærksomhedspunkter Både repræsentanterne fra skoleledelsen og forvaltningerne vurderer de nye tilbagemeldinger meget positivt i relation til anvendelse af de nationale test som styringsværktøj Lederne giver udtryk for, at de fremrettet forventer at bruge testresultaterne i endnu højere i en fremadrettet dialog med det pædagogiske personale, både i relation til det pædagogiske indhold og ressourcer og rammer Forvaltningerne giver udtryk for, at resultatet af de nationale test fremover vil indgå i en resultatbaseret styring i endnu højere Forvaltningerne giver udtryk for, at dialogen med det politiske niveau styrkes med de kriteriebaserede tilbagemeldinger.

28 Erfaringsopsamling 25 af 3 Boks 4-4: Brugerønsker En mulighed for at sammenholde skolens resultat med kommunens øvrige skoler En mulighed for at se et samlet billede af en skoles udvikling år for år. (Se afsnit 3.1 og 3.2 for uddybning om resultatvisning og funktioner)

29 Erfaringsopsamling 26 af 3 5. VEJLEDNINGSMATERIALE OG UNDERSTØTTELSE AF FREMADRETTET ANVENDELESE Afslutningsvis vil dette afsnit kort samle op på læreres, ledelsesrepræsentanters og forvaltningers vurdering af det vejledningsmateriale, som Kvalitets- og Tilsynsstyrelsen har udarbejdet i forbindelse med pilotafprøvningen. Afsnittet afsluttes med brugernes bud på, hvordan styrelsen i endnu højere kan understøtte fremadrettede brug af testresultaterne. 5.1 Vejledningsmateriale Både lærere, repræsentanter fra skoleledelse samt forvaltningsrepræsentanter tilkendegiver, at de er positive over for vejledningsmaterialet "Brug testresultaterne", samtidig med at der er flere forskellige bud på mulige forbedringer. Lærerne finder som udgangspunkt vejledningsmaterialet udførligt og brugbart, da det understøtter tolkningen af hhv. klassens- og den enkelte elevs testresultat, herunder ekspliciterer konkrete handlingsanvisninger på baggrund af resultatet, som lærerne kan planlægge sin undervisning efter. Derudover synes lærerne godt om de sider i vejledningen, der giver eksempler på forskellige differentieringsformer. Selvom størstedelen udtrykker tilfredshed med materialet, er der også ønsker om præciseringer. Dette gælder i særlig benævnelsen af niveauerne. En lærer finder det forvirrende, at de faglige beskrivelser af hhv. "god" og "jævn" præstation under tekstforståelse er ens. En anden lærer giver udtryk for, at vejledningsmaterialet bærer præg af vage formuleringer, som fx "testresultatet tyder på" under handlingsanvisningerne. Dette bør formuleres mere præcist og srt. Generelt er der fortsat behov for en klar beskrivelse af rammerne for testafviklingen. Noget der også blev peget på i evalueringen i Flere lærere efterspørger, at vejledningen skitserer, hvilke hjælpemidler (fx ordbøger og lommeregner) som eleven må anvende under testen og i de forskellige opgaver. Derudover er det gennemgående ønske, at der skabes større klarhed over tidselementet i testen. Flere lærere ytrer tvivl om varigheden af et typisk testforløb, hvornår eleverne må stoppe og lukke ned for testen, og hvad man gør, når eleven får grøn farve på trods af mange besvarelser. Endelig fortæller flere lærere, at de har læst vejledningsmaterialet forud for interviewet. Det skyldes bl.a. vejledningens længde. De stiller forslag om, at den gøres mere kort og præcis og foreslår derudover, at "skoleledelsesdelen" og "kommunedelen" udelades i den version, som lærerne modtager. Repræsentanterne fra skoleledelserne vurderer, at vejledningsmaterialet er tilstrækkeligt og fungerer for dem, mens enkelte samtidig peger på, at det er omfattende, og de derfor frygter, at lærerne vil få det læst. Derfor foreslår de også, at vejledningsmaterialet formidles i en forkortet udgave. Forvaltningsrepræsentanterne finder ligeledes vejledningsmaterialet anvendeligt og pointere vigtigheden af, at alle parter får klarhed over, hvordan man kan bruge testen. En forvaltningsrepræsentant vurderer, at vejledningsmaterialet og de dertilhørende faglige beskrivelser for dansk, læsning er bedre end for matematik. Fx opleves beskrivelsen af profilområderne i matematik mere uklare end i dansk, læsning. En anden forvaltningsrepræsentant efterspørger en uddybende forklaring af den faglige forskel mellem niveauerne, der er målrettet forvaltningen. Altså et endnu klarere billede af, hvad der kendetegner elever, der fx får "god" i vurdering. 13 Evaluering af de nationale test i folkeskolen, Rambøll 2013.

30 Erfaringsopsamling 27 af 3 Endelig kan det på baggrund af interviewene konstateres, at der fortsat er usrhed om, hvem der må se hvilke resultater, fx hvilke resultater en kommunal læsekonsulent har adgang til. Samlet set er der enighed om, at koblingen til Fælles Mål skal gøres tydeligere i både vejledningen og i testen. Størstedelen af lærerne giver udtryk for, at relevansen og anvendelsen af testresultaterne afhænger af koblingen til Fælles Mål, og de derfor har en forventning om, at denne kobling beskrives tydeligt. Lærerne har dertil et ønske om, at det vil fremgå af testresultatet, hvordan de enkelte mål og de dertilhørende faser knytter sig an til de respektive opgaver i nationale test. Samme synspunkt kommer til udtryk hos repræsentanter fra skoleledelsen. De finder ligeledes, at en beskrivelse af koblingen mellem restresultaterne og de nye Fælles Mål er en afgørende faktor i forhold til, at nationale test og tilbagemeldingerne bliver et relevant værktøj. Forvaltningsrepræsentanter vurderer, at koblingen til de Fælles Mål umiddelbart er mest relevant for skolerne som en del af den fremadrettede planlægning af undervisningen. Boks 5-1:Konklusioner og opmærksomhedspunkter Der er en overordnet tilfredshed med vejledningsmaterialet, særligt de konkrete forslag til løft af det faglige niveau samt oversigt over differentieringsformer På forvaltningsniveau udtrykkes der et behov for yderligere præcisering af beskrivelsen af niveuerne Det er afgørende for en fremadrettet anvendelse af nationale test og testresultaterne, at der er en klar beskrivelse af koblingen mellem testresultater og de nye Fælles Mål Relevansen og brugen af vejledningsmaterialet kan øges ved at udarbejde specif vejledninger til hhv. lærere, skoleledere og forvaltningsrepræsentanter. Boks 5-2: Brugerønsker Vejledningen opdeles efter målgrupper Der skal være en klar og tydelig beskrivelse af tilladte hjælpemidler Der skal være en klar og tydelig beskrivelse af typisk testforløb, herunder praksis i forbindelse med afslutning af testen. Hvad gør man fx, når en elev får grøn farve Der skal være en tydelig forklaring, der angiver, hvordan elevernes besvarelse af de enkelte testopgaver opgaverne i testen vægtes ift. elevernes endelige placering. Det vil sige, hvor mange rigtige skal der til, for at blive placeret på det konkrete niveau, samt et svar på om lette og svære opgaver (markeret med stjerner i resultatvisningen) vægtes ligeligt Matrix med oversigt over, hvem der må se hvilke resultater. 5.2 Forslag til understøttelse af den fremadrettede anvendelse af testresultater Direkte adspurgt udtrykker informanterne et umiddelbart behov for øget information eller nye initiativer fra Kvalitets- og Tilsynsstyrelsens side med henblik på at understøtte den fremadrettede anvendelse af testresultaterne. På tværs af lærere, skoleledelses- og forvaltningsrepræsentanter er der bred enighed om, at initiativet med de nye kriteriebaserede tilbagemeldinger i sig selv udgør en markant forbedring, idet testen nu giver et klart billede af elevens faglige niveau. Denne forbedring medvirker til, at langt størstedelen af lærere, ledelses- og forvaltningsrepræsentanter anser testresultaterne som meningsfulde, hvorfor de fremadrettet forventer at ville anvende dem i højere end tidligere. Flere lærere giver udtryk for, at hvis produktet er tilstrækkelig godt, vil det også blive brugt, hvorfor Kvalitets- og Tilsynsstyrelsen behøver gennemføre nye initiativer med henblik på at udbrede anvendelsen. I forlængelse heraf peges der på, at der fortsat 14 er behov for at rette fokus mod den tekniske side af testen, så der opstår fejl og nedbrud, ligesom flere fortsat retter en kritik af opgavetyper/testspørgsmål, som de anser for irrelevante at teste eleverne i, fx talemåder i læsetesten. 14 Der henvises her til lignende tilbagemeldinger i Evaluering af de nationale test i folkeskolen, Rambøll 2013.

31 Erfaringsopsamling 28 af 3 Endelig giver en lille gruppe af lærerne udtryk for, at de føler, at de er i mål, når testen er gennemført. Behovet for at styrke den fremadrettede anvendelse opleves primært som et mål for Kvalitet- og Tilsynsstyrelsen. En skoleleder opfordrer styrelsen til at pointere relevansen og vigtigheden af testen over for forældrene. Det kan fx ske ved at udarbejde en pixifolder med tegneserier, der kan deles ud, eller ved at udarbejde informationsvideoer, der kan vises på fællesmøder. Sådanne tiltag vil kunne understøtte forældrenes interesse og opbakning til at anvende testresultatet fremadrettet. Boks 5-3: Konklusioner og opmærksomhedspunkter Indførelsen af de kriteriebaserede tilbagemeldinger er i sig selv en styrke, der vil understøtte den fremadrettede anvendelse Der er et udtalt behov for nye initiativer fra Kvalitets- og Tilsynsstyrelsens side med henblik på at understøtte den fremadrettede anvendelse af testresultaterne Det er afgørende, at testen fungerer rent teknisk Det er afgørende, at testspørgsmålene opleves som relevante. Boks 5-4: Brugerønsker En tydelig kobling mellem testresultater og de nye Fælles Mål. Denne kobling bør styrelsen have fokus på i kommunikationen om de nationale test.

32 Erfaringsopsamling 0-1 BILAG 1: TABELOVERSIGTER FORVALTNINGERNE Tabel 1: Oversigt over forvaltningsrepræsentanters vurdering af de nye kriteriebaserede tilbagemeldinger. Antal. I hvilken vurderer du, at de nye kriteriebaserede tilbagemeldinger styrker anvendelsen af de nationale test? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at vurdere skolernes faglige niveau? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at vurdere hvilken fremadrettet indsats skolen skal iværksætte? I hvilken understøtter de nye tilbagemeldinger kommunen og skolers løbende dialog om testresultaterne? I hvilken understøtter de nye tilbagemeldinger kommunen og skolers løbende dialog om testresultaterne med henblik på formulering, justering af og opfølgning på mål? I hvilken understøtter de nye tilbagemeldinger kommunen og skolers løbende dialog om testresultaterne med henblik på fremadrettet pædagogisk handling? I hvilken understøtter de nye tilbagemeldinger kommunen og skolers løbende dialog om testresultaterne med henblik på prioritering af ressourcer? Note: N=6. I meget høj I høj I nogen I mindre Slet Ved

33 Erfaringsopsamling 0-2 SKOLELEDELSERNE Tabel 1: Oversigt over lærernes vurdering af den fremadrettede anvendelse af de nye kriteriebaserede tilbagemeldinger. Pct. I hvilken vurderer du, at de nye kriteriebaserede tilbagemeldinger generelt styrker den fremadrettede anvendelse af de nationale test? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at vurdere/monitorer skolens/elevernes faglige niveau? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at vurdere hvilken fremadrettet indsats skolen skal iværksætte? I hvilken styrker de nye tilbagemeldinger skoleledelsens mulighed for dialog med lærergruppen om opstilling af klare faglige mål for udviklingen af skolens undervisning? I hvilken styrker de nye tilbagemeldinger skoleledelsens mulighed for dialog med den enkelte lærer om ressourcebehov, opkvalificering, vidensdeling etc.? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at understøtte en dialog med lærerne om hvordan hjemmet kan bidrage til elevens faglige udvikling? Note: N=28. I meget høj I høj I nogen I mindre Slet Ved Tabel 2: Oversigt over ledelsesrepræsentanters vurdering af dialog mellem skole og kommune. Pct. I meget høj I høj I nogen I mindre Slet Ved I hvilken understøtter de nye tilbagemeldinger kommunen og skolers løbende dialog om testresultaterne? I hvilken understøtter de nye tilbagemeldinger kommunen og skolers løbende dialog om testresultaterne med henblik på formulering/justering/opfølgning af mål? I hvilken understøtter de nye tilbagemeldinger kommunen og skolers løbende dialog om testresultaterne med henblik på fremadrettet pædagogisk handling? I hvilken understøtter de nye tilbagemeldinger kommunen og skolers løbende dialog om testresultaterne med henblik på prioritering af ressourcer? Note: N=28.

34 Erfaringsopsamling 0-3 Tabel 3: Oversigt over ledelsesrepræsentanters vurdering af forskellige barrierer for fremtidig anvendelse af de kriteriebaserede tilbagemeldinger. Pct. I hvilken udgør de følgende elementer barrierer i forhold til at styrke den fremadrettede anvendelse af de nationale test? Manglende forståelse af forskel på normog kriteriebaserede resultater Manglende mulighed for at sammenligne niveau fra test til test Manglende markering af de tre resultatmål* i testsystemet Manglende tydelighed af koblingen til de Fælles Mål Manglende forståelse af betydning af statistisk usrhed Utilstrækkelig vejledning i forhold til hvordan man kan anvende testresultaterne Note: N=28. I meget høj I høj I nogen I mindre Slet Ved LÆRERNE Tabel 1: Oversigt over læreres vurdering vedrørende resultatvisningen. Pct. I meget høj I høj I nogen I hvilken oplever du, at de nye resultatvisninger er brugervenlige og overskuelige? I hvilken oplever du, at de seks nye kriterier er forståelige og anvendelige? Note: N=85. I mindre Slet Ved Tabel 2: Oversigt over læreres vurdering vedrørende andre funktioner i resultatvisningen. Pct. Ja Nej Ved Har du brug for andre funktioner i resultatvisningen? Note: N=85. Tabel 3: Oversigt over lærernes vurdering af den fremadrettede anvendelse af de nye kriteriebaserede tilbagemeldinger. Pct. I hvilken vurderer du, at de nye kriteriebaserede tilbagemeldinger styrker din fremadrettede anvendelse af de nationale test. Det vil sige, at de indgår som en del af grundlaget for den videre planlægning af undervisningen? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder for at vurdere elevens faglige niveau, sammenholdt med de nuværende normbaserede tilbagemeldinger? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder for at vurdere hvilken fremadrettet pædagogisk indsats skolen skal iværksætte sammenholdt med de normbaserede tilbagemeldinger? I meget høj I høj I nogen I mindre Slet Ved

35 Erfaringsopsamling 0-4 I hvilken styrker de nye tilbagemeldinger skoleledelsens mulighed for dialog med lærergruppen om opstilling af klare faglige mål for udviklingen af skolens undervisning? I hvilken styrker de nye tilbagemeldinger skoleledelsens mulighed for dialog med den enkelte lærer om ressourcebehov, opkvalificering, vidensdeling? Note: N=85. Tabel 4: Oversigt over læreres vurdering af forskellige barrierer for fremtidig anvendelse af de kriteriebaserede tilbagemeldinger. Pct. I hvilken udgør de følgende elementer barrierer i forhold til at styrke den fremadrettede anvendelse af de nationale test? Manglende forståelse af forskel på normog kriteriebaserede resultater Manglende mulighed for at sammenligne niveau fra test til test Manglende markering af de tre resultatmål* i testsystemet Manglende tydelighed af koblingen til de Fælles Mål Manglende forståelse af betydning af statistisk usrhed Utilstrækkelig vejledning i forhold til hvordan man kan anvende testresultaterne Note: N=85. I meget høj I høj I nogen I mindre Slet Ved Tabel 5: Oversigt over læreres generelle vurdering af de kriteriebaserede tilbagemeldingers styrker. Pct. I meget høj I høj I nogen I mindre Slet Ved I hvilken styrker de nye tilbagemeldinger lærernes løbende tilbagemeldinger til den enkelte elev om dennes faglige niveau? I hvilken styrker de nye tilbagemeldinger dialogen med eleven om at opstille læringsmål/udarbejde fremadrettet plan for deres videre arbejde? I hvilken styrker de nye tilbagemeldinger dialogen mellem skole og hjem? I hvilken understøtter den nye tilbagemelding til forældrene deres mulighed for at få et overblik over og vurdere deres barns faglige styrker og svagheder sammenholdt med det gamle forældrebrev? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder for en dialog og aftale om, hvordan hjemmet kan bidrage til elevens faglige udvikling? Note: N=85.

36 Erfaringsopsamling 0-5 FORÆLDRE Tabel 1: Oversigt over forældres vurdering af den fremadrettede anvendelse af de nye kriteriebaserede tilbagemeldinger. Antal. I hvilken vurderer du, at de nye kriteriebaserede tilbagemeldinger styrker anvendelsen af de nationale test? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at vurdere elevens faglige niveau? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at vurdere hvilken fremadrettet indsats skolen skal iværksætte? I hvilken giver de nye kriteriebaserede tilbagemeldinger bedre muligheder end de normbaserede tilbagemeldinger for at vurdere hvordan hjemmet kan bidrage til elevens faglige udvikling? Note: N=11. I meget høj I høj I nogen I mindre Slet Ved Tabel 2: Oversigt over forældres generelle vurdering af de kriteriebaserede tilbagemeldingers styrker. Antal. I hvilken vurderer du, at de nye tilbagemeldinger styrker lærernes løbende tilbagemeldinger til den enkelte elev? I hvilken vurderer du, at de nye tilbagemeldinger styrker dialogen med eleven om at opstille læringsmål/udarbejde fremadrettet plan for deres videre arbejde? I hvilken styrker de nye tilbagemeldinger dialogen mellem skole og hjem? I hvilken giver det nye forældre brev dig bedre forudsætninger for at vurdere dit barns faglige styrker og svagheder end det gamle forældrebrev? Note: N=11. I meget høj I høj I nogen I mindre Slet Ved

37 Erfaringsopsamling 0-6 BILAG 2: SKÆRMBILLEDER LÆRERE Skærmbillede 1: Klassen ift. landsresultat Skærmbillede 2: Oversigt over alle elever i klassen

38 Erfaringsopsamling 0-7 Skærmbillede 3: Oversigt over den enkelte elev SKOLELEDELSERNE Skærmbillede 1: Skolen ift. landsgennemsnit

39 Erfaringsopsamling 0-8 Skærmbillede 2: Klassen ift. landsresultat Skærmbillede 3: Oversigt over klasserne (og de enkelte elever)

40 Erfaringsopsamling 0-9 FORVALTNING Skærmbillede 1: Samlet testresultat for hvert klassetrin Skærmbillede 2: Skolernes resultater

41 Erfaringsopsamling 0-10 Skærmbillede 3: Kommunens resultat ift. landsresultat Skærmbillede 4: Resultater for skolerne og kommunen fordelt på profilområder