Evaluering af og for læring

Transkript

1 Evaluering af og for læring Jens Dolin Institut for Naturfagenes Didaktik

2 Evalueringers centrale rolle Hvis vi vil finde ud af sandheden om et uddannelsessystem, må vi se på evalueringerne. Hvilke slags kvaliteter ved studenterne og deres arbejde bliver aktivt værdsat og belønnet af systemet? (Rowntree (1987): Assessing Students. London: Kogan) Evalueringer har en konsoliderende funktion for hvad som er central og vigtig kundskab inden for et fag (Dysthe 2002)

3 Dias 3 Institut for Naturfagenes Didaktik Hvad er evaluering? Evaluering = bedømmelse typisk ift nogle kriterier Evaluering indebærer måling og vurdering. Ved al måling måler man det måleinstrumentet viser - og ikke nødvendigvis det man er interesseret i! (Spørgsmål om validitet (gyldighed)) Al vurdering har et element af subjektivitet i sig. (Spørgsmål om reliabilitet (pålidelighed))

4 Dias 4 Institut for Naturfagenes Didaktik Definitioner Formativ evaluering har til formål at fremme læring gennem feedback så lærerne kan forbedre deres undervisning og eleverne deres læring, dvs. evaluering for læring. Summativ evaluering har til formål at teste individuelt niveau af læring/performance for at kunne følge en udvikling eller sammenligne med givne standarder, dvs evaluering af læring. Resultatevaluering vurderer projekter og programmer for at kunne styre ændringer i praksis og politik

5 Karakteristika ved formativ og summativ evaluering FORMATIV SUMMATIV intern ofte ekstern løbende afsluttende fokus på læring fokus på rangordning læreren rådgiver og vejleder læreren kontrollant og dommer vurdering baseret på faglige vurdering baseret på faglige og elevspecifikke kriterier kriterier rettet til elever og underviser rettet til aftager metodefrihed ofte fastlagt svær og anstrengende nem Vægt på validitet (måler man det rigtige? Vægt på reliabilitet måler man stabilt og neutralt?)

6 Formativ og summativ evaluering Læringsmål Elevaktivitet Elevaktivitet Næste læringsskridt Formativ evaluering Beslutning om næste skridt Rapportering af niveau Summativ evaluering Elever Bedømmelse af niveau Kriterie baseret Elev baseret Data (Baseret på Harlen 2012)

7 Effekter af summative evalueringer Summative evalueringer har meget negative tilbagevirkninger på undervisningen: Indsnævret eller fordrejet curriculum, faglige tankegange forsimples, faktaviden og mekaniske færdigheder betones på bekostning af kreative og æstetiske perspektiver, og undervisningen kan forfalde til træning til testen og udenadslæren og på eleverne: Især fagligt svage elever mister selvtillid. (Nordenbo et al 2009) Læring af kompleks viden kræver komplekse evalueringsformer, og der er brug for at udvikle eksamensformerne, så de i højere grad kan. indfange mere avancerede kompetencer (både faglige og generiske).

8 Et evalueringsforsøg Elever inddelt i 4 grupper: A: fik karakter for sine opgaver B: fik kun kommentarer til sine opgaver C: fik både karakter og kommentarer D: fik ingen tilbagemelding (kontrolgruppe) A: ikke bedre end kontrolgruppen B: 30% bedre end kontrolgruppen (Ruth Butler 1988) C: samme som A Pointe: Summativ evaluering fremmer ikke læring, så tid hertil tages fra læringen.

9 Dias 9 Institut for Naturfagenes Didaktik Fremme den formative evaluering Massiv forskning viser at: Styrkelse af formativ evaluering giver signifikant øgning af læring For majoriteten af lærere er formativ evaluering ikke en veludviklet praksis Elevinvolvering i evaluering fremmer motivation Rigtig brug af opgaver og god klassedialog er afgørende Feedback skal relateres til nogle kendte kriterier og interne elevdiskussioner (peer-to-peer) er nyttige Feedback skal være faglig, ikke normativ (Gardner 2012)

10 Eksempler på evalueringsmetoder Klassedialog - åbne spørgsmål, opfølgning, lange ventetider Tilbagemelding på elevarbejder - fremadrettede kommentarer, genskrivning, selv/kammeratretning Kammeratevaluering og selvevaluering - gør kriterierne åbne, opøv fx via gruppediskussion af selvevaluering Formativ brug af (lærerudviklede) tests - reflektér over besvarelserne, opstil rettekode Portfolio - fagligt/procesrettet indhold, åben/lukket (Black et al 2004)

11 Dias 11 Institut for Naturfagenes Didaktik At kvalificere den formative evaluering - gennem sikring af validitet og reliabilitet Validitet betyder at evalueringsmetoden kan indfange de ønskede læringsmål og give feedback til øget læring. 1. trin: At formulere læringsmål så præcist, at de kan styre uden at begrænse. 2. trin: At opstille en læringsprogression, der leder til målet (ikke nødvendigvis lineær) 3. trin: At vælge en passende evalueringsmetode, som kan indfange mål og delmål. - inddrag eleverne i hele processen.

12 Dias 12 Department of Science Education Vigtigheden af læringsprogression For at kunne evaluere formativt har man brug for a sound model of students progression in the learning of the subject matter, so that the criteria that guide the formative strategy can be matched to students trajectories of learning (Black and Wiliam 1998, p. 37) En læringsprogression beskriver i trin en stadig mere fuldstændig forståelse af det, der skal læres. Udfordring: Detaljeringsgraden Primært to tilgange til læringsprogression: 1. En generisk baseret på en kendt taxonomi (Bloom, SOLO) 2. En fagspecifik baseret på erfaring/forskning i hvorledes elever lærer emnet

13 Pålidelighedsproblemer ved formativ evaluering Et århundredes forskning har konsistent vist at lærere ikke er pålidelige bedømmere af elevers læring, hvis ikke de bruger strategier til at reducere målefejl (McMillan 2013, p. 110) Strategier til at reducere vurderingsupålidelighed: 1. Reducere eller eliminere behovet for menneskelig bedømmelse 2. Etablere best practice ved udarbejdelse at opgaverne 3. Opstille retningslinjer eller skemaer for bedømmelse 4. Fremme læreres forståelse af elevers læring (mhp bedre tolkning af elevsvar) 5. Danne praksisfællesskaber til at opbygge en fælles forståelse af hvad man kan forvente af elever.

14 Fremadrettet Udbyg de fagdidaktiske kompetencer specielt inde for formativ evaluering: formulering af progression i kompetencer, arbejde med udvalgte evalueringsmetoder etc. (fx ved opbygning af praksisfællesskaber af faglærere, støtte fra ledelsen) Arbejd langsigtet på at tilpasse de summative evalueringer de formative formater (dette kræver partnerskab med forskere og ledere/politikere/embedsmænd)

15 Referencer Black, P., Harrison, C. et al (2004). Working Inside the Black Box: Assessment for Learning in the Classroom. Phi Delta Kappan, 86(1) Damberg, E., Dolin, J., Ingerslev, G. Kaspersen, P. (2013). Gymnasiepædagogik. København: Hans Reitzels Forlag. Gardner, J. (ed.)(2012). Assesment and Learning. London: SAGE Publications. Nordenbo, S. E., Allerup, P., Andersen, H.L., Dolin, J., Korp, H., Larsen, M.S., Olsen, R.V., Svendsen, M.M., Tiftikçi, N., Wendt, R.E., Østergaard, S. (2009). Pædagogisk brug af test Et systematisk review. København: Danmarks Pædagogiske Universitetsforlag og Dansk Clearinghouse for Uddannelsesforskning Parkes, J. (2013). Reliability in Classroom Assesment. In McMillan (ed.). SAGE Handbook of Research on Classroom Assessment. Los Angeles: SAGE.