Læringsprogression gennem formativ evaluering

Transkript

1 Læringsprogression gennem formativ evaluering Jens Dolin Institut for Naturfagenes Didaktik

2 Dias 2 Institut for Naturfagenes Didaktik Evalueringers centrale rolle Hvis vi vil finde ud af sandheden om et uddannelsessystem, må vi se på evalueringerne. Hvilke slags kvaliteter ved studenterne og deres arbejde bliver aktivt værdsat og belønnet af systemet? Rowntree (1987): Assessing Students. London: Kogan Evalueringer har en konsoliderende funktion for hvad som er central og vigtig kundskab inden for et fag (Dysthe 2002)

3 Dias 3 Institut for Naturfagenes Didaktik Hvad er evaluering? Evaluering = vurdering, bedømmelse typisk ift nogle kriterier Evaluering indebærer måling og vurdering. Ved al måling måler man det måleinstrumentet viser - og ikke nødvendigvis det man er interesseret i! (Spørgsmål om gyldighed) Al vurdering har et element af subjektivitet i sig. (Spørgsmål om pålidelighed)

4 Dias 4 Institut for Naturfagenes Didaktik Læringsmål i naturfagene Definitioner Eksperimentel kompetence Lovmæssigheder Viden om naturvidenskab Evne til at stille spørgsmål Faktuel viden Repræsentationskompetence Modelleringskompetence Argumentation Innovation Tværfaglig kompetence - mere vægt på proceskompetencer og almene/personlige kompetencer frem for viden alene! - de forskellige læringsmål kræver forskellige evalueringsformer!

5 Definitioner Formativ evaluering har til formål at fremme læring gennem feedback så lærerne kan forbedre deres undervisning og eleverne deres læring, dvs. evaluering for læring. Summativ evaluering har til formål at teste individuelt niveau af læring/performance for at kunne følge en udvikling eller sammenligne med givne standarder, dvs evaluering af læring. Resultatevaluering vurderer projekter og programmer for at kunne styre ændringer i praksis og politik Dias 5

6 Dias 6 Institut for Naturfagenes Didaktik Et evalueringsforsøg Elever inddelt i 4 grupper: A: fik karakter for sine opgaver B: fik kun kommentarer til sine opgaver C: fik både karakter og kommentarer D: fik ingen tilbagemelding (kontrolgruppe) A: ikke bedre end kontrolgruppen B: 30% bedre end kontrolgruppen C: samme som A (Ruth Butler 1988) Pointe: Summativ evaluering fremmer ikke læring, så der skal mere vægt på formative evalueringer.

7 Dias 7 Institut for Naturfagenes Didaktik Karakteristika ved formativ og summativ evaluering FORMATIV SUMMATIV intern ekstern løbende afsluttende mest proces (lidt produkt) produkt fokus på læring fokus på rangordning fejl er mulighed for udvikling fejl skjules rådgivende og vejledende kontrollerende underviser som udviklingsagent underviser som dommer rettet til elever og underviser rettet til aftager metodefrihed fastlagt svær og anstrengende nem Man kigger tilbage og frem (individuel bedømmelse) Man kigger til siden (samme kriterier) Vægt på validitet Vægt på reliabilitet (måler man det man er interesseret i? måler man stabilt og neutralt?)

8 ias 8 Institut for Naturfagenes Didaktik Formativ og summativ evaluering Elevaktivitet Elevaktivitet Næste læringsskridt Formativ evaluering Beslutning om næste skridt Rapportering af niveau Summativ evaluering Elever Bedømmelse af niveau Kriterie baseret Studenter baseret Data

9 Viden om evaluering Forskningen viser at forbedring af læring gennem evaluering afhænger af fem, bedragerisk enkle, nøglefaktorer: 1. Effektiv feedback til elever 2. Aktiv involvering af elever i deres egen læring 3. Justering af undervisning under hensyntagen til resultaterne af evaluering 4. Anerkendelse af den dybe indflydelse som evaluering har på elevers motivation og selvværdsfølelse, to aspekter som har afgørende indflydelse på læring 5. Elevers behov for at kunne evaluere sig selv og for at kunne forstå hvordan de kan gøre fremskridt. (The Assessment Reform Group 1999) Dias 9

10 Fremme den formative evaluering Massiv forskning viser at: Styrkelse af formativ evaluering giver signifikant øgning af læring For majoriteten af lærere er formativ evaluering ikke en veludviklet praksis Rigtig brug af opgaver og god klassedialog er afgørende Feedback skal relateres til nogle kendte kriterier og interne elevdiskussioner (peer-to-peer) er nyttige Feedback skal være faglig, ikke normativ (Gardner 2012) Dias 10

11 Dias 11 Institut for Naturfagenes Didaktik Formativ evaluering af hvad? 1. Underviseren: Engagement, faglighed, pædagogik 2. De studerende: Forudsætninger, indsats, udbytte, holdninger, interesser 3. Arbejdsformer/varighed 4. Emne/indhold: Sværhedsgrad, relevans 5. Undervisningsmateriale: Sværhedsgrad, interesseskabelse 6. Undervisningsklima/miljø/institutionen 7. Evalueringen selv Aftal med eleverne hvad der er behov for at evaluere!

12 Dias 12 Institut for Naturfagenes Didaktik Eksempler på formative evalueringsformer - af elevernes læring Feedback (peer, lærer, gruppe mundtlig/skriftlig) er blandt den mest effektive formative evalueringsform! Selvevaluering rangerer (næsten) lige så højt. Lad som hovedregel elever vurdere sig selv og egne produkter før de får andres vurderinger. Faglig evaluerende samtale som et refleksionsrum Begrebskort, essays, tegninger, video afkoder læring og egner sig til refleksion. Studiebog/portfolio: I slutningen af hver lektion bruger eleverne 5 min på skrive deres svar på nogle givne spørgsmål (fx hvad har vi gennemgået i lektionen, hvad har jeg forstået/lært, hvordan lærte jeg det, hvad forstod jeg ikke, ). Kan føres som individuelt eller som klasselog af forskellige elever på skift.

13 Eksempler på formative evalueringsformer Dias 13 Interview og vægavis: Eleverne interviewer hinanden to og to, eller tre og tre ud fra et bredt formuleret spørgsmål fx "Hvad er dit personlige læringsudbytte af undervisningen? Lever det op til dine forventninger - hvorfor/hvorfor ikke? Hvad kan gøres bedre? ". Hver gruppe laver en vægavis med korte formuleringer. Til slut læser alle vægaviserne, og reflekterer over det samlede billede og forsøger i fællesskab at uddybe og diskutere dette. Dialog mellem lærer og referencegruppe: Klassen vælger fra forløbets start en gruppe elever der udgør referencegruppen. De øvrige elever kan give deres feedback til referencegruppen som viderebringer denne til læreren. 1-minutspapir: I de sidste minutter af undervisningen skriver eleverne deres umiddelbare og spontane reaktion på undervisningen. Metoden kan bruges systematisk efter hver undervisningsgang eller ind imellem efter behov.. Essayevaluering: Eleverne skriver om deres indtryk og udbytte af undervisningen, eventuelt ud fra nogle overordnede spørgsmål - egner sig bedst til slutningen af et undervisningsforløb. Hvis eleverne ved begyndelsen af forløbet har skrevet et forventningspapir, kan essayevalueringen tage udgangspunkt heri. Besvarelserne kan deles rundt i klassen, diskuteres og perspektiveres. Inddragelse af andre: Lærere eller elever fra andre klasser kan foretage evaluering fx som interview, observation (supervision). (inspireret af bl.a. Center for Undervisningsudvikling, AU)

14 Eksempel: Fagligt evaluerende samtale En struktureret dialog om et fagligt emne 5 min faglig dialog mellem lærer og én elev oplæg til 5 min klassedialog Dias 14 Fra: Torben Spanget 2004

15 At kvalificere den formative evaluering - gennem sikring af validitet og reliabilitet Validitet betyder at evalueringsmetoden kan indfange de ønskede læringsmål og give feedback til øget læring. 1. trin: At formulere læringsmål så præcist, at de kan styre uden at begrænse. 2. trin: At opstille en læringsprogression, der leder til målet (ikke nødvendigvis lineær) 3. trin: At vælge en passende evalueringsmetode, som kan indfange mål og delmål. - inddrag eleverne i processen. Dias 15

16 ias 16 Institut for Naturfagenes Didaktik Pålidelighedsproblemer ved formativ evaluering Et århundredes forskning har konsistent vist at lærere ikke er pålidelige bedømmere af elevers læring, hvis ikke de bruger strategier til at reducere målefejl (McMillan 2013, p. 110) Hypotese: Jo mere narrativt orienterede opgaver/problemer, jo lavere pålidelighed. 300 opgaver rettet af 53 forskellige censorer. 94 % af opgaverne fik 7 forskellige karakterer på en 7-trin skala. (ibid) Strategier til at reducere vurderingsupålidelighed: 1. Reducere eller eliminere behovet for menneskelig bedømmelse 2. Etablere best practice ved udarbejdelse at opgaverne 3. Opstille retningslinjer for bedømmelse eller skemaer (rubrics) 4. Fremme læreres forståelse af elevers læring (mhp bedre tolkning af elevsvar) 5. Danne praksisfællesskaber til at opbygge en fælles forståelse af hvad man kan forvente af elever.

17 Vigtigheden af læringsprogression For at kunne evaluere formativt har man brug for a sound model of students progression in the learning of the subject matter, so that the criteria that guide the formative strategy can be matched to students trajectories of learning (Black and Wiliam 1998, p. 37) En læringsprogression beskriver i trin en stadig mere fuldstændig forståelse af det, der skal læres. Udfordring: Detaljeringsgraden Primært to tilgange til læringsprogression: 1. En generisk baseret på en kendt taxonomi (Bloom, SOLO) 2. En fagspecifik baseret på erfaring/forskning i hvorledes elever lærer emnet Dias 17

18 Progressionsforestillinger Dias 18

19 Læringsopfattelsers progressionsbegreber Dias 19

20 Forskellige faglige progressionsopfattelser HUSET TRAPPEN SPIRALEN Dias 20

21 Forskellige taksonomier Dias 21

22 Fagligt baseret progression Du får udleveret en øvelsesvejledning i fysik og skal undersøge om svingningstiden for et pendul afhænger af massen, amplituden eller pendulets længde. Trin 1: Du ved, hvad et pendul er. Du kender begreber som masse, amplitude og længde. Du er ikke i stand til at følge øvelsesvejledningen. Trin 2: Du kan udføre forsøget og indsamle data. Trin 3: Du indsamler data på en systematisk måde og præsenterer disse i skemaer og i koordinatsystemer. Trin 4: Du kan analysere de indsamlede data og kan på baggrund af disse konkludere, om svingningstiden er afhængig af massen, amplituden eller længden. Du har forståelse for den teori, der forklarer de fundne sammenhænge. Trin 5: Du kan vurdere hvilke fejlkilder, der er ved forsøget. Dias 22

23 Forenklede Fælles Mål Naturfaglige undersøgelser ( klasse) Fase 1 Eleven kan formulere og undersøge en afgrænset problemstilling med naturfagligt indhold Eleven har viden om naturfaglige undersøgelsesmetoders anvendelsesmuligheder og begrænsninger. Fase 2 Eleven kan indsamle og vurdere data fra egne og andres undersøgelser Eleven har viden om indsamling og validering af naturfaglige data. Fase 3 Eleven kan konkludere og generalisere på baggrund af eget og andres praktiske og undersøgende arbejde Eleven har viden om krav til evaluering af naturfaglige undersøgelser. Tegn på læring for læringsmål: Eleverne kan lave undersøgelser, der viser sammenhæng mellem livsbetingelser i et vandhul og antallet af udvalgte organismer. 1. Eleven bestemmer smådyr i et vandhul 2. Eleven undersøger O 2 -indholdet i vandhullet. 3. Eleven fortæller om sammenhængen mellem forekomsten af forskellige vandhulsdyr og O 2 - indholdet forskellige steder i vandhullet. Dias 23

24 Tilpasset undervisning For at muliggøre progression skal der være en tilpasning mellem Undervisning/læringsaktiviteterne Læreplansmålene Evalueringsformerne Undervisning tilpasset målene høj/lav lærerstyring arbejdsformer undervisnings -materiale Læreplansmål højeste opfyldelse mellemste opfyldelse tilfredsstillende utilfredsstillende Evaluering som adresserer alle niveauer i den opstillede taksonomi Dias 24

25 Opsummering Udbyg de fagdidaktiske kompetencer specielt inde for formativ evaluering: - opstil (operationalisérbare) kriterier for de faglige krav - formulér progressionstrin og diskutér dem med eleverne - arbejd med udvalgte evalueringsmetoder i formative sammenhænge (fx ved opbygning af praksisfællesskaber af faglærere) Dias 25

26 Dias 26 Institut for Naturfagenes Didaktik Referencer Black, P., Harrison, C. et al (2004). Working Inside the Black Box: Assessment for Learning in the Classroom. Phi Delta Kappan, 86(1) Damberg, E., Dolin, J., Ingerslev, G. Kaspersen, P. (2013). Gymnasiepædagogik. København: Hans Reitzels Forlag. Gardner, J. (ed.)(2012). Assesment and Learning. London: SAGE Publications. Nordenbo, S. E., Allerup, P., Andersen, H.L., Dolin, J., Korp, H., Larsen, M.S., Olsen, R.V., Svendsen, M.M., Tiftikçi, N., Wendt, R.E., Østergaard, S. (2009). Pædagogisk brug af test Et systematisk review. København: Danmarks Pædagogiske Universitetsforlag og Dansk Clearinghouse for Uddannelsesforskning Parkes, J. (2013). Reliability in Classroom Assesment. In McMillan (ed.). SAGE Handbook of Research on Classroom Assessment. Los Angeles: SAGE.