Institut for Naturfagenes Didaktik. Evaluering og læring. Jens Dolin Institutleder. Institut for Naturfagenes Didaktik. GL-PS 8april2014 Dias 1

Transkript

1 Evaluering og læring Jens Dolin Institutleder Dias 1

2 Evalueringers centrale rolle Hvis vi vil finde ud af sandheden om et uddannelsessystem, må vi se på evalueringerne. Hvilke slags kvaliteter ved studenterne og deres arbejde bliver aktivt værdsat og belønnet af systemet? Rowntree (1987): Assessing Students. London: Kogan Evalueringer har en konsoliderende funktion for hvad som er central og vigtig kundskab inden for et fag (Dysthe 2002) Dias 2

3 Dias 3 Hvad er evaluering? Evaluering = vurdering, bedømmelse typisk ift nogle kriterier Evaluering indebærer måling og vurdering. Ved al måling måler man det måleinstrumentet viser - og ikke nødvendigvis det man er interesseret i! (Spørgsmål om validitet/gyldighed) Al vurdering har et element af subjektivitet i sig. (Spørgsmål om reliabilitet/pålidelighed)

4 Dias 4 Evalueringsfeltet Lærerens undervisning Elevens læring Klassen Skolen Verden Samfund

5 Definitioner Formativ evaluering har til formål at fremme læring gennem feedback så lærerne kan forbedre deres undervisning og eleverne deres læring. Summativ evaluering har til formål at teste individuelt niveau af læring/performance for at kunne følge en udvikling eller sammenligne med givne standarder Formativ evaluering (af læring) er elev-orienteret, og elever og lærere planlægger sammen hvad der videre skal ske - hvorimod summativ evaluering foretages af lærere ud fra givne standarder eller kriterier (Harlen 1998, p.9) Summativ evaluering på et niveau kan fungere som formativ evaluering på et andet niveau. Fx studentereksamenskarakterer som løbende skoleevaluering, PISA-resultater som udtryk for folkeskolens effektivitet. Dias 5

6 ias 6 Formativ og summativ evaluering Elevaktivitet Elevaktivitet Næste læringsskridt Formativ evaluering Beslutning om næste skridt Rapportering af niveau Summativ evaluering Elever Bedømmelse af niveau Kriterie baseret Elev/kursist baseret Data

7 ias 7 Karakteristika ved formativ og summativ evaluering FORMATIV SUMMATIV intern ekstern løbende afsluttende mest proces (lidt produkt) produkt fokus på læring fokus på rangordning fejl er mulighed for udvikling fejl skjules rådgivende og vejledende kontrollerende underviser som udviklingsagent underviser som dommer rettet til elever og underviser rettet til aftager metodefrihed fastlagt svær og anstrengende nem Man kigger tilbage og frem (individuel bedømmelse) Man kigger til siden (samme kriterier) Vægt på validitet Vægt på reliabilitet (måler man det man er interesseret i? måler man stabilt og neutralt?)

8 Et evalueringsforsøg Elever inddelt i 4 grupper: A: fik karakter for sine opgaver B: fik kun kommentarer til sine opgaver C: fik både karakter og kommentarer D: fik ingen tilbagemelding (kontrolgruppe) Læring efter tre måneders undervisning: A: samme som kontrolgruppen B: 30% bedre end kontrolgruppen C: samme som kontrolgruppen (Ruth Butler 1988) Pointe: Kun formativ evaluering fremmer læring, så tid brugt summativ evaluering tages fra læring. Dias 8

9 ias 9 Pålidelighedsproblemer ved formativ evaluering Et århundredes forskning har konsistent vist at lærere ikke er pålidelige bedømmere af elevers læring, hvis ikke de bruger strategier til at reducere målefejl (McMillan 2013, p. 110) Hypotese: Jo mere narrativt orienterede opgaver/problemer, jo lavere pålidelighed. 300 opgaver rettet af 53 forskellige censorer. 94 % af opgaverne fik 7 forskellige karakterer på en 7-trin skala. (ibid) Strategier til at reducere vurderingsupålidelighed: 1. Reducere eller eliminere behovet for menneskelig bedømmelse 2. Etablere best practice ved udarbejdelse at opgaverne 3. Opstille retningslinjer for bedømmelse eller skemaer (rubrics) 4. Fremme læreres forståelse af elevers læring (mhp bedre tolkning af elevsvar) 5. Danne praksisfællesskaber til at opbygge en fælles forståelse af hvad man kan forvente af elever.

10 Forskningsspørgsmål: Hvordan kan grundskolelæreres individ- og klassecentrerede brug af data fra test forbedre læreres didaktiske og/eller fagdidaktiske tiltag i klasser med almindelige elever? (spørgsmålet afgrænses til alene at inddrage testtyper, som indgår i de nationale test i de nordiske lande) Hvordan indvirker indførelsen af testning på læreres didaktiske beslutninger og elevers læringsadfærd? ias 10

11 Pædagogisk brug af test Dansk Clearingshouse forskning Før Test Efter Testdata 2. Hvordan virker testning på undervisningen? 1. Lærerens brug af testdata? 3. Hvordan virker testning på eleven? Tid Dias referencer 118 dokumenter 61 genbeskrivelser narrative synteser baseret på 43 forskningsprojekter

12 Dias 12 Hvordan virker testning på undervisningen? Undersøgelserne viser betydelig negative effekter af introduktion af centralt administrerede test. Effekterne fordeler sig på følgende tre områder: indsnævret eller fordrejet curriculum, idet faglige tankegange forsimples, faktaviden og mekaniske færdigheder betones på bekostning af kreative og æstetiske perspektiver undervisningstid allokeres til det/de fag og fagområder, der skal testes i, på bekostning af de fag og fagområder, der ikke testes i, og undervisningen kan forfalde til træning til testen og udenadslæren

13 Dias 13 Hvordan virker testning på eleverne? Der er svag evidens for, at elevernes testresultater stiger ved indførelse af test, men først efter nogle år. Når en test annonceres, er der svag evidens for, at det kan udløse følelsesreaktioner som nervøsitet og angst, at eleven forbereder sig ved at lære udenad og memorere sætninger. For bedre præsterende elever stiger motivation, mens svagere præsterende taber modet. Der er stærk evidens for, at det testresultat, som eleven får ved testen, kan virke ind på fremtidig motivation og selvværd. Samlet kan siges at fordelene ved introduktion af centralt administrerede test kan opvejes af de negative virkninger, som disse test har især på de svagere præsterende elever

14 ias 14 Validering Af PISA (VAP) projektet 130 elever, der var testet i PISA 2006 blev evalueret i en mere almindelig skolesituation i en række PISA-opgaver, de havde haft i PISA-testen. I gentesten steg elevernes score med 26 %. Svage elever klarede sig relativt bedre end stærke elever. Pointe 1: Elevers testpræstation er afhængig af testsituationen Eleverne klarede sig jævnt i PISA (45-75% korrekt), men målt i forhold til de danske læreplaners krav, opfyldte de kun % af kravene inden for de tilsvarende fagområder. Pointe 2: Meget af det vigtige, som elever skal lære i skolen, tester PISA slet ikke, fx proceskompetencer, projektkompetencer, innovation, kreativitet, samarbejdsevne, evne til tværfaglighed etc. Denmark ligger i toppen i The Global Competitiveness Report (som sammenligner 113 faktorer der bidrager til nationaløkonomiens konkurrenceevne) på trods af middelplacering i PISA!

15 Dias 15 Hvad er problemet? 1. I takt med samfundsudviklingen og vores øgede indsigt i undervisning/læring stilles der stadig nye og større krav til hvad eleverne skal have ud af undervisningen. Både faglige proceskompetencer (fx modellering, argumentation etc.) og generiske kompetencer (fx innovation, kreativitet, entreprenørskab ) i det hele taget kompetencer!!! 2. De evalueringsformer, som er fremherskende i uddannelsessystemer, kan ikke indfange disse nye mål i undervisningen 3. Evalueringsformen har en afgørende afsmitning på undervisningen 4. Et uddannelsessystem, der har evalueringsformer, der kun vurderer simple uddannelsesmål (low order thinking), vil fremme undervisning, der prioriterer læring af simple uddannelsesmål 5. De eksisterende evalueringsformer blokerer for at eleverne får mulighed for at tilegne sig de nye læringsmål.

16 Evaluering, pædagogik og læreplaner Transmission - tolkning Pædagogik Nye læringsmål kræver nye undervisningsformer. Evaluering Læreplansindhold Postpositivistisk - sociokulturelt Information/viden - kompetencer ias 16 Nye læringsmål og nye undervisningsformer kræver nye evalueringsformer.

17 Dias 17 Opgaven Opgaven er at udvikle nogle evalueringsformer, der kan indfange ønskede kompetencer, og som kan bruges både formativt og summativt og at få dem implementeret i uddannelsessystemet! Nogle vigtige elementer heri er Begrebsafklaring, fælles forståelse af nøglebegreber At definere de centrale læringsmål At finde målbare kvaliteter, der afspejler de ønskede læringsmål, og opstille en progression for dem At kunne undervise mhp elevernes læring af de ønskede kompetencer At udvikle evalueringsformer der kan indfange de ønskede kompetencer og som kan give informationer, der kan indsamles pålideligt af lærere At udvikle en forståelse i det offentlige rum (administratorer, politikere, forældre, lærere, ) for disses nødvendighed.

18 Fagligt evaluerende samtale Fokus 3 (kommunikation) En struktureret dialog om et fagligt emne 5 min faglig dialog mellem lærer og én elev oplæg til 5 min klassedialog Undervisning og evaluering Dias 18 Fra: Torben Spanget 2004

19 On-line undersøgelses lab Dias 19 D4.3, p. 18