Spotkurser for lærere. Evalueringsmetoder Bilag UNIVERSITY COLLEGE

Transkript

1 Spotkurser for lærere Evalueringsmetoder Bilag UNIVERSITY COLLEGE

2 Spotkursus Evalueringsmetoder. Overblik og paradigmer. Evaluering Program Præsentation 2. Oplæg overblik 3. Diskussion 4. Hvordan evaluerer du nu? 5. Afslutning Hvorfor evaluering? Hvad er evaluering? Summativ og formativ evaluering Sammenhænge mellem læringssyn og evalueringstraditioner kronologisk Eksempler på summative og formative evalueringsmetoder juni 2007 Tanja Miller 1 2. juni 2007 Tanja Miller 2 Hvad er evaluering en begreb i udvikling Hvad er evaluering? En definition Præcisering af skoleledelsens ansvar evalueringskultur, dokumentation Præcisering af det kommunale ansvar - kvalitetssikring Etablering af nyt råd for evaluering og kvalitetsudvikling af folkeskolen akkreditering, benchmarking, auditering en systematisk retrospektiv vurdering af gennemførelse, præstation og udfald af offentlig virksomhed, der tiltænkes at spille en rolle i praktiske handlingssituationer (Vedung, 1991:33) Henviser til fire dimensioner i evaluering Systematikken går på vidensindsamling slægtskab med forskning Evaluering er pr. definition vurdering implicerer altid værdier Evalueringen har altid en genstand Evalueringen har et anvendelsessigte 3. juni 2007 Tanja Miller 3 4. juni 2007 Tanja Miller 4 Forskellige anvendelsesområder - formål kultur Grundformer: Summativ og formativ evaluering Altid værdier og fortolkes/giver mening i en konkret evalueringspraksis Evaluering som kontrol Evaluering som læreproces Den oplysende evaluering Den taktiske/strategiske evaluering Den symbolske evaluering Den konstitutive Lille summemøde ud fra ark Summativ er en vurdering, der finder sted ved afslutningen af et forløb med henblik på differentiering, godkendelse og kontrol eller sigter mod at måle effektiviteten af undervisningen ofte ved hjælp af en skala er produktorienteret Formativ er en vurdering, der sigter mod at forme læreprocesser/ undervisningsforløb ved at give eleverne og læreren feedback, der er anvendelig i planlægning og tilrettelæggelse af det videre forløb Kan være både norm, mål og individorienteret er procesorienteret 5. juni 2007 Tanja Miller 5 6. juni 2007 Tanja Miller 6

3 Summativ og formativ positioner Den ene uden den anden giver ingen spænding Overvægt til den summative kvæler det formative Overvægt til den formative bliver for hyggelig Fredelig sameksistens eller formativ som kimform af summativ Intention at skabe sammenhæng mellem undervisning/læreprocesser, intern løbende evaluering og prøver H.C. Andersen. Balance Evalueringens udvikling i takt med didaktik Didaktik og evaluering 1940 læreplansforskning Mål/middel didaktik Taksonomitænkning Proces-produktevaluering 1970 progressiv pædagogik Kritisk og reformpædagogisk Inspiration Intern evaluering 1990 Nye pædagogikker ( problembaseret læring, projektpædagogik, storyline) Evaluering er en integreret del af pædagogikken Udvikling og evaluering generationevaluering Påvirkning fra læreplansforskningen Programorienteret Nøglebegreb: beskrivelse generationsevaluering Opgør med målopfyldelsesevaluering Sociologisk orientering Nøgleord: vurdering generationsevaluering Socialkonstruktivistisk orientering Hermeneutisk, dialektisk metode Nøglebegreb: forhandling og tolerance harmoni/konflikt 7. juni 2007 Tanja Miller 7 8. juni 2007 Tanja Miller 8 MÅL i relation til EVALUERING (1) MÅL i relation til EVALUERING (2) Naturvidenskabeligt mekanisk paradigme: radikal form Mål operationaliseres i termer udtrykker hvad eleven skulle kunne som resultat af undervisning. Fx bruge korrekt grammatisk sprog, udtale ord ordentligt Evaluering består af psykometriske tests og prøver og resultaterne normalfordeles Naturvidenskabeligt mekaniske paradigme: moderat form Mål operationaliseres i termer som: at anvende viden, have viden om, være i stand til at vurdere Evaluering som tegn på elevens svar på noget eleven behersker læringen er internaliseret blevet en kompetence. Elever betragtes som objekter 9. juni 2007 Tanja Miller juni 2007 Tanja Miller 10 MÅL i relation til EVALUERING (3) MÅL i relation til EVALUERING (4) Humanistisk/kritisk paradigme Reformpædagogik Mål formuleres i stigende grad ved involvering af elevers motiver og interesser og bliver opfattet dynamiske Evaluering skal involvere eleverne i vurderinger. Sådan at de ikke længere kun er objekter. Demokratisk og sanktionsfrit Socialkonstruktivistisk paradigme (aktualitet og potentialitet) Moderniseringspædagogik ( 1993, 2006: ) Mål operationaliseres dynamisk og individualiseres. Konstrueres i et fortløbende interaktionsproces mellem Lærer/elev/eksperter/ måske forældre Evaluering sker gennem forhandlede kriterier og lokale og konkrete beslutninger. Eleven med til at formulere kriterier 1 juni 2007 Tanja Miller juni 2007 Tanja Miller 12

4 Læringsmål - evalueringsformer Værdier Læringsmål Bondesamfund Reproduktion stabilitet Paratviden orden Industrisamfund Reproduktion af viden og Forståelse anvendelse af viden. reproduktion Lydighed anvendelse vurderingsevne produktorienteret Videnssamfund Reproduktion af viden. Forståelse, vurdering, Selvstændighed. perspektivering, evne Samarbejdsevne, at skabe nyt kreativitet, Selvrefleksivitet omstillingsparat. Performance Vidensproduktion Proces og produkt Evalueringsform Ørstedske skala Eksaminer Simpel stikprøvekontrol Uden forberedelsestid 13 skalaen Eksaminer årskarakterer Kompliceret Stikprøvekontrol. Løbende evaluering 13 skalaen komplicerede kontrol/undersøgelse ved løsning af selvdefinerede opgaver Nye skriftlige/ mundtlige prøver. Elevplaner formelle krav. BEK nr Indhold: Oplysninger om resultater af den løbende evaluering af undervisningen i alle fag 2. Oplysning om den besluttede opfølgning på resultater af den løbende evaluering, herunder tests 3. Oplysning om eventuelle aftaler om forældrenes og elevens medvirken til, at eleven når de opstillede læringsmål 4. Ovenstående krav omfatter kun oplysninger, der har betydning for lærerens, elevens og forældrenes arbejde med at følge op på og forbedre effekterne af undervisningen Portfolia, 13. Dokumentation. juni 2007 Tanja Miller juni 2007 Tanja Miller 14 Kolbs læringscirkel refleksioner Blooms taksonomi et hjælperedskab 15. juni 2007 Tanja Miller juni 2007 Tanja Miller 16 Mål, evaluering og læring refleksioner fællesnævner Mål, evaluering og læring refleksioner fællesnævner Portefølje to paradigmer Proces- eller arbejdsportefølje Denne portefølje er et arbejdsredskab som fungerer undervejs i et forløb. Alle relevante dokumenter som billeder, responsark, noter, musik, tegninger, produkter Præsentations- eller vurderingsportefølje Denne portefølje er rettet mod den summative evaluering. Eleven vælger de dokumenter til mappen, som hun ønsker, der skal indgå i bedømmelsen Log elevens egne konstruktioner og tanker vurderet i samarbejde med en lærer. Elektronisk log Kan/ kan næsten/kan ikke selvevaluering sat i system SMTTE model 17. juni 2007 Tanja Miller juni 2007 Tanja Miller 18

5 Evalueringsmetoder KORT form Mere læringsteori - NUZO Samtaler Karaktergivning Tests ( killing it of) Observationer vha. skema Feedback Faglig bedømmelse Selvevaluering Anvendelseskort Sporanalyser LUS, MUS, standardiserede test Læring i ring 1 er meningsfuld, fordi den knytter til ved det, du allerede ved lidt om. Udvikling i ring 1 vil være mest effektiv i samarbejde med andre og/eller støttet af en mere kyndig person. Læring i ring 2 vil kun vanskeligt give mening, fordi forudsætningerne mangler! Forceret udvikling i ring 2 vil have meget begrænset holdbarhed. NB! Børn opsøger ofte på eget initiativ ring 2 under leg ( deep play / vild leg / det "farliges" fascination ), hvilket efterhånden giver erfaringer og forvandler ring 2 til NUZOområde!! 19. juni 2007 Tanja Miller juni 2007 Tanja Miller 20 Stadig NUZO Andre måder fantasi og sund fornuft Vygotsky om Nærmeste Udviklingszone : "NUZO er afstanden mellem det faktiske udviklingsniveau, som bestemt af selvstændig problemløsning, og det potentielle udviklingsniveau, som bestemt af problemløsning under voksen ledelse eller i samarbejde med dygtige kammerater." Ideen om at læring i NUZO-feltet skal styrkes af vejledning/undervisning af en mere-erfaren person rejser spørgsmålet om, hvilken fremgangsmåde denne person så bør anvende. Det bedste og det værste. Det værste er at vide, at børnene har det svært. Et barn i strømpefødder og sandaler mens det sner. At far og mor skal skilles. At drengen han er træt. At morgenmad og madpakken mangler. At råbe så man føler, at stemmen smutter væk. At føle sig usikker og træt. At man ikke kan rumme, at børn de snakker lidt, er det værste. Det værste er en slåskamp, der startede for sjov, og endte med to meget ømme fingre. At miste overblikket og bare ²give op² Det er det værste for mig. Søren Ulrik Thomsen: Det værste og det bedste. Vindrose 2006 Det bedste er at komme til timen - velforberedt. At mærke glæde over dagens emne. At føle at eleverne lærer noget nyt, og opleve at deres nysgerrighed bliver større. Den glæde børn kan sprede, når de bliver sluppet fri. At høre de sjoveste kommentarer, og grine af deres vittigheder. At se stoltheden i deres øjne, når de får ros, er det bedste. Det bedste er at se, hvordan de selv kan få ideer. At se glæden i deres øjne når de har fremstillet noget. At en dreng en dag, kan navnene på ti nye hvaler, mens en anden har feriebillederne med. Det bedste er at føle, at målet det er nået. At mærke eleverne var med, og vide at de også har haft det sjovt. At lære at kende sig selv som lærer, og vide man har valgt rigtigt, Det er det bedste for mig. 2 juni 2007 Tanja Miller juni 2007 Tanja Miller 22 afslutning Referencer Guba,E & Lincoln Y.S.: Fourth Generation Evaluation. Sage Publication Bendixen, Carsten: Evaluering og læring. Kroghs forlag Dahler- Larsen, Peter: Evaluering og magt. Magtudredningen Holm- Larsen, Signe: Hverdagsevaluering. Kroghs forlag Miller, Tanja: Karaktergivning i praksis. 13 skalaen og gymnasiet. Ph.d. afhandling. DIG.SDU Miller, Tanja: Evaluering og legitimitet. I Bodil Gaardsmand og Benny Jacobsen (red.): Folkeskolen ekstern tilpasning og intern organisering. Billesø & Baltzer.2003 Jacobsen, Arne og Lauvås, Per: Eksamen eller hvad? Former for summativ evaluering i professionsuddannelser. Samfundslitteratur Mørch, Susanne Idun: Den pædagogiske kultur. Systime Kommunernes Landsforening: Evalueringskultur. Pjece Qvortrup, Lars: Det vidende samfund. UP Bodil Nielsen: Faglig evaluering, Gyldendal Sigt altid efter månen! Det er ikke sikkert du rammer Men så er du allerede blandt stjernerne 23. juni 2007 Tanja Miller juni 2007 Tanja Miller 24

6 Realistiske mål 1 Det er vigtigt, at man ikke sætter urealistiske mål for eleverne eller medvirker til, at eleverne selv får sat sig nogle urealistiske mål, der blot bekræfter dem i, at de ikke er dygtige nok. Det gælder om at finde frem til nogle realiserbare mål inden for et afgrænset område, hvor der potentielt set kan ske en udvikling. Det er i virkeligheden nogle banale forholdsregler, der kan skubbe til aktiviteter, der munder ud i succesoplevelser frem for aktiviteter, der fører til nederlag og dur ikke -oplevelser. Eleverne skal lære at arbejde med mål og kriterier. De lærer det kun ved at gøre det, så: Lad eleverne medvirke i udformningen af de overordnede mål. Hjælp eleverne i gang med at formulere egne mål og delmål. Eleverne skal formulere realistiske mål. Realistiske mål og delmål er mål for noget, der kan nås inden for en (for den enkelte elev oplevet) overskuelig tidshorisont. Realistiske mål har en høj succesrate ellers er de urealistiske og medfører fiasko-oplevelse. Realistiske mål er ikke mål for noget, man allerede kan (forudsætninger) eller allerede har lavet (målet er nået). Realistiske mål er mål for noget, man er lige ved at kunne (potentialer) eller er godt i gang med og kan se en ende på (målet er i sigte). Realistiske mål befinder sig i zonen for nærmeste udvikling i spændingsfeltet mellem det, man allerede kan (det aktuelle udviklingsniveau), og det, man er lige ved at kunne (det potentielle udviklingsniveau) og måske kan i samarbejde med andre*). *) Jf. Vygotskys teori om Zonen for Nærmeste Udvikling se kapitel 2 i Portfoliopædagogik. Når vi evaluerer, gør vi det dels i forhold til, om vi nåede målene. Men vi gør det også i forhold til, om det, vi har præsteret, nu også er godt nok. 1 Inspireret af Madsen, Claus (2005): Portfoliopædagogik. Dafolo. Frederikshavn

7 Men om noget er godt nok må jo vurderes i forhold til noget, og derfor er det væsentligt, at der også arbejdes med kriterier. Når man arbejder med kriterier med eleverne, er det vigtigt, at de 1) lærer noget om, hvad kriterier er, og hvad de skal bruges til. 2) bliver præsenteret for nogle kriterier fra lærernes side og oplever, at der evalueres i forhold til disse. 3) medvirker ved udarbejdelse og formulering af kriterier, således at de siden hen selv kan formulere kriterier. 4) lærer at evaluere eget arbejde og andres ud fra de på forhånd fastlagte kriterier. I forhold til pkt. 3 (og dernæst 4) kunne man som lærer(team) tage udgangspunkt i en dialog med klassen fx om kriterier for, hvornår en fortælling er god eller spændende eller hvad, der gør, at en fortælling kan siges at være et eventyr. Hvad gør en fortælling god? Hvad indeholder en fortælling, som vi vil sige er spændende? Hvornår er en fortælling et eventyr? Hvis vi så efterfølgende forestiller os, at klassen er blevet enig om, at et fælles mål i arbejdet med fortællinger er, at hver elev skal lave et spændende eventyr, og fortællingen skal være god, så er det overordnede mål (godt, spændende eventyr) på plads. Kriterierne findes i de stikord, der eventuelt er kommet på en fælles planche i klassen, hvoraf det fremgår, hvad man er blevet enige om, når det gælder, hvornår en fortælling er god, hvornår den er spændende, og hvornår der er tale om et eventyr. Hvilke metoder anvender du og sørger du for dokumentation? Elevni veaue t Evalueringsmetode Samtale i plenum eller med enkelte elever Feed back uden/med implicitte kriterier Eleven som subjekt Eleven som objekt Dokumentation Ingen dokumentation

8 Feed back på baggrund af kendte kriterier Feed back på mundtlige præsentationer Elev/elevrespons uden kriterier Elev/elevrespons med kriterier Skriftlig lærerrespons på forsk. Opgaver og produktioner Selvevaluering i form af evalueringsspørgsmål på elevniveau Elevportfolio/-portefølje Elevrefleksioner i logbog Før/efter spørgsmål-svar til eleverne Løbende lærerrespons/ vejledning i forhold til mål Lærervurdering på baggrund af arbejdsbeskrivelser/ opskrifter Registrering v/læreren Observation v/læreren Lærerens fornemmelser Spørgeskema til elever test (multiple-choice-test) Andre typer af prøver Lærer/pædagogniveauet Vurdering af om eleverne har nået målene Refleksion over egen undervisning Lærer/teamlogbog med refleksion over elevernes læring og egen undervisning Opstilling af undervisningsmål og vurdering i forhold til succeskrav i teamet

9