Workshop 4: Løbende evaluering og Faglig dokumentation VUC Vingsted kursus Onsdag d. 11. August 2010 Christina Laugesen, Evalueringskonsulent Danmarks Evalueringsinstitut (EVA) Hvem er jeg? Christina Laugesen Sociolog og evalueringskonsulent Særlig interesse for at bidrage til at skabe en meningsfuld evalueringskultur Fokus på evalueringsdesign, kvalitetsudvikling og implementering af resultater fra evalueringer
Hvem er EVA? Uafhængigt statsligt evalueringsinsititut på uddannelsesområdet. Gennemfører opgaver på eget initiativ og løser opgaver på konsulentbasis. Arbejder med evaluering og kvalitetsudvikling fra dagtilbud til videregående uddannelse og voksen og efteruddannelse. Cirka 100 medarbejdere. Hvad er programmet i dag? Hvad er evaluering? Typer af evaluering Hvorfor evaluere? Erfaringsudveksling Evalueringseksempler & evalueringsredskaber Implementering af en evalueringskultur
1) Hvad er evaluering? Hvad er evaluering? (1) En kvalificeret vurdering af noget der er hændt, det vil sige: er bagudrettet, men med fremadrettet perspektiv indeholder en vurdering er kvalificeret i betydningen baseret på dokumentation som er indsamlet og bearbejdet på en systematisk måde. Inspireret af Evert Vedung (1998), Utvärdering i politik og förvaltning: Lund; Studentlitteratur
Hvad er evaluering? (2) Evalueringer rummer både et empirisk aspekt og et normativt aspekt Det er det normative træk der adskiller evaluering fra andre former for undersøgelser (som fx forskning, klinisk epidemiologi, undersøgende journalistik og meningsmålinger). (Kilde: Encyclopedia of Evaluation (Fournier 2005: 140) Kvalitetshjulet Revision/ ændring Målsætning Analyse/ evaluering Praksis
Evalueringskultur Der kommer sjældent noget nyt frem i evalueringerne. Det, tror jeg, er den almindelige opfattelse hos lærerne (underviser) Behøver vi sætte hele dette apparat i gang for at finde katastroferne. Dem kender vi godt. Og det synes jeg er enormt spild af tid og en latterliggørelse af det hele (underviser) (EVA 2003: Undervisningsevaluering, Fem spørgsmål, Fem råd, Fem metoder) Tid til refleksion
Summeøvelse med sidemanden Hvad forbinder du med begrebet evalueringskultur? Hvad kendetegner en positiv evalueringskultur? Evalueringskultur handler om de måder hvorpå man tænker på, taler om og handler i forhold til evaluering og rummer både uformelle vaner og formelle procedurer.
2) Typer af evaluering Evaluering af undervisning vs. evaluering af elevernes udbytte af undervisningen Hvorfor er det vigtigt at skelne klart mellem disse to evalueringsopgaver? Hvorfor blandes de ofte sammen?
De to klassiske evalueringsformål Summativ og formativ evaluering Oversættes tit med kontrol og læring Suppe eksemplet Når kokken smager på suppen er det formativ evaluering Når gæsten smager på suppen er det summativ evaluering
Spørgsmål i fokus når der er et summativt evalueringsformål Lever denne uddannelse op til de krav vi som politikere stiller til uddannelseskvalitet i Danmark? Skal vi genudbyde dette kursus? Er underviseren god til at undervise? Giver indsatsen value for money? Er denne indsats så virkningsfuld at vi bør udbrede den til alle VUC er/hele undervisningssektoren? Spørgsmål i fokus når der er et formativt evalueringsformål Hvordan kan vi forbedre undervisningen? Hvordan kan vi styrke læringen?
Mere om skelnen formativ/summativ I praksis blandes formative og summative evalueringsformål tit. Der er imidlertid god grund til at være opmærksom på at de er forskellige. Tit tider kan de konflikte f.eks. kontrol læring. Evalueringsgenstande Undervisningen Kursisternes læring Spørgsmål af typen: Hvordan oplever og vurderer kursisterne undervisningen /arbejdsformerne? Hvad kan kursisterne? Hvad har de lært? Den faglige progression Evalueringstype Formativ Summativ Formativ Summativ Evalueringsredskaber, fx Spørgeskema, observation, logbøger, skriftlige/mundtlige evalueringer Tests, oplæg, samtaler Portfolio Prøver /eksamen
3) Hvorfor evaluere? Hvorfor evaluere? Kontrol af målopfyldelse Styrke læring og fremme refleksion Justere og udvikle kvaliteten af undervisningen Kvalificere grundlaget for dialog og vurdering
Hvorfor evaluere? Fremme dialog og involvering af deltagerne Metabudskab, fx til eleverne om at her tager vi jeres meninger alvorligt Skabe synlighed og viden om undervisningen, fx som grundlag for valg og fravalg Hvad siger avu-lovgivningen? Løbende evaluering både af: 1. Undervisningen 2. Kursistens progression
Hvad siger avu-lovgivningen? Intern evaluering Undervisningen skal løbende evalueres for at sikre, at planlægningen og gennemførslen af undervisningen lever op til de mål, der er for uddannelsen og for de enkelte fag (Lov nr. 311 af 30.04.2008, Kap. 5) Løbende evaluering Den løbende evaluering skal sikre, at den enkelte kursist får et klart billede af egne styrker og svagheder med hensyn til fremskridt og progression inden for faglige og læringsmæssige kompetencer og skal give grundlag for at justere undervisningen (Bekendtgørelsen nr. 292, kap 6, 18)
Faglig dokumentation Som afslutning på basisniveau og på niveau F og E skal kursisten i uddannelsestiden udarbejde et produkt, der er egnet som faglig dokumentation. Produktet fremlægges af kursisten og evalueres af kursistens lærer (Bekendtgørelsen nr. 292, kap 6, 21) Faglig dokumentation Kravet til den faglige dokumentation fremgår af det pågældende fags læreplan Produktet skal være egnet til vurdering intern evaluering af den enkelte kursists læring Udarbejdelse af faglig dokumentation har ikke betydning for om kursisten har afsluttet faget eller ej.
4) Erfaringsudveksling Hvordan bruger I løbende evaluering? Sæt jer sammen i grupper af fire-fem og diskuter følgende spørgsmål: 1. Kort præsentation 2. Hvilke erfaringer har du med undervisningsevaluering (formativ/summativ) 3. Hvilke konkrete evalueringsredskaber har du har haft størst gavn af at anvende? Hvad gjorde udslaget? 4. Hvilke erfaringer har du gjort i forhold til faglig dokumentation Form og indhold, evalueringen, læringsperspektivet
Hvordan bruger I løbende evaluering? Udarbejd en liste over evalueringsredskaber I har haft gavn af at anvende Knyt nogle ord til hvert redskab der beskriver formål og hvorfor det fungerede godt. Listerne afleveres til mig så laver jeg en samlet liste I har i alt 30. min! PAUSE
Eksempler og konkrete redskaber Evalueringsmetoder Valg af metode/-r afhænger bl.a. af: hvad der evalueres (fag, indsats, forløb, uddannelse) på hvilket niveau Formålet med evaluering (intern/ekstern formativ/summativ) hvem der involveres (interne, eksterne interessenter) hvornår det foregår (undervejs, efter afsluttede moduler, i slutningen ) formaliseringskrav (mundtligt eller skriftlig rapportering, referencer )
Eksempler på formativ evaluering (avu) Når læreren løbende påpeger konkrete fremskridt hos kursisten Procedure med samtale (seks uger efter start) mellem lærer og kursist om kursistens læringsproces ud fra på forhånd fastlagte spørgsmål (Eva 2006: Improving Teaching and Learning for Adults with basic Skill Needs through Formative Assessment) Eksempler på formativ evaluering (avu) Systematiske afbrud i kursistoplæg hvor læreren giver konkrete, evaluerende kommentarer relateret til faglige mål Brug af prøver af helt eller delvist samme form og indhold som de afsluttende (summative) prøver hvor der gives konkret tilbagemelding på hvilke indsatser der er påkrævet af den enkelte for at nå de faglige mål (Eva 2006: Improving Teaching and Learning for Adults with basic Skill Needs through Formative Assessment)
Eksempler på formativ evaluering (FVU) Brug af portfolio i form af rettede og kommenterede opgaver på pc som der refereres til og som anvendes løbende (Eva 2006: Improving Teaching and Learning for Adults with basic Skill Needs through Formative Assessment) Evalueringsmetoder Kontrakt / forventningsafstemning Samtaler til mundtlig evaluering/løbende dialog Logbog Portefølje Spørgeskema Interview eller fokusgrupper Delphi-metoden Kollegial vejledning / peer review Undervisermøder Dialog med tidligere kursister
Delphi-metoden Deltagerne får udleveret et skema, hvor de individuelt skriver tre positive ting og tre ting der skal gennemtænkes. De udfyldte skemaer cirkulerer rundt og alle deltagerne forholder sig til hinandens udsagn ved at sætte streger der hvor de er enige. Nævn tre positive ting ved workshoppen i dag 1. Sæt kryds hvis du er enig 2. 3. Nævn tre ting som fungerede mindre godt Sæt kryds hvis du er enig 1. 2. 3. Evaluering af undervisningen 2 ord Deltagerne skriver 2 ord ned, som opsummerer hvad de har oplevet i dag. Derefter tager vi en mundtlig runde. 1. 2.
Ressourcer til beskrivelse af metoder Evalueringskatalog: www.cbsevaluering.dk Ressourcer til beskrivelse af metoder Evaluering.uvm.dk
Implementering af en evalueringspraksis Fem indledende spørgsmål 1. Hvilke forventninger er der til evalueringen? 2. Hvorfor evaluere? 3. Hvad skal evalueringen afdække 4. Hvordan og af hvem skal resultaterne tolkes 5. Hvilke konsekvenser kan man forvente? (EVA 2003: Undervisningsevaluering, Fem spørgsmål, Fem råd, Fem metoder)
Fem råd til processen 1. Afstem formål, tidspunkt og metode 2. Fokuser og begræns dataindsamlingen 3. Forpligt aktørerne 4. Følg op på evaluering 5. Evaluér evalueringen (EVA 2003: Undervisningsevaluering, Fem spørgsmål, Fem råd, Fem metoder) Hvordan implementeres en ny praksis? Implementering fordrer: at processen skubbes i gang at de medarbejdere, som skal gennemføre forandringerne, tager den nye praksis til sig Sarah Fraser (2007): Fremskynde spredning af god praksis
Hvordan implementeres en ny praksis? Herudover er det vigtig med fokus på: Timing Relevans Ledelsesopbakning Kommunikation I den rette form og på rette tid Fordi du sidder med masterplanen, kender andre den ikke! Hvornår lykkes implementering? Når forandringerne: er relativt fordelagtige en forbedring af tidligere praksis er forenelige med den øvrige praksis er enkle og lette at iværksætte er enkle at afprøve giver mulighed for at observere forandringen og dens indvirkning på praksis og organisationen Rogers (1995): The Diffussion of Innovations
den typiske måde at standardisere processer på Planlægge Planlægge Planlægge Planlægge Godkende Ved skrivebordet Den virkelige verden Implementere Reinertsen, Bisognano & Pugh (2008) Oversættelse: Center for Kvalitetsudvikling, Region Midtjylland tilpasning af forandringer til den lokale kontekst Planlægge Godkende Hvis nødvendigt Ved skrivebordet Den virkelige verden Teste og modificere Teste og modificere Teste Teste og og modificere modificere Implementere Reinertsen, Bisognano & Pugh (2008) Oversættelse: Center for Kvalitetsudvikling, Region Midtjylland
Nyttige links http://www.eva.dk/udgivelser/2003/undervisningsevaluering-femspoergsmaal-fem-raad-fem-metoder/view http://www.cbsevaluering.dk/ http://www.konsulenter.acu-aarhus.dk/pt/mdc/h%c3%a5ndbogpdf.pdf http://www.dcum.dk/webfm_send/450