Evaluering af undervisning på FARMA

Transkript

1 Didaktisk enhed 19/ Evaluering af undervisning på FARMA om formålene med evaluering og fremtidige procedurer for undervisningsevaluering, herunder offentliggørelse af evalueringsrapporter. Baggrund: Københavns universitets uddannelsesservice har som udmøntning af det såkaldte Projekt Fokus på Undervisningsevaluering udarbejdet en procedure for undervisningsevaluering og offentliggørelse af evalueringsrapporter for KU som helhed. Hvert fakultet er blevet bedt om at opbygge en evalueringspraksis omkring den fælles procedure. Proceduren rummer flg. fire elementer: 1) En minimumsstandard for evalueringshyppighed bl.a. at alle fast tilbagevendende fagelementer evalueres som minimum hver anden gang. 2) En tjekliste for udarbejdelse af fakulteternes evalueringsprocedure 3) En tjekliste for udarbejdelse af konkrete evalueringsplaner på uddannelsesniveau 4) En procedure for offentliggørelsen af sammenfatttende evalueringsrapporter Didaktisk enhed blev i sommeren 2009 bedt om at være tovholder en proces der skulle munde ud i at FARMA kan indfrie ovenstående. I efteråret 2009 har Didaktisk enhed lavet et udkast til en sådan evalueringsprocedure, og sendt denne til høring i undervisningsudvalg og studienævn. På baggrund af de indkomne kommentarer fremlægges hermed et endeligt forslag til vedtagelse. Om formålet med undervisningsevaluering Svaret på spørgsmålet Hvorfor evaluere undervisningen? er: Vi evaluerer undervisningen for at optimere læringsbetingelserne for de studerende inden for det muliges rammer. Dybest set handler undervisningsevaluering således om de studerendes læring, men den centrale aktør i tilrettelæggelsen af læringsmiljøerne er underviseren (eller gruppen af undervisere). Det primære mål med undervisningsevalueringen på FARMA er således at de involverede undervisere får input af forskellig art til forbedring og udvikling af undervisningen. Ansvaret for undervisningsevalueringen og den konkrete udvikling af fagelementerne, ligger altovervejende hos de involverede undervisere, i samspil med undervisningsudvalg og studienævn. At evaluere egen undervisning er endvidere en måde for de involverede undervisere at udvikle deres pædagogiske 1

2 kompetencer. Dette formål benævnes den løbende kvalitetsudvikling af underviserkvalifikationer og undervisningen med henblik på at fremme de studerendes læringsudbytte og betingelser for læring. Det sekundære mål med undervisningsevaluering er, at institutlederne/undervisningsudvalg og studienævn kan danne sig et samlet overblik over undervisningen på uddannelserne, f.eks. med henblik på vurdering af sammenhænge på tværs af kurser, men også for at kunne hjælpe underviserne med opståede problemer, der ikke kan klares inden for de givne rammer. Såvel institut som studienævn har iflg. universitetsloven forpligtelser i forhold til at kvalitetsudvikle og kvalitetssikre undervisningen. Studienævnet har endvidere forpligtelse til at påse opfølgning af [..] undervisningsevaluering. Da studienævnet også har ansvar for udarbejdelse af studieordningen er det naturligt at studienævnet har et behov for at have fingeren på pulsen i forhold til den aktuelle situation på uddannelsen. For institutlederen og undervisningsudvalget er evaluering af det enkelte kursus/fagelement et vigtigt element i skabelsen af et systematisk overblik over kvaliteten i instituttets undervisning. Samtidig bidrager undervisningsevalueringen til, at studienævnene kan etablere et systematisk overblik over uddannelsernes kvalitet. Dette formål benævnes bidrag til etablering af et systematisk overblik for institut/undervisningsudvalg og studienævn. Det tertiære mål med undervisningsevaluering er, at viden om best practice og større indholdsmæssige ændringer spredes fra de undervisere der har været involveret i et kursus til en bredere gruppe af undervisere. Det kan f.eks. være nye pædagogiske initiativer der har været afprøvet med succes, og som andre undervisere kan have gavn af, eller det kan være større ændringer af studieordningen, der kan give anledning til behov for justeringer på andre fagelementer. Dette formål benævnes vidensdeling om undervisningens kvalitet inden for instituttet/fakultetet. Det kvartære mål med undervisningsevaluering er, at undervisningsevalueringen finder sted i overensstemmelse med de gældende retningslinjer (f.eks. KUs procedure) og lovmæssige krav (herunder f.eks lov om gennemsigtighed og åbenhed i uddannelserne). Endvidere, at FARMAs uddannelser kan leve op til de krav og retningslinjer der stilles fra f.eks. Akkrediteringsinstitutionen. Dette formål benævnes vidensdeling om undervisningens kvalitet til interessenter og partshavere uden for fakultetet. Alle målene med undervisningsevaluering er vigtige, men er det klart, at forudsætningen for en fornuftig evalueringskultur på fakultetet er, at underviserne fastholder fokus og ejerskabet til evalueringen af undervisningen. I den formaliserede procedure for undervisningsevaluering på FARMA er der derfor lagt vægt på at det primære formål med undervisningsevaluering fastholdes og styrkes, og at dette ikke undergraves af ambitioner om at styrke undervisningsevalueringens sekundære, tertiære eller kvartære forrmål. For at dette skal kunne lykkes må man tage det helt pragmatiske forhold i betragtning, at den 2

3 enkelte underviser kun afsætter en vis tid til evaluering af undervisningen i det hele taget. Hvis der skal bruges lang tid på at evaluere undervisningen med henblik på de sekundære, tertiære og kvartære formål vil det medføre mindre fokus på det primære. Dette er ikke ønskeligt, og som følge af disse overvejelser fastsættes det derfor at evalueringsproceduren på FARMA tager udgangspunkt i undervisernes sammenfattede evaluering af undervisningen og de studerendes udbytte, og ikke i f.eks. standardiserede studenterspørgeskemaer. Dette er i god tråd med traditionen på FARMA, og også med observationerne lavet i forbindelse med Peer review af FARMAs evalueringsprocedure. Heri lyder det bl.a.: På FARMA eksisterer der en stærk og positiv undervisningskultur der er med til at støtte op om undervisningsevalueringssystemet. Det er peer reviewgruppens opfattelse, at denne kultur er særlig for FARMA og meget vigtig at bibeholde. [..] Reviewgruppen hæftede sig ved, at fakultetet har etableret undervisningsteams under institutterne. Disse er med til at støtte den stærke undervisningskultur, samt at sikre medejerskab og udvikling af kurserne. Forankringen af evalueringsprodeduren i undervisernes evalueringer medfører: At underviserne til stadighed har ejerskabet og ansvaret for tilrettelæggelsen af undervisningsevalueringen At underviserne er frit stillet med hensyn til, hvordan deres kurser bedst kan evalueres, herunder f.eks. hvordan man bedst opnår høje svarprocenter på spørgeskemaer, om der er særlige tiltag, som kræver særlig evaluering etc, dog sådan at studienævnenes evt. supplerende bestemmelser overholdes (jf. afsnittet generelle anbefalinger til undervisningsevaluering nedenfor). At den grundlæggende tillid til undervisernes arbejde med evaluering og videreudvikling af undervisningen fastholdes. Evalueringsfrekvens I proceduren for undervisningsevaluering på KU er fastsat følgende minimumsstandard for evalueringsfrekvenser: Alle fast tilbagevendende fagelementer evalueres som minimum hver anden gang, med mindre der har været større ændringer i fagelementet [dvs. eller ved større ændringer]. Alle fagelementer evalueres første gang de udbydes FARMA fastholder KUs minimumsstandard for evalueringsfrekvenser. Det er op til de enkelte studienævn at afgøre, om man ønsker en højere evalueringsfrekvens. 3

4 Procedure for rapportering om undervisningsevaluering på FARMA 1. Før sommerferien udarbejder SN plan for hvilke fagelementer der skal indsende evalueringsrapporter i det efterfølgende studieår, baseret på hvem der står for tur samt strategiske overvejelser. SN udarbejder en skabelon for kursuslederens sammenfattende evalueringsrapport. Denne skabelon baseres på den generiske skabelon der findes i bilag 1, suppleret med evt. strategiske spørgsmål fra SN. Planen og skabelonen sendes til undervisningsudvalgene der efter behandling fremkommer med supplerende forslag til særlige fokusområder og evt. til kurser der bør inkluderes eller ekskluderes af hensyn til institutstrategiske overvejelser. 2. Efter eksamen udarbejder kursusleder for de udvalgte kurser en 1 2 siders evalueringsrapport af kurset (på studienævnets skabelon). Forud for dette har underviseren evalueret kurset og indhentet for kurset relevant datamateriale. 3. Kursusleder har ansvar for at informere øvrige lærere i kursusteamet om evalueringen af kurset. 4. Kursusleder fremsender evalueringsrapport til instituttets undervisningsudvalg. Evalueringen er en udfyldelse af den skabelon for evaluering det enkelte studienævn har besluttet. Kursusleder har ansvar for at evalueringsrapporten kommer til at ligge på kursushjemmeside til orientering for de studerende. 5. Undervisningsudvalget gennemlæser evalueringsrapporterne og finder, i samråd med kursuslederne, fremadrettede løsninger på de problemer der kan ordnes inden for instituttets rammer. 6. Undervisningsudvalget samler rapporterne og videresender dem med undervisningsudvalgets kommentarer til studienævnet. Kommenteringen kan f.eks. bestå i at forhold der kræver instituttets elle studienævnets hjælp kommenteres, eller det kan være tilføjelse af institutstrategiske kommentarer til de enkelte evalueringer, eller kommentarer vedrørende instituttets generelle undervisningsudbud. Rapporten skal udfærdiges på en måde, så der er en klar ansvarsfordeling mellem undervisningsudvalg (institut) og studienævn. 7. Studienævnet gennemlæser rapporterne og finder fremadrettede løsninger på tilbageværende problemer i samråd med institutterne og kursuslederne. 8. Studienævnet udfærdiger en sammenfattende rapport med henblik på offentliggørelse bl.a. på KU s hjemmeside ( Det bagvedliggende datamateriale for sammenskrivningen udgøres af rapporterne fra undervisningsudvalgene, der igen bygger på indrapporteringerne fra underviserne. 9. Studienævnet udsender den sammenfattende evalueringsrapport til kursuslederne med henblik på spredning af viden om god praksis. Studienævnet kan også tage initiativ til at udarbejde særlige dokumenter, afholde didaktiske møder osv. med henblik på vidensspredning af god praksis. Datamateriale til brug for undervisningsevaluering Underviserne bestemmer selv hvilke datakilder, de vil basere deres evaluering af undervisningen på. 4

5 Blandt de mulige kilder til information om undervisningens kvalitet kan f.eks. nævnes: Spørgeskemaer uddelt til studerende (evt. gennem ABSALON) Fokusgruppeinterviews Andre kvalitative eller kvantitative metoder Input fra semestermøder Drøftelser i kursusteamet Input fra eksterne undervisere Drøftelser med TAP personalet der er involveret i kursets afvikling Eksamensresultater Censorindberetninger Analyse af projektrapporter eller andre studenteropgaver Evt. adjunktopgaver der belyser relevante forhold i undervisningen Information om eksamen, karakterfordelinger og dumpeprocent Etc. Studienævnene bør arbejde med at få udbredt kendskabet til forskellige evalueringsformer til underviserne, f.eks. gennem information på nettet og pædagogiske arrangementer. Udarbejdelsen af sådant materiale kan rimeligvis gå på tværs af studienævnene, og evt. inddrage Didaktisk Enhed. Didaktisk enhed vil tage initiativ til at der bliver udarbejdet informationsmateriale om undervisningsevaluering i løbet af Endvidere vil administrationen kunne være behjælpelig med teknisk hjælp til, hvordan man inden for ABSALON kan etablere f.eks. tests og evalueringsskemaer elektronisk. Generelle anbefalinger til undervisningsevaluering Princippet i den skitserede evalueringsprocedure er, at ansvaret for evaluering placeres hos underviserne. Studienævnene kan desuden anbefale eller stille krav til underviserne om at underviserne inddrager bestemte bestemte datakilder eller tilrettelægger evalueringen på bestemte måder. Eksempler på sådanne anbefalinger er givet nedenfor (det understreges at de nedenstående punkter ikke er en del af minimumsstandarden, men eksempler på supplerende bestemmelser som de enkelte studienævn kan anbefale eller stille krav om): De studerende inddrages i undervisningsevalueringen. Evt. elektroniske studenterevalueringer bør besvares inden eksamen, da det erfaringsmæssigt er meget vanskeligt at få rimelige svarprocenter efter eksamen. Kurset evalueres i forhold til målsætningerne for kurset Der gøres brug af flere datakilder til evalueringen af undervisningen, f.eks. en kvantitativ og en mere kvalitativ. 5

6 Om offentliggørelse af evalueringsrapport og systemet af A, B og C kurser I den endelige evalueringsrapport som studienævnet skal indsende, skal de forskellige kursusevalueringer være opdelt i tre kategorier der er benævnt A, B og C. Fakultetet har frit spil til at definere indholdet af kategorierne, dog sådan at: I A samles evalueringer, der i forhold til definitionen af kategorien viser, at undervisningen/fagelementet fungerer særlig godt og kan være til inspiration for andre. I B samles evalueringer, der i forhold til definitionen af kategorien viser, at undervisningen/fagelementet fungerer tilfredsstillende I C samles evalueringer der i forhold til definitionen viser, at der i undervisningen/fagelementet er behov for flere justeringer. Jf. overvejelserne over forskellige formål med evalueringen og den ovenfor beskrevne procedure for undervisningsevaluering benyttes følgende kategorier som udgangspunkt for indrapporteringerne: Udviklingskurser: De kurser hvor den løbende udvikling foretages af de involverede undervisere (jf. evalueringens primære formål) i samråd med instituttets undervisningsudvalg og institutleder, uden behov for særlig indsats fra studienævnet Indsatskurser: De kurser der har anmodet om en særlig indsats fra studienævnets side, eller kurser hvor undervisningsudvalg eller studienævn finder anledning hertil af strategiske hensyn (evalueringens sekundære formål). Idékurser: De kurser der har angivet at der er forhold på kurset der kan tjene til inspiration for andre (evalueringens tertiære formål). Kurser kan godt være i flere af ovenstående kategorier f.eks. nye kurser der har gjort gode erfaringer med nogle ting som vil være relevante for andre (idékursus), men hvor der er behov for opmærksomhed fra Studienævnets side på andre forhold (indsatskursus). De tre kategorier udelukker således ikke hinanden (dog sådan at et kursus ikke både kan være et indsatskursus og et udviklingskursus). Grunden til at det kun er studienævnet der er nævnt i de tre kategorier (og ikke undervisningsudvalget) er, at studienævnet bygger sin indrapportering fra sammenfatningerne fra undervisningsudvalgene efter at undervisningsudvalgene har redigeret eller suppleret bidragene (skabelonens punkt 6) med yderligere kommentarer, hvis det er noget der kan ordnes inden for undervisningsudvalgets/instituttets rammer. Hvilke kategorier et kursus placeres i afhænger først og fremmest af kursuslederens evaluering af kurset (svar på spørgsmål 6 og 7 i den generiske skabelon i bilag 1). Sekundært afhænger det af 6

7 undervisningsudvalget der kan supplere med en kommentar til evalueringsrapporterne på vejen til studienævnet. F.eks. kan en kursusrapport, der har markeret behov for involvering fra undervisningsudvalg/studienævn ændres på undervisningsudvalgets foranledning til at der ikke at behov for særlig indsats fra studienævnet, hvis problemet kan løses på instituttet. Endelig kan studienævnet på eget initiativ vælge at omplacere et kursus hvis der er behov for en strategisk satsning på et særligt forhold. Det kunne f.eks. være at tværlæsningen af evalueringsrapporterne gør at man får øje på forhold der kan retfærddiggøre en tværgående indsats. Det kunne f.eks. være at mange kurser/rapporter peger på et fælles problem, f.eks. vedrørende brugen af e læringsplatformen eller lignende. Studienævnene bør ikke følge den af KU udarbejdede skabelon med hensyn til at benævne kategorierne A, B og C pga. den signalforvirring en sådan rubricering kan føre til. Eftersom de enkelte fakulteter selv kan definere hvad der ligger i de tre kategorier giver det alligevel ikke mening at sammenligne kategorierne på tværs af uddannelserne. Blandt andet af denne grund bør man undgå disse benævnelser, og i stedet benytte betegnelserne Idékurser, Udviklingskurser og Indsatskurser som angivet ovenfor. 7

8 Bilag 1: Forslag til generisk skabelon for undervisningsevaluering. 1. Kursusnavn, kursusleder, undervisere i uv.team 2. Evaluering af kursets forløb 3. Hvilke datakilder ligger til grund for evalueringen? 4. Forløb af eksamen (karakterfordeling, dumpeprocent) 5. Hvad vil der (inden for kursusteamets rammer) blive arbejdet med i den løbende udvikling af kurset til næste gang? 6. Er der forhold på kurset der kræver involvering af og/eller særlig indsats fra undervisningsudvalg eller studienævn? 7. Er der forhold på kurset som bør fremhæves (f.eks. nye pædagogiske initiativer eller større ændringer af curriculum på forudsætningskurser) som undervisere på instituttet/fakultetet bør få kendskab til? Dertil kan det enkelte studienævn i samspil m. undervisningsudvalg udbygge skabelonen med spørgsmål af strategisk interesse, f.eks. specifikke spørgsmål til forløbet i blokstrukturen eller lign. [Man vil med fordel kunne trække på materiale fra KU NATs underviserevaluering, ]. 8