Procedure for evaluering på HD, Aarhus BSS. Aarhus BSS, oktober 2016

Transkript

1 Procedure for evaluering på HD, Aarhus BSS Aarhus BSS, oktober 2016

2 v. 1.2 Oktober 2016 Indhold 1 Formål med evalueringsproceduren 3 2 Evaluering af kursusforløb og seminarforløb 3 3 Evalueringsspørgsmål til evaluering af kursusforløb 5 4 Evalueringsspørgsmål til evaluering af seminarforløb 6 5 Evalueringsrapporter 6 6 Fortolkning og stillingtagen 7 7 Offentliggørelse 9 8 Evaluering af evalueringsordningen 9 Appendix 1: Oversigt over lokale procedurer og andre praktiske tiltag 9 Dokumenthistorik Version Dato Beskrivelse Status 1.1 September 2016 Udkast til procedure er drøftet i arbejdsgruppen med Godkendt Studieleder 1.2 September 2016 Udkast til dataindsamling v evaluering af seminarforløb Udkast tilføjet 1.2 Oktober 2016 Tilføjelser vedr. evaluering af seminarforløb er drøftet af studieleder og koordinatorer Godkendt 2

3 Procedure til evaluering af kursusforløb og seminarforløb på HD, Aarhus BSS 1 Formål med evalueringsproceduren Formålet med proceduren for evaluering af kursusforløb på HD, Aarhus BSS er at skabe et udviklingsværktøj for undervisere, der øger fælles viden og bevidsthed om, hvad der bedst understøtter de studerendes læring på HD, Aarhus BSS. Målet er en evalueringsprocedure, der involverer de studerende, undervisere, fagkoordinatorer, studieleder og HD-studienævnet m.fl. i en løbende, institutionaliseret dialog om de studerendes læring og udbytte af de enkelte kursusforløb og danne et empirisk grundlag for HD-studienævnets og studielederens kvalitetssikring af kursusforløb. Målet er endvidere, at evalueringsproceduren skal være systematisk og transparent, og der skal være en klar ansvarsfordeling for arbejdet med kvalitetssikring og den kontinuerlige udvikling af kursusforløb. 2 Evaluering af kursusforløb og seminarforløb Den samlede procedure for evaluering af på kursusforløb og seminarforløb på HD, Aarhus BSS er som følger: 2.1 Forventningsafstemning ved kursusforløbets start Ved begyndelsen af alle kursusforløb fremlægger underviseren sine overvejelser for de studerende over det kommende undervisningssamvær, herunder de valg underviseren og Studienævnet har taget vedrørende læringsmål, indhold, eksamen, undervisnings- og læringsaktiviteter og brug af medier (herunder educational it). 2.2 Midtvejsevaluering på alle kursusforløb. Alle kursusforløb bør midtvejsevalueres. Underviserne kan tilrettelægge midtvejsevaluering i løbet af kurset mhp. at diskutere både mål, udbytte og proces med de involverede studerende. Studienævnet beslutter principper for midtvejsevaluering. Midtvejsevalueringen er uformel, decentral og dialogorienteret, og organiseres af den enkelte underviser under hensyntagen til Studienævnets principper. Data kan indsamles til øjeblikkelig brug eller til efterfølgende granskning. Der eksisterer en idébank på hjemmesiden for evaluering med forslag til hvordan midtvejsevaluering kan gennemføres. Eksempelvis via: mundtlige tilkendegivelser i plenum, fokusgrupper med holdrepræsentanter, enkle 3

4 digitale værktøjer som f.eks. padlet eller poll everywhere, spørgeskema eller diskussionsforum i Blackboard, eller en enkel papirløsning. 2.3 Slut-evaluering (end-of-course evaluering). Alle kursusforløb evalueres. Slutevaluering af kursusforløb sker på grundlag af et fælles, digitalt, spørgeskema administreret af evalueringsteamet på Center for Undervisning og Læring (CUL) efter retningslinjer vedtaget af studienævnet. Evaluering sker på dansk. 2.4 Dataindsamling ved slutevaluering af kursusforløb Dataindsamlingen tilstræbes at ske i ugen inden sidste undervisningsgang, hvor der afsættes minutter af undervisningstiden til, at de studerende kan udfylde spørgeskemaet. Sidste undervisningsgang drøfter underviser og studerende det samlede kursusforløb mundtligt bl.a. med afsæt i udvalgte mønstre fra evalueringsrapporten. Det er vigtigt, at de studerende oplever at evalueringerne bruges til noget, hvis de - semester efter semester - skal blive ved at deltage i evaluering af kursusforløb. Timingen af dataindsamlingen er vigtig både for at opnå en høj svarprocent, og for at data kan danne grundlag for dialog om kursusforløbet. Evalueringsprocessen ved slutevaluering: 3 uger før sidste undervisningsgang: Underviserne adviseres om den kommende evaluering. Underviser vælger evt.: 1. supplerende spørgsmål fra spørgsmålsbanken 2. at ændre datoer for evalueringsperiode Sidste undervisningsgang: evalueringsresultater drøftes med de studerende Kort efter semesterstart: Studienævnssekretæren adviseres om semesterets evalueringer og tilretter en række defaultindstillinger vedrørende den kommende evaluering: 1. hvilket standardskema der anvendes 2. hvilke undervisere som evalueres 3. datoer for evalueringsperiode 1-2 uger før sidste undervisningsgang (afhængigt af datoer sat for evalueringsperiode): 1. evaluering åbnes og studerende modtager link 2. underviser modtager reminder om at evalueringsvinduet er åbnet Reminder til studerende som endnu ikke har evalueret To dage før sidste undervisningsgang: underviser modtager en kursusevaluerings rapport 4

5 På HD evalueres underviserne som udgangspunkt individuelt og ikke som underviserteam. Det er muligt for de enkelte underviserteams at ændre denne default indstilling fra individuel til team-evaluering. 2.5 Dataindsamling ved slutevaluering af seminarforløb Dataindsamlingen tilstræbes at starte på eller kort efter sidste seminarbehandling, efter alle studerende har haft mulighed for at forsvare egen seminarrapport. Hvis muligt afsættes der minutter til, at de studerende kan udfylde spørgeskemaet, hvorefter underviser og studerende kort drøfter seminarforløbet mundtligt. Evalueringen er åben i ca. 7 dage fra sidste mødegang. Afrapporteringen sker som udgangspunkt på samme måde som ved evaluering af kursusforløb, og er nærmere beskrevet nedenfor. 3 Evalueringsspørgsmål til evaluering af kursusforløb Kursusforløb på HD, Aarhus BSS evalueres med et spørgeskema der er udviklet til evaluering af kurser på HD, Aarhus BSS. Spørgeskemaet rummer 38 spørgsmål indenfor 11 kategorier. De fælles spørgsmål indsamler informationer om følgende elementer i kursusforløbet: 1. Forventningsafstemning 2. Feedback 3. Underviserens kompetencer 4. Arbejdsmarkedsrelevans 5. Kursusmateriale 6. EDU-IT 7. Kursisternes arbejdsindsats 8. Kollegialitet blandt medstuderende 9. Praktisk tilrettelæggelse 10. Overordnet vurdering af udbytte 11. Afsluttende spørgsmål De studerende sikres anonymitet ved besvarelsen af skemaerne. Foruden de fælles spørgsmål kan underviser tilføje supplerende spørgsmål til skemaet fra en spørgsmålsbank via link i mail/blackboard. Det er muligt at tilføje evalueringsspørgsmål til banken ved at fremsende forslag til Evalueringsteamet via denne formular. Spørgsmål udarbejdes eksempelvis af underviser, hvorefter disse valideres og lagres i banken af evalueringsteamet. De supplerende spørgsmål kan derefter tilgås via 5

6 spørgsmålsbanken af alle undervisere. Oversigt over spørgsmålene i spørgsmålsbanken vil kunne ses på hjemmesiden for evaluering. 4 Evalueringsspørgsmål til evaluering af seminarforløb Seminarforløb på HD, Aarhus BSS evalueres med et spørgeskema udviklet til evaluering af seminarforløb på HD, Aarhus BSS og kan ses på hjemmesiden for evaluering. Spørgeskemaet rummer 24 spørgsmål indenfor 8 kategorier. De fælles spørgsmål indsamler informationer om følgende elementer i kursusforløbet: Forventningsafstemning Selve vejledningen Vejledningsrelationen Opponent/ Feedback aktivitet Kursistens egen indsats Andre forhold af betydning Udbytte Øvrige kommentarer/åbne spørgsmål Foruden de fælles spørgsmål kan underviser tilføje supplerende spørgsmål til skemaet fra en spørgsmålsbank via link i mail/blackboard. Det er muligt at tilføje evalueringsspørgsmål til banken ved at fremsende forslag til evalueringsteamet via denne formular. Spørgsmål udarbejdes eksempelvis af underviser, hvorefter disse valideres og lagres i banken af evalueringsteamet. De supplerende spørgsmål kan derefter tilgås via spørgsmålsbanken af alle undervisere. Oversigt over spørgsmålene i spørgsmålsbanken vil kunne ses på hjemmesiden for evaluering. 5 Evalueringsrapporter Databearbejdningen er, i vid udstrækning, automatiseret, så alle involverede undervisere meget hurtigt (få timer) efter dataindsamlingen kan modtage en rapport med overskuelig og indbydende grafik med figurer, tabeller og tekst. 5.1 Rapporter til undervisere Rapporterne indeholder forside, grafik, statistik, tekst (svar på åbne spørgsmål) fra studerende på egne kursus- og seminarhold. Alle undervisere/underviserteams modtager evalueringsrapport fra eget kursus- eller seminarforløb. I overensstemmelse med studienævnets retningslinjer fremsender evalueringsteamet 6

7 evalueringsrapporter fra de enkelte kurser og seminarer (tal + kommentarer) til den særlige evalueringspostkasse for HD-studienævnet (undervisningsevaluering-hd@mgmt.au.dk) samtidig med, at evalueringsrapporterne fremsendes til de enkelte undervisere (se afsnit 3.2). 5.2 Rapporter med nøgletal til studieledere og studienævn Rapporter med figurer og statistik på aggregeret niveau for HD-uddannelser på Aarhus BSS vil blive fremsendt til den særlige evalueringspostkasse for HD-studienævnet (undervisningsevaluering- HD@mgmt.au.dk). Lokale procedurer specificerer, hvem der har adgang til denne postkasse, eksempelvis: studieleder, studienævnssekretær, formand/næstformand i studienævnet, studienævnsmedlemmer, fagkoordinatorer, institutleder, institutsekretær. 5.3 Særkørsler med uddybende analyser: Undervisere kan ved direkte henvendelse til evalueringsteamet rekvirere særkørsler vedrørende eget kursus- og/eller seminarforløb. Undervisere, fagansvarlige, HD-studienævnet, studieledere, institutledere, fakultetsstudienævn, fakultetsledelse har adgang til data og bestiller særkørsler efter retningslinjer, som er nærmere beskrevet i notatet Principper for behandling af evalueringsdata, Aarhus BSS. Notatet kan læses via hjemmesiden for digital kursusevaluering. 6 Fortolkning og stillingtagen Følgende procedure foreslås for at imødekomme ønsket transparens, klar ansvarsfordeling og handling på baggrund af de indsamlede evalueringsdata. 1. Dialog mellem de studerende og underviseren på sidste undervisningsgang om kursusforløbet. Underviseren kan i dialogen inddrage nogle af resultaterne fra den tilsendte rapport. 2. Underviseren/underviserteamet drøfter evalueringerne med mindst én kollega/underviser. Drøftelserne kan evt. organiseres som en del af den rutinemæssige mødeaktivitet om planlægning af kursusforløb. Eksterne undervisere kan drøfte evalueringen med eksempelvis fagkoordinator. Det bør være et princip, at ingen underviser lades alene med sine kursusevalueringer, da dette er uhensigtsmæssigt for både medarbejdertrivsel og for spredning af best practice inden for undervisning. Det er et mål, at evalueringsprocedurerne bidrager til størst mulig åbenhed og institutionalisering i deling af gode og dårlige erfaringer med kursusforløb. Lokale procedurer for denne kollegiale sparring fastsættes af HD-studienævnet. 3. Underviseren/underviserteamet fremsender i god tid før studienævnet planlægger næste semesters undervisningsudbud en følgeskrivelse af ⅓ 1 sides længde til den fagansvarlige og HDstudienævnet. 7

8 HD-studienævnet fastsætter frist og procedure for fremsendelse af følgeskrivelser. Om muligt afventer fremsendelsen afviklingen af eksamen. Fremsendelse kan eksempelvis ske via den særlige evalueringspostkasse (jf. afsnit 3.2). I følgeskrivelsen redegøres for: a) Hvad der fungerede godt i forhold til a. kursets læringsmål, b. indhold, c. eksamensform og udprøvningsstrategi, d. undervisnings- og læringsaktiviteterne, e. undervisningsmedier (herunder edu-it, hvor det er relevant) b) Hvad fungerede mindre hensigtsmæssigt c) Hvad der planlægges ændret med henblik på en evt. gentagelse af kurset d) Hvad der er gjort for at leve op til evt. tidligere råd, ønsker og krav fra HD-studienævnet i forbindelse med tidligere evalueringer. 4. HD-studienævnet drøfter understøttelsen af de studerendes læring og udbytte af kursusforløb og seminarforløb på uddannelserne hvert semester med afsæt i evalueringsrapporter, følgeskrivelser, nøgletal og evt. andet rekvireret materiale fra studerende, undervisere, fagansvarlige/afdelingsformænd med videre. HD-studienævnet kan, hvis særlige forhold taler for det, vælge at delegere drøftelsen af udvalgte kurser på grundlag af fremsendte rapporter og følgeskrivelser til andre organer (afdelinger, faggrupper). Proceduren for delegation skal være skriftlig. HD-studienævnet kan i et vist omfang behandle kurser på grundlag af en samlerapport med udvalgte indikatorer fra hvert forløb. 5. HD-studienævnet formulerer evt. råd, ønsker, henstillinger og krav til enkeltkurser og programmer. HD-studienævnets drøftelser af kursusevaluering fremgår af referat eller særskilt rapport. 6. Det overordnede ansvar for opfølgning på kursusevaluering har hjemmel i Universitetsloven samt vedtægt for Aarhus Universitet og er som følger: Institutlederen skal med inddragelse af studienævn og studieleder følge op på evaluering af uddannelse og undervisning. Studienævn og studieleder har til opgave at påse opfølgning af uddannelses- og undervisningsevalueringer. Dette konkretiseres til en opfølgning fordelt på følgende aktører: HD-studienævn: Drøfter hvert semester evalueringer, formulerer evt. råd, ønsker, henstillinger og krav til enkeltkurser og programmer. Det er HD-studienævnets ansvar at sikre etablering af lokale procedurer. 8

9 Studieleder: Studielederen orienterer hvert semester institutlederen om evalueringens hovedresultater og drøfter i den forbindelse behovet for opfølgning med institutlederen. Institutleder: Følger hvert semester op på evalueringer i samarbejde med studieleder og evt. studienævn. Holder ansvaret for personalemæssige implikationer af kursusevalueringer. Prodekan for uddannelse/dekanatet: Sikrer ensartet evalueringsprocedurer på tværs af Aarhus BSS. Kan rekvirere analyser som grundlag for sikring af kvalitet af uddannelse og undervisning på fakultetet samt tværgående kvalitetsudvikling af fakultetets uddannelser. Ovenstående aktører kan rekvirere særkørsler og analyser som beskrevet i Principper for behandling af evalueringsdata på Aarhus BSS. Notatet kan læses via hjemmesiden for digital kursusevaluering. 7 Offentliggørelse I henhold til lov om gennemsigtighed og åbenhed i uddannelser er institutterne forpligtet til at offentliggøre visse oplysninger om undervisningens kvalitet. Studienævnet beslutter lokale procedurer for offentliggørelse. Det foreslås her, at studienævnet offentliggør: 1. Udviklingen i udvalgte nøgletal på aggregeret niveau. Det kunne f.eks. være tallet for selvvurderet udbytte beregnet som et gennemsnit for alle studerende på en samlet uddannelse. 2. Studielederens ledsagende korte kommentar med afsæt i studienævnets drøftelse og stillingtagen. 8 Evaluering af evalueringsordningen Evalueringsordningen (teknikken, spørgsmålene, procedurerne) evalueres løbende og drøftes som minimum én gang årligt i HD-studienævnet. Appendix 1: Oversigt over lokale procedurer og andre praktiske tiltag Nedenfor følger en oversigt over de procedurer og lokale tiltag, der skal besluttes i HD-studienævnet som supplement til de fælles procedurer til evaluering af kursusforløb på HD, Aarhus BSS: 1. Lokale principper for midtvejsevaluering besluttes og kommunikeres (2.2) 2. Specificering af, hvem der skal have adgang til studienævnets evalueringspostkasse (3.2) 3. Lokale procedurer for kollegial sparring omkring evalueringsresultater besluttes og kommunikeres ud fra princippet om, at ingen underviser skal være alene med sin evaluering (4.2) 9

10 4. Lokale frister og procedurer for undervisernes fremsendelse af følgeskrivelse besluttes og kommunikeres (4.3) 5. Lokale procedurer for det enkelte studienævns drøftelse af og opfølgning på kursusevaluering formuleres (4.4) 6. Lokale principper for indhold og procedure for offentliggørelse af evalueringsresultater formuleres (5.1 og 5.2) 10