Procedure til evaluering af vejledningsforløb på BA- og kandidatuddannelser på Aarhus BSS Pilotprojekt 2016/17 Aarhus BSS, august 2016
1 Indhold 2 Formål med evalueringsproceduren for vejledningsforløb på Aarhus BSS... 2 3 Dataindsamling ved evaluering af vejledningsforløb ved BA-opgaver og specialeafhandlinger... 2 3.1 Evaluering af vejledning i to typer bacheloropgave-forløb... 2 3.2 Evaluering af vejledning i forbindelse med rene vejledningsforløb (BA-opgaver og specialeafhandlinger)... 3 3.3 Spørgeskema til evaluering af vejledningsforløb... 3 3.4 Dataindsamlingsprocessen ved pilotprojekt i 2016... 3 4 Databearbejdning... 4 4.1 Rapporter til vejledere... 4 4.2 Rapporter og nøgletal til studieledere og studienævn... 4 4.3 Særkørsler med uddybende analyser:... 4 5 Drøftelse og opfølgning... 4 6 Evaluering af proceduren for evaluering af vejledning... 4 Dokumenthistorik Version Dato Beskrivelse Status 1.4 27. april 2016 Procedure til evaluering af vejledningsforløb Pilot 1.4 August 2016 Pilotprocedure forlænges til og med F2017 Pilot 1
2 Formål med evalueringsproceduren for vejledningsforløb på Aarhus BSS Evalueringsproceduren for vejledningsforløb på Aarhus BSS tager sigte på systematisk at evaluere den omfattende undervisning, der sker i form af vejledning i forbindelse med bacheloropgaver og specialeafhandlinger. Formålet med evalueringsproceduren for vejledning er at skabe et udviklingsværktøj for underviserne, idet evalueringen tilvejebringer systematisk feedback fra de studerende om vejledningsforløbene som supplement til den løbende feedback, der typisk er en del af selve vejledningsprocessen. Formålet er endvidere at tilvejebringe et empirisk grundlag for studieledernes og studienævnenes drøftelse og kvalitetssikring af uddannelsernes vejledningspraksis. Evalueringer af vejledningsforløb er med få undtagelser ikke anonyme. Pilotprojekt for 2016 og 2017 I 2016 og 2017 følges en pilot-procedure da datagrundlaget ved rene vejledningsforløb først tillader sammenkobling af vejleder og studerende efter at de studerende har afleveret deres BA-opgaver og specialeafhandlinger i Wiseflow. Data til evaluering tilvejebringes gennem Wiseflow. 3 Dataindsamling ved evaluering af vejledningsforløb ved BA-opgaver og specialeafhandlinger 3.1 Evaluering af vejledning i to typer bacheloropgave-forløb Vejledning i forbindelse med BA-opgaver er på Aarhus BSS overordnet organiseret på to forskellige måder, nemlig (1) bachelor-seminarer og (2) rene vejledningsforløb. 1. Bachelorseminarer består typisk af undervisning der efterfølgende overgår til vejledningsforløb, hvor underviseren vejleder de studerende på bachelorseminaret vedrørende den individuelle BAopgave med problemstillinger, der ligger inden for seminarets overordnede emne. Disse forløb følger den generelle procedure for evaluering af kursusforløb (se procedure og evalueringsskemaer via hjemmesiden for kursusevaluering på Aarhus BSS her) og evalueres med standardskema + 6 spørgsmål om vejledning (skema C). Disse forløb vil ikke blive behandlet yderligere i nærværende procedurebeskrivelse. 2. BA-opgaver skrevet på baggrund af rene vejledningsforløb foregår ved, at de studerende vælger/får tildelt en vejleder, som giver (som hovedregel individuel) vejledning i forbindelse med skrivningen af de enkelte opgaver. Disse forløb evalueres med et skema udviklet til evaluering af rene vejledningsforløb (skema D) og følger samme procedure som evaluering af specialevejledning, der beskrives nedenfor. 2
3.2 Evaluering af vejledning i forbindelse med rene vejledningsforløb (BA-opgaver og specialeafhandlinger) Evaluering af rene vejledningsforløb i forbindelse med BA-opgaver og evaluering af vejledningsforløb i forbindelse med specialeafhandlinger er IKKE anonyme evalueringer. Studerende og vejleder har en 1-1 vejledningsrelation, som ikke kan anonymiseres. Evalueringerne følger proceduren som beskrives i det følgende afsnit. 3.3 Spørgeskema til evaluering af vejledningsforløb Vejledningsforløb evalueres vha. af et skema udviklet til evaluering af rene vejledningsforløb med 22 lukkede spørgsmål + 2 åbne spørgsmål (skema D). Se spørgeskemaet via hjemmesiden for kursusevaluering på Aarhus BSS her. De fælles spørgsmål indsamler information om følgende elementer i vejledningen: 1. Forventning til vejledningen 2. Vejledningen i relation til forskellige elementer i processen: problemformulering, litteratursøgning mv. 3. Feedback 4. Vejledningsrelationen 5. Generel tilfredshed og udbytte 6. Den studerendes egen indsats 7. Andre forhold. 3.4 Dataindsamlingsprocessen ved pilotprojekt i 2016 1. Kort efter afleveringen af henholdsvis BA-opgaver og specialeafhandlinger modtager de studerende en mail med link til evalueringsskemaet (skema D: 22 lukkede spm + 2 åbne spm). Dette link kan også tilgås via Blackboard. De gøres opmærksomme på at besvarelsen ikke er anonym, og at besvarelsen derfor tilbageholdes jf. afsnit 4. 2. En uge efter modtagelsen af evalueringsskema fremsendes en reminder til de studerende om, at evalueringsvinduet lukker om 24 timer. De studerende opfordres også her til at deltage i evalueringen. De studerendes evaluering af vejledningsforløb er IKKE anonym. Derfor tilbageholdes og fremsendes evalueringsrapporter først til vejlederne efter at karaktererne er givet og klagefristen udløbet jf. afsnit 4. 3
4 Databearbejdning 4.1 Rapporter til vejledere Vejleder modtager, efter karaktergivning og klagefristens udløb, en evalueringsrapport for hver studerende, som de har vejledt, med den studerendes individuelle svar på lukkede og åbne spørgsmål. Navnet på den enkelte studerende er angivet på rapporten og evalueringen er ikke anonym. Såfremt en vejleder har vejledt flere end 2 studerende indenfor et semester, vil vejlederen få en rapport der samler alle besvarelser i en rapport med afgivelse af gennemsnitlige svar på de lukkede spørgsmål. 4.2 Rapporter og nøgletal til studieledere og studienævn Evalueringsrapporterne fra de enkelte vejledningsforløb og evalueringsrapporterne med angivelse af gennemsnit vil samtidig med fremsendelsen til vejlederne blive fremsendt til det respektive studienævns funktionspostkasse for digital evaluering. Lokale procedurer specificerer, hvem der har adgang til denne funktionspostkasse: studieledere, formænd for studienævnene (hvor der ikke er sammenfald med studielederen), næstformænd i studienævnene, studienævnsmedlemmer, Institutledere, fagkoordinatorer, studienævnssekretær og/eller institutsekretær. Nøgletal: Der udarbejdes aggregerede nøgletal 2 gange årligt: efter 1. august vedr. forårets og sommerens evalueringer og efter 1. februar vedr. efterårets evalueringer. Rapporter med aggregerede nøgletal fremsendes til studienævnenes funktionspostkasser for digital evaluering. 4.3 Særkørsler med uddybende analyser: Undervisere kan ved direkte henvendelse til CUL rekvirere særkørsler med aggregerede tal for flere af deres vejledningsforløb i samme semester eller - på sigt - på tværs af semestre. Undervisere, fagansvarlige, fagstudienævn, studieledere, institutledere, fakultetsstudienævn, fakultetsledelse har adgang til data og bestiller særkørsler efter retningslinjer, som er nærmere beskrevet i notatet Principper for behandling af evalueringsdata, Aarhus BSS (se det via hjemmesiden). 5 Drøftelse og opfølgning Studieledere og studienævn fastlægger lokale procedurer for drøftelse og opfølgning på vejledningsforløb. 6 Evaluering af proceduren for evaluering af vejledning I august 2016 blev pilotproceduren drøftet i kredsen af studieledere og forlænget til sommeren 2017. 4
I august 2017 vil pilotprojektet for evaluering af vejledningsforløb blive evalueret og justeret efter behov. Denne proces følger evalueringen af Procedure til evaluering af kursusforløb på BA- og kandidatuddannelse på Aarhus BSS. Teknikken, spørgsmålene og proceduren evalueres herefter løbende og drøftes som minimum én gang årligt på et ordinært møde i fakultetsstudienævnet. Drøftelsen vil i reglen ske på fakultetsstudienævnets 1. møde efter sommerferien. 5