Få tankerne ned VIA University College Notat Møde mandag d.2. februar 2015 Deltagere: Uddannelsesledelsen og MEBG Vedr.: Opfølgning på Slutevaluering ved BK/ATCM og KLT i E13/F14 Ramme Ved slutningen af hvert semester gennemføres der en skriftlig slutevaluering. I slutevalueringen, har der været fokus på at besvare følgende undersøgelsesspørgsmål: 1. Har de studerende nået læringsmålene beskrevet i studieordningen? 2. Hvordan har tilrettelæggelsen og den praktiske gennemførelse af semesteret, understøttet de studerendes opnåelse af læringsmålene? NOTAT Udarbejdet af: Mette Blach Graversen AC-medarbejder E: MEBG@VIA.DK T: +4587554112 Dato: 3. februar 2015 1/6 Ved dette møde, samler ledelsen op på de aggregerede kvantitative resultater samt undervisere og studerendes vurdering deraf. I dette notat findes: - En opsummering af resultaterne for slutevaluering af undervisningsforløb i E13/F14 - Ledelsens vurdering af resultaterne (konklusioner) - En beskrivelse af evt. igangsatte initiativer Resumé af Slutevaluering af undervisningsforløb E13 Generelt var svarprocenterne lave og usikkerhederne derfor høje. Ved KLT var svarprocenten dog på 80. Generelt var resultaterne ikke gode (dvs. under grænseværdien på 70). De skriftlige kommentarer gik især på praktikaliteter og underviserne. Spørgerammen gav anledning til at overveje, om målingen var valid. Mange af spørgsmålene gik på tilfredshed, hvilket ikke understøtter forudsætningen om, at de studerende også selv bærer et ansvar for deres læring og udbytte af de gennemførte studieaktiviteter. MEBG fik til opgave, at udarbejde en ny spørgeramme med inddragelse af teamkoordinatorerne. MEBG skulle sikre en mere kvalificeret måling (metodisk korrekt) og sikre besvarelse af de undersøgelsesspørgsmål, der fremgår af Processtandarden for evaluering af undervisning.
Især grundet den lave svarprocent blev resultaterne ikke vurderet pålidelige. Ydermere var resultaterne ikke repræsentative for de segmenter, der var en del af totalundersøgelsen. Det blev vurderet, at der skulle gøres mere for at koordinere gennemførelsen af slutevalueringen med underviserne, så den ligger på det rigtige tidspunkt i forhold til eksamen, det er muligt at samle de studerende på klassen og bruge tid på besvarelse. MEBG fik til ansvar at koordinere dataindsamlingen og opfølgningen med teamkoordinatorerne. 2/6 Resumé af Slutevaluering af undervisningsforløb F14 Svarprocenter: - BK Horsens: 54 % - BK Aarhus: 63 % - BK Holstebro: 60 % - ATCM Horsens: 60 % - ATCM Aarhus: 63 % - KLT: 65 % Da populationerne er store, er usikkerheden generelt lav for ovenstående segmenter. For enkelte semestre, er usikkerheden dog over 10 % ved et 95 % konfidensniveau, hvorfor ikke alle resultater er pålidelige. Det var fortsat en udfordring, at opnå høje svarprocenter - konklusionen blev, at det tager tid at skabe en evalueringskultur hvor alle studerende er motiverede til f.eks. at deltage i slutevaluering. For at mindske evalueringspresset, blev en plan for frekvensevaluering vedtaget. Dvs. at der i hver evalueringsrunde kun fokuseres på ét semester. Ved BK/ATCM er det, det samme semester på tværs af udbudssted, linje og evt. toning. Dette mindsker også mængden af resultater, som ledelsen skal forholde sig til. Dermed bliver der mere tid til vurdering og behandling af evt. problemstillinger på de enkelte semestre. Det er ekstremt vigtigt, at de studerende oplever, at deres feedback reelt bliver hørt og anvendt i kvalitetssikring og udvikling af uddannelsen. Derfor blev der sat fokus på bred forankring af resultaterne. Underviserne skal holdes informerede om resultater og nye initiativer, så de kan videreformidle det til de studerende. Fremad lægges alt vedr. Kvalitetsarbejdet på Studienet under fanen Kvalitet og Evaluering. Uafhængigt af vores slutevaluering, er det ved TMH blevet vedtaget, at der skal udarbejdes en ny fælles spørgeramme for alle uddannelser ved TMH. MEBG blev sat i en arbejdsgruppe for at medbringe vores erfaringer med slutevaluering samt metodiske kompetencer. Ved BK/ATCM i Horsens, Aarhus og Holstebro og ved KLT er resultaterne pæne med indeksværdier over 70. Undersøgelsen indikerer, at de studerendes arbejdsbelastning på tværs af hele uddannelsen svarer til det forventede for en fuldtidsuddannelse. De studerendes estimerede fordeling af tid stemmer generelt ikke overns med Studieaktivitetsmodellen. På baggrund af undervisernes dialog med de studerende, lader dette til at skyldes, at de studerende har misforstået hvad studieaktiviteterne har dækket over.
Det skal sikres, at alle undervisere har kendskab til Studieaktivitetsmodellerne, tidsfordelingen og undervisnings-/arbejdsformerne. Underviserne skal være klædt på til at introducere de studerende til modellen ved semesterintroduktionen, herunder forventningsafstemning. 3/6 BK Horsens Undersøgelsen indikerer, at de studerende på især 4., 6. og 7. semester sætter sig godt ind i semesterorienteringen og læringsmålene. For de øvrige semestre, ligger indekset lige i 60 erne. På 1. semester lader det til, at de faglige forventninger til de studerende ikke er blevet tydeliggjort nok ved starten af semesteret (indeks: 47,4). Især på 1.,2. og 3. semester, skal der lægges vægt på vigtigheden af, at de studerende sætter sig ind i semesterorienteringen og læringsmålene. Lærerne skal afse tid til at gennemgå semesterorienteringen med de studerende ved semesterintroduktionen. Undersøgelsen indikerer, at de studerende på 4. og 5. semester i mindre grad synes de har opnået de læringsmål de selv har fastsat ved Portfolio. Brugen af Portfolio er mere markant på 1.-3. semester, da Portfolio overgår til et mere personligt redskab. En forklaring på resultatet kunne være, at de studerende på 4. og 5. måske i mindre grad har fastsat personling læringsmål. De studerende på 6. semester har ifølge deres besvarelse, ikke fået nok ud af litteratursøgning og vejledning/konsulentbistand (indeks på hhv. 45,8 og 47,1). Dette tolkes som et tegn på, at studieaktiviteten, ikke har givet mening for de studerende i forhold til hvad de reelt har lavet på semesteret. Fremadrettet skal der fokuseres på, at det er de rigtige (/relevante) undervisings- og arbejdsformer, der evalueres for det givne semester. Undersøgelsen indikerer, at de fleste studerende har oplevet at forløbet i E13 var lige så godt som forventet. På 1. semester blev 62 % dog positivt overraskede. Dette resultat kunne hænge sammen med, at de faglige forventninger til de studerende ikke er blevet tydeliggjort nok ved starten af semesteret på 1. semester (se længere oppe). BK Aarhus Undersøgelsen indikerer, at det faglige niveau på 4. semester i forhold til 3. semester ikke har været højt nok. Ydermere skulle der have været en mere tydelig forventningsafstemning i forhold til hvad der bliver krævet af de studerende fagligt på 4. semester. De studerende skifter adresse mellem 3. og 4. semester. Nogle studerende har givet udtryk for, at der går for lang tid før de kommer i gang med semester projektet. 4. semester blev omstruktureret i E14 og der følges op ved slutevaluering i F15. Undersøgelsen indikerer, at de studerende på især 4. semester i mindre grad synes de har opnået de læringsmål de selv har fastsat ved Portfolio. Brugen af Portfolio er mere markant på 1.-3. semester, da Portfolio overgår til et mere personligt redskab. En forklaring på resultatet kunne være, at de studerende på 4. måske i mindre grad har fastsat personling læringsmål.
På 1. og 4. semester, har de studerende angivet, at Evaluering af/feedback på opgaver og andet studiearbejde i mindre grad har bidraget til deres læring (indeks på hhv. 51,3 og 53). Dette tolkes som et tegn på, at studieaktiviteten, ikke har givet mening for de studerende i forhold til hvad de reelt har lavet på semesteret. Fremadrettet skal der fokuseres på, at det er de rigtige (/relevante) undervisings- og arbejdsformer, der evalueres for det givne semester. 4/6 De studerende på 6. semester har ifølge deres besvarelse, ikke fået nok ud af vejledning/konsulentbistand. Igen må det være et tegn på, at de givne aktiviteter reelt ikke har været en del af forløbet. På 4.-7. semester har en relativt stor del af de studerende angivet, at de blev negativt overraskede i spørgsmålet om dette semester levede op til deres forventninger. Der skal ske en bedre forventningsafstemning ved Semesterintroduktionen. BK Holstebro Undersøgelsen indikerer, at de studerende på især 4., 5. og 6. semester sætter sig godt ind i semesterorienteringen og læringsmålene, mens de studernede på 1. og 7. semester har haft mindre fokus på det. Hidtil har 1.-3. semester været udlagt til Erhvervsakademiet, hvorfor semesterorienteringerne har set forskellige ud og ligget i forskellige systemer. Fra 2015 skal der være fokus på, at semesterorienteringerne er det fælles udgangspunkt for undervisningsforløbene. Undersøgelsen indikerer, at de studerende på 1. og 4. semester i mindre grad synes de har opnået de læringsmål de selv har fastsat ved Portfolio. På 1. semester har de studerende svært ved at gennemskue hvordan Portfolio skal bruges og hvad der menes med selvrefleksion. Slutevalueringen ligger inden eksamen, hvor underviserne bl.a. vurderer de studerendes Portfolio (hvordan de har arbejdet med deres personlige mål) og dermed inden de studerende opnår den fulde forståelse for Portfolio. Det bør overvejes om man burde vente med at evaluere på Portfolio til 2. semester. På 4. semester er brugen af Portfolio mindre styret end på 1.-3. semester. Her opfordres de studerende til selv at bruge Portfolio som et læringsværktøj. På 3. og 4. semester kan det faglige niveau passe bedre med niveauet på det foregående semester. På disse semestre, giver de studerende også udtryk for at det ikke har været tydeligt nok fra starten af semesteret hvad der blev forventet af dem fagligt. På 3. og 4. semester har en relativt stor del af de studerende angivet, at de blev negativt overraskede i spørgsmålet om dette semester levede op til deres forventninger. På 3. semester er det svært at forklare de studerende præcis hvad de skal igennem da de skal påtage sig forskellige roller undervejs og har entreprenørskabs-forløbet. Det er altså på ingen måde ligeså strømlinet som 2. semester.
KLT Undersøgelsen indikerer, at de studerende på især 4. semester i mindre grad synes de har opnået de læringsmål de selv har fastsat ved Portfolio. Der er ikke ret meget fokus på Portfolio ved KLT, så måske de studerende ikke har svaret på det vi tror vi spurgte dem om. 5/6 De studerende på 2. og 4. semester har ifølge deres besvarelse, ikke fået nok ud af litteratursøgning. Dette tolkes som et tegn på, at studieaktiviteten, ikke har givet mening for de studerende i forhold til hvad de reelt har lavet på semesteret. Fremadrettet skal der fokuseres på, at det er de rigtige (/relevante) undervisings- og arbejdsformer, der evalueres for det givne semester. ATCM Horsens På 4. og 5. semester kan det faglige niveau passe bedre med niveauet på det foregående semester. For Exchange studerende har det heller ikke stemt godt nok overens med niveauet på deres tidligere institution. Vi ved ikke om niveauet har været for højt eller lavt. Fremadrettet skal vi have fokus på at sikre, at underviserne samler op på resultaterne sammen med de studerende for at få uddybende forklaring af hvad de studerende har ment. I E14 og F15 hvor hhv. 5. og 4. semester evalueres, vil der være fokus på om udviklingen i det faglige niveau har været for højt eller lavt. På disse semestre, giver de studerende også udtryk for at det ikke har været tydeligt nok fra starten af semesteret hvad der blev forventet af dem fagligt. Igen mangler underviseres/studerendes refleksioner. Undersøgelsen indikerer, at de studerende på 5. semester ikke har fået nok ud af forelæsningerne (indeks: 57,6). Der skal gøres mere ud af forventningsafstemning både ved semesterintroduktionen og løbende. Fra 1.-5. semester er de studerendes udbytte af, at løse opgaver faldende (Indeks: 86-55,6). Der skal gøres mere ud af forventningsafstemning både ved semesterintroduktionen og løbende. På 5. semester har de studerende ikke fået nok ud af undervisernes feedback. Af pædagogiske årsager, mødes de studerende mere af Problem Baseret Læring og derfor ikke konkrete svar/løsninger på de problemer de kommer med. Underviserne har indtrykket af, at de studerende bliver frustrerede løbende, men i sidste ende lærer af det ATCM Aarhus Undersøgelsen indikerer, at de studerende på især 7. semester i mindre grad sætter sig godt ind i semesterorienteringen og læringsmålene. De studerende skal fortsat opfordres til at sætte sig ind i semesterorienteringen og læringsmålene. På 4. og 7. semester kan det faglige niveau passe bedre med niveauet på det foregående semester.
På disse semestre, giver de studerende også udtryk for at det ikke har været tydeligt nok fra starten af semesteret hvad der blev forventet af dem fagligt. Vi ved ikke om niveauet har været for højt eller lavt. Fremadrettet skal vi have fokus på at sikre, at underviserne samler op på resultaterne sammen med de studerende for at få uddybende forklaring af hvad de studerende har ment. 6/6 På 5. semester har de studerende ikke fået nok ud af feedback fra underviserne (indeks: 57,1). Af pædagogiske årsager, mødes de studerende mere af Problem Baseret Læring og derfor ikke konkrete svar/løsninger på de problemer de kommer med. Underviserne har indtrykket af, at de studerende bliver frustrerede løbende, men i sidste ende lærer af det