Metaevaluering af evalueringspraksis ved sundhedsuddannelserne CVU Lillebælt med anvendelse af virkningsevalueringsmodellen

Metaevaluering af evalueringspraksis ved sundhedsuddannelserne CVU Lillebælt med anvendelse af virkningsevalueringsmodellen Udarbejdet af: Den tværfaglige evalueringsgruppe ved CVU Lillebælts Sundhedsuddannelser: Anette J. Madsen, Ergoterapeutuddannelsen Dorte Nielsen, Sygeplejerskeuddannelsen i Odense (projektleder) Jacob Glæsner, Radiografuddannelsen Janne Skov, Fysioterapeutuddannelsen Kim Koldby, Efter- og videreuddannelsesenheden Merete Rønn, Sygeplejerskeuddannelsen i Svendborg Praktikant og studentermedhjælper: Younnes Finsen Bour-Hill, stud.scient.pol. ved Syddansk Universitet Laura Nørskov Juul, stud.scient.pol. ved Syddansk Universitet Vejleder: Birgitta Wallstedt, Enheden for uddannelsesudvikling, Det sundhedsvidenskabelige fakultet, Syddansk Universitet December 2007

Indhold Resume side 3 Indledning side 4 Design - virkningsevaluering side 4 Metoder side 6 Fokusgruppeinterviews side 6 udvælgelse af informanter side 6 Interviewguides side 6 Dokumentanalyser side 6 Fund: Fokusgruppeinterviews med studerende side 7 Fund: Fokusgruppeinterviews med undervisere side 9 Fund: Dokumentanalyse af evalueringsredskaber side 13 Fund: Dokumentanalyse af opgørelser over svarprocent side 14 Diskussion og anbefalinger side 14 Litteratur side 20 Bilagsfortegnelse side 21 2

Resume Baggrund og formål Ifølge den evalueringsstrategi og evalueringspraksis, som er udviklet og implementeret ved CVU Lillebælts sundhedsuddannelser, skal der foretages evaluering af evalueringspraksis for den teoretiske undervisning en metaevaluering. Formålet med metaevalueringen er at undersøge, hvordan den udviklede evalueringsstrategi og evalueringspraksis bidrager til kvalitetsudvikling af undervisningen i de sundhedsfaglige professionsbacheloruddannelser. Metaevalueringen er foretaget af den tværfaglige evalueringsgruppe ved CVU Lillebælts sundhedsuddannelser med assistance fra 2 studerende og vejledning fra Syddansk Universitet i perioden forår/sommer 2007. Design Metaevalueringen er designet efter virkningsevalueringsmodellen. Der er udarbejdet en programteori som styringsredskab for evalueringsarbejdet, der har afdækket forskellige fokusområder til nærmere undersøgelse. Af ressourcemæssige årsager er der foretaget en prioritering af fokusområderne og til nærmere undersøgelse er valgt: de studerendes og undervisernes syn på den eksisterende evalueringspraksis og evalueringsredskaber til de studerendes evaluering registrering af svarprocenter for de studerendes evalueringer gennem en toårig periode samt ekstern vurdering og kvalificering af evalueringsredskaberne Metode Der er foretaget 10 fokusgruppeinterviews afholdt monofagligt med 1 gruppe studerende og 1 gruppe undervisere fra hvert af de 5 uddannelsessteder. Der er foretaget dokumentanalyse af evalueringsredskaber med brug af ekstern kritisk vurdering samt registrering af svarprocenter. Fund En tværgående analyse af fokusgruppeinterviewene med studerende og undervisere viser tydelige fællestræk og tendenser. Det er manglende feedback på evalueringsresultater og handlingstiltag for den teoretiske undervisning og mangel på information om evalueringernes formål og praksis. Der efterlyses mere dialog mellem undervisere og studerende. Der er kritik af og forslag til forbedring af tilrettelæggelsen af evalueringerne, evalueringsredskaberne, IT og computerfaciliteter samt ønske om mere åbenhed og fleksibilitet i evalueringsredskaberne og evalueringssystemet. Der er registret lav svarprocent ved nogle af uddannelserne og den eksterne vurdering af evalueringsredskaberne viste behov for revision af nogle spørgsmål, svarkategorier og layout. Anbefalinger Med henblik på forbedring af evalueringssystemet anbefaler den tværfaglige evalueringsgruppe: Bedre information om formålet med evalueringen og evalueringsprocessen Bedre planlægning og strategisk placering af de studerendes evaluering Bedre feedback og mere dialog om evalueringsresultater og handlingstiltag Mere fleksibilitet i evalueringsmetoder og redskaber med fokus på dialog og kommentering Justering af evalueringsskemaerne Forbedring af den elektroniske platform og computerfaciliteterne samt støtte til udvikling af de studerendes IT kompetence Revurdering af evalueringsstrategien og drøftelser af værdigrundlaget for evalueringssystemet Plan for evaluering af undervisernes selvevaluering og den lokale evalueringsgruppes funktion samt systematisk registrering af handlingstiltag 3

Indledning Denne rapport beskriver metaevaluering af evalueringspraksis i den teoretiske undervisning ved CVU Lillebælts sundhedsuddannelser. Metaevalueringen er planlagt og udført af den tværfaglige evalueringsgruppe ved CVU Lillebælts sundhedsuddannelser i perioden forår og somme 2007. Evalueringsprojektet er tilknyttet Forum for Professionsbacheloruddannelsernes Forskningstilknytning (FPF) ved Syddansk Universitet og der er givet vejledning fra Uddannelsesenheden ved det Sundhedsvidenskabelige fakultet, ved chefkonsulent Birgitta Walhstedt. I planlægningsfasen af metaevalueringen har der yderligere været vejledning fra konsulentfirmaet ECO ved Carsten Strømbæk Pedersen. I udførelsesfasen har 2 studerende fra Syddansk Universitet, Institut for Samfundsvidenskab været tilknyttet projektet: som praktikant Younnes Finsen Bour-Hill, stud.scient.pol. og som studentermedhjælper Laura Nørskov Juul, stud.scient.pol. Formålet med metaevalueringen er udvikling af evalueringspraksis ved CVU Lillebælts sundhedsuddannelser. En væsentlig begrundelse for at tage dette evalueringsperspektiv er, at formålet med evalueringsprojekt er at: der skal udvikles og implementeres en evalueringspraksis som kontinuerligt medvirker til kvalitetsudvikling af grunduddannelserne ved CVU Lillebælts Sundhedsuddannelser. Evaluering bruges som afsæt for en konstruktiv dialog mellem studerende, undervisere og ledelse med henblik på udvikling af undervisningen og uddannelserne (CVSU-Fyn 2003). Derudover er der i forbindelse med akkreditering af professionsbacheloruddannelser eksterne krav til uddannelsesstederne om etablering af et kvalitetsudviklingssystem. Formålet med evalueringsprojektet er derfor også at bidrage til akkreditering. Hidtil har den udviklede evalueringspraksis medvirket til akkreditering af fysio- og ergoterapeutuddannelserne samt radiografuddannelsen (UVM 2001). Metaevalueringens fund og anbefalinger forventes at kunne bidrage til opfyldelse af akkrediteringskrav i relation til kvalitetsudvikling også i fremtiden. Metaevalueringen sætter spot på følgende forhold: Studerendes og underviseres syn på den eksisterende evalueringspraksis med fokus på indhold, dialog, information og praktiske forhold Studerendes og underviseres syn på de anvendte evalueringsredskaber til de studerendes evaluering Ekstern vurdering og kvalificering af Evalueringsredskaberne Registrering af svarprocenten gennem en periode I metaevalueringen er der helt bevidst satset på at identificere de aspekter af evalueringspraksis, der er diskutable og ikke fungerer optimalt, med det formål at skabe ideer til bedre måder at gøre tingene på og igangsætte forbedringerne. Den fortsatte eksistens af evalueringspraksis er i denne forbindelse ikke til debat, det er kun indsatsens form, indhold og udmøntning der diskuteres. Desuden er værdigrundlaget for evaluering, som er beskrevet i Den gode undervisning og Etiske retningslinjer for evaluering af undervisning, heller ikke fokus for metaevalueringen (CVSU Fyn b og c). Design - virkningsevaluering Metaevalueringen er designet som teoribaseret evaluering, også kaldet virkningsevaluering. Denne evalueringsmodel handler om at skaffe viden om sammenhængen mellem aktiviteter og resultater og at vise og undersøge "bieffekter" af en indsats (Dahler-Larsen & Krogstrup 2003, Dahler-Larsen mfl. 2003). Virkningsevalueringen har derfor fokus på både proces og effekter/bieffekter af evalueringspraksis ved CVU Lillebælts sundhedsuddannelser. 4

Hovedspørgsmålet for metaevalueringen er: Kan det bekræftes eller afkræftes at forestillingerne om, at evalueringsindsatsen i praksis medvirker til at forbedre undervisningen i retning mod idealet beskrevet i Den gode undervisning ; og er der potentiale for udvikling af evalueringspraksis? Hvis de tilsigtede virkninger af en indsats ikke nås, taler man i virkningsevalueringsmodellen om 2 typer af fejl: teorifejl - og implementeringsfejl. Begge dele kan eventuelt optræde på samme tid. En teorifejl opstår, hvis de grundlæggende antagelser om, hvorfor indsatsen tænkes at virke, er forkerte. En implementeringsfejl foreligger hvis praktiske forhold ikke foregår, som de er udtænkt og planlagt (Strømbæk Pedersen 2005). Forestillingerne om sammenhængen mellem en indsats og virkningerne af den, er beskrevet i en logisk model, en såkaldt "Programteori ". Den udtrykker de antagelser eller begrundede forestillinger 1, man har om, hvorfor en indsats tænkes at virke (eller ikke virker) samt hvorfor indsatsen forbedres (Dahler- Larsen & Krogstrup 2003). Programteorien i denne metaevaluering er de begrundede forestillinger om, hvorfor de forskellige elementer i den udviklede evalueringspraksis virker og fører til, at undervisningen forbedres/ kvalitetsudvikles - eller hvorfor den ikke virker og ikke fører til forbedringer. De grundlæggende antagelser, som har været afsæt for den udviklede evalueringspraksis er: 1. Når de studerende evaluerer undervisningen med spørgeskemaer, der tager afsæt i beskrivelsen af "Den gode undervisning", fås datamateriale, som ledelse og undervisere kan anvende til kontinuerlig kvalitetsudvikling af uddannelserne 2. 2. Når der er tilrettelagt selvevaluering for underviserne, der tager afsæt i beskrivelsen af "Den gode undervisning", fås datamateriale, som ledelse og undervisere kan anvende til kontinuerlig kvalitetsudvikling af uddannelserne 3. Der kan som tidligere nævnt både være fejl i de teoretiske forestillinger og implementeringen i praksis. Det forekommer ofte i virkeligheden, at en given indsats ikke umiddelbart fører til den forventede virkning fordi "noget" er gået galt. Programteorien rummer derfor også antagelser om, hvad der kan forhindre de studerende i at evaluere undervisningen, eller hvad der kan forhindre underviserne i at lave selvevaluering, således at grundlaget for at nå målet om kvalitetsudvikling af undervisningen ikke er til stede. Disse forestillinger er dels begrundet i demotiverende forhold af psykologisk art og dels oplevelser af dårlige praktiske forhold. Programteorien er udtrykt i et flowchart et skema, som afspejler hvordan de processuelle forhold hænger sammen fra indsats til resultat. Flowchartet er udarbejdet af den tværfaglige evalueringsgruppe og kan ses i bilag 1. Ved udarbejdelse af programteorien afdækkedes flere fokusområder, som er relevante at undersøge nærmere for at finde kursen for en forbedret evalueringspraksis. Disse fokusområder er: Evalueringsredskaberne for de studerende og generering af brugbare data Evalueringsredskabet for underviserne og generering af brugbare data Udarbejdelse af konkrete forslag til forbedring af undervisningen i retning af god undervisning Den lokale evalueringsgruppes funktion (er en del af den fælles evalueringsstrategi) 1 De begrunde forestillinger kan komme fra forskellige kilder fx officielle politiske dokumenter, faglig teori, undersøgelser, fagfolks erfaringer, observationer, interviews (Dahler-Larsen & Krogstrup 2003). 2 Se link til evalueringsredskaberne for de studerendes evaluering af undervisningen på: http://www.cvsu.dk /184923 3 Se link til selvevalueringsredskabet for underviserne på: http://www.cvsu.dk /184923 5

Da det er meget ressourcekrævende at undersøge alle fokusområder, er det nødvendigt at prioritere. Den tværfaglige evalueringsgruppe har prioriteret, at punktet omhandlende evalueringsredskaberne (spørgeskemaer for evaluering af undervisningsforløb/fag og semestre) for de studerende udsættes for nærmere undersøgelse. Begrundelsen for valg af dette fokus er, at den studerendes stemme og dialogen anses for at være vigtig for den kontinuerlige udvikling af undervisningens kvalitet. Desværre er de studerendes tilslutning til evalueringerne meget svingende og på nogle af uddannelserne er tilslutningen decideret aftagende. Der er aftalt en grænseværdi for en tilfredsstillende svarprocent på 60 %. Det problematiske ved de lave svarprocenter er, at de data, der genereres, ikke anses for valide. I praksis betyder det, at undervisernes tillid til datagrundlaget forsvinder. Dermed er der risiko for, at de studerende ikke inddrages i overvejelserne om udvikling af undervisningens kvalitet, hvilket er en væsentlig del af grundlaget for institutionens kvalitetssikringssystem og de officielle akkrediteringskrav. Metoder Til metaevalueringen er valgt metode- og kildetriangulering. Der er taget afsæt i kvalitativ metode med udførelse af fokusgruppeinterviews med studerende og undervisere. Desuden er der foretaget dokumentanalyse af evalueringsredskaberne og opgørelse af svarprocenter. Fokusgruppeinterview Ved at vælge fokusgruppeinterview er der mulighed for at få de studerendes og undervisernes oplevelser af, erfaringer med og holdninger til anvendelsen af evalueringsredskaberne. Det er ikke centralt at opnå konsensus om emnet, men at få en så bred og mangefacetteret indsigt som muligt. Fokusgruppeinterviewet giver mulighed for at igangsætte refleksioner over, hvad der kan motivere, og hvad der kan være barrierer for, at de studerende foretager evalueringerne, og at underviserne bakker op om evalueringspraksis. Desuden virker drøftelserne i fokusgrupperne som gensidig inspiration til at fremkomme med forslag til forbedringer dels af evalueringsredskaberne og dels af evalueringspraksis. Der er gennemført 10 fokusgruppeinterviews. De er foretaget monofagligt, således at der er afholdt et interview med en gruppe studerende og et interview med en gruppe undervisere ved hvert uddannelsessted. Interviewene er foretaget og analyseret af 2 studerende fra Syddansk Universitet, som begge er ukendte for informanterne. Interviewene er optaget digitalt, og der er taget referat af drøftelserne. Under interviewet er de enkelte deltagere nogle gange blevet bedt om at nedskrive deres meninger/holdninger om det diskuterede emne. Inspirationen til metoden er dels hentet fra egne erfaringer med fokusgruppeinterviews og dels fra"bikva- modellen" (Dahler-Larsen & Krogstrup 2003). Udvælgelse af informanter Da det ikke er det repræsentative princip, som er vigtigt ved udvælgelse af deltagere til fokusgruppeinterview, men de mange facetter og synspunkter, som deltagerne bibringer et emne, er udvælgelsen af informanter blandt de studerende sket tilfældigt med udgangspunkt i de hold/semestre, som var på skolen i tidsrummet for fokusgruppeinterviewene. Udvælgelsen af informanter blandt underviserne, er også foretaget tilfældigt i forhold til de undervisere, som kunne deltage på en udvalgt dato. Se bilag 2 Interviewguides Der er udarbejdet 2 interviewguides. En til fokusgruppeinterviewet med de studerende og en til fokusgruppeinterviewet med underviserne. Spørgsmålene er konstrueret så deltagerne fik mulighed for 6

at fortælle om erfaringer og oplevelser med evaluering, syn på evalueringspraksis (dialog, information og feedback) og evalueringsredskabernes brugbarhed samt forslag til forbedringer, se bilag 3. Informanterne er informeret pr. mail om de emner, der skulle drøftes ved interviewet, så deltagerne havde mulighed for at reflektere over interviewets emner/områder på forhånd. Dokumentanalyse Der er foretaget dokumentanalyse af evalueringsredskaberne og optegnelser af svarprocenter gennem 2 år. Analysen af de udviklede evalueringsredskaber er foretaget ved at få et fremmed blik - en second opinion på spørgeskemaerne. Gennem CVU Lillebælts forskningstilknytning er der bidraget med dette af lektor Jan Møller Jensen, Institut for Marketing & Management ved Syddansk Universitet. Dokumentanalysen af optegnelser af svarprocenter er foretaget af evalueringsgruppen. Der er indsamlet data fra evalueringer i perioden forår 2005 til og med efterår 2006 fra alle uddannelserne og kigget på forekomsten af høje og lave svarprocenter. Fund: Fokusgruppeinterviews med studerende Hvert enkelt fokusgruppeinterview med studerende er analyseret hver for sig. Efterfølgende er de 5 interviews analyseret på tværs med henblik på at finde ligheder og forskelle. Dette giver mulighed for at finde tilkendegivelser fra studerende på tværs af uddannelserne, som kan vise tendenser, tegne mønstre og danne afsæt for anbefalinger til forbedring af evalueringspraksis i sundhedsuddannelserne, samt pege på behov for yderligere undersøgelse og monitorering af områder i evalueringspraksis. Forskellene i fokusgruppeinterviewene kan dels ses som gode ideer til benyttelse for de andre uddannelser, og dels vise uddannelsernes egenart. Analysen af de enkelte uddannelsers fokusgruppeinterviews kan rekvireres hos projektlederen. Feedback på handlingstiltag De studerende udtrykker, at det er positivt, at der afsættes tid til evalueringer. Det giver en følelse af medindflydelse og signalerer interesse for de studerendes meninger. De studerende oplever indimellem feedback på evalueringsresultaterne, men hvad de helt konkret udmønter af ændringer eller justeringer i undervisningen, er usynligt for dem. Det opfattes som positivt, når der er afsat tid til at fremvise resultaterne af evalueringerne. Dette har de studerende ved sygeplejerskeuddannelsen i Svendborg oplevet, når evalueringsresultaterne er blevet fremvist på morgenmøde. Bedst viser det sig på radiografuddannelsen når den evalueringsansvarlige kort tid efter, at de studerende har indtastet deres evaluering på Defgo, fremviser og drøfter evalueringsresultaterne med de studerende. Der er en markant tilkendegivelse fra de studerende om, at de mangler tilbagemelding både på de handlingstiltag, der igangsættes på baggrund af evalueringerne, men også når der - af en eller anden årsag - ikke igangsættes handlinger. Denne mangel på feedback opfattes, modsat intentionen med evaluering, som udtryk for institutionens manglende interesse for de studerendes meninger. Nogle studerende fortæller, at de har oplevet feedback på handlingstiltag på næste semester, og at det virker positivt. Andre fortæller, at det også er godt at drøfte ændringer af undervisningen med ældre studerende. Flere studerende på ergoterapeutuddannelsen oplever det positivt, at tilbagemeldinger er tilgængelige på Fronter. Interviewene viser dog, at studerende fra flere af uddannelserne ikke er fortrolige med og aktive brugere af Fronter. Dialog med underviseren Spørgeskemaerne kan ikke stå alene, der skal også være dialog med underviseren, udtrykker nogle studerende. Dette synspunkt er især tydelig på Sygeplejerskeuddannelsen i Odense og fysio-og ergoterapeutuddannelsen. 7

De studerende oplever det positivt, når der er tilrettelagt dialog om evalueringerne med underviseren af faget i forlængelse af den skriftlige evaluering. Det er godt, at man som studerende kan få lov til at give såvel positiv som negativ kritik til underviseren. Feedback til underviseren ser de studerende som mulighed for at udvikle underviseren og dermed kvalitetsudvikle undervisningen. Hvis ikke man får denne dialog, kan man som studerende være usikker på, om kritikken når underviseren, udtrykker en fysioterapeutstuderende. Hvad kan få de studerende til at evaluere eller ikke evaluere Det er meget vigtigt, hvornår evalueringen er placeret. Evalueringen skal indgå som led i undervisningsforløbet. Dårlig timing af udlevering af evalueringsskemaer eller passwords får konsekvenser for svarprocenten. Hvis evaluering er det eneste, der er på skemaet, kommer de studerende ikke. Placering sidst på dagen eller efter en eksamen, der følges af semesterpause eller før en praktikperiode, er dårlig timing. Studerende fra radiografuddannelsen mener, at man slet ikke skal annoncere med, at der er evaluering, da det kan afholde nogle fra at komme. Den bedste placering er midt på dagen mellem 2 vigtige eventuelt obligatoriske lektionsforløb. De studerende mener, at en forklaring på, at nogle studerende fravælger at evaluere, kan være fordi evaluering er retrospektiv og at den ikke bliver til gavn for en selv, så man er ligeglad. Samtidig udtrykker nogle studerende, at de giver sig tid til at evaluere, fordi de gerne vil påvirke og bidrage til at det næste hold får bedre studievilkår. En ergoterapeutstuderende benævner det som en form for "næstekærlighed". Introduktionen til evaluering er vigtig, udtrykker nogle studerende. Det kvalitetsudviklende sigte samt hvordan processen omkring evalueringen foregår (hvornår, hvordan, feedback) skal tydeliggøres. Feedback om handlingstiltag er meget vigtig. Det er motiverende at få feedback og opleve, at man er blevet hørt. Hvis de studerende ikke kan se, hvad evalueringerne bruges til, lader de være med at evaluere. Det kan være en motivationsfaktor, at man er utilfreds med undervisningen, og hvis man er tilfreds, evaluerer man ikke. Nogle studerende oplever, at underviserne udviser ringe engagement for evaluering. Dette har en afsmittende negativ effekt på de studerendes motivation for at evaluere. Fronter og adgang til computere er et problem Interviewene afdækker, at der er en del studerende, som ikke er fortrolige med Fronter eller er negative overfor brugerfladen. Nogle har ligefrem glemt deres password. Det betyder, at når der lægges beskeder om evaluering, evalueringsresultater og handlingstiltag på Fronter, kan man ikke være sikker på, at de studerende ser det. Alle uddannelserne har dette problem på nær radiografuddannelsen, hvor de studerende er vant til at arbejde med det elektroniske medie i uddannelsen, og hvor man har sine egne computerfaciliteter. De studerendes manglende fortrolighed med Fronter har konsekvenser ikke blot for svarprocenterne i evaluering, men også generelt for uddannelsernes information og kommunikation med de studerende. Kritik af evalueringsskemaerne Til skemaet for evaluering af undervisningsforløb er der et udbredt ønske om, at der er mulighed for at kunne skrive kommentarere under alle spørgsmålene. Alle grupper af studerende finder det relevant med både kvantitative spørgsmål og muligheden for at udtrykke sig kvalitativt i et eller andet omfang. Nogle studerende lagde mere vægt på dette end andre. (Radiografstud ikke så meget). De studerende udtrykker, at det er godt, at skemaerne er hurtige at udfylde, de må ikke være for omfangsrige. Der er flere problemer forbundet med svarkategorierne (enighedsskalaen). De studerende fortæller, at der nemt går "automatik i den, når det er samme svarkategorier hele vejen gennem skemaet. Man kan også nemt ende på svarmuligheden "Hverken enig eller uenig", når man ikke helt ved, hvad man skal mene eller ikke forstår spørgsmålet. De studerende mener også, at mange af spørgsmålene er for upræcise og for bredt formuleret. En radiografstuderende udtrykker, at det også vil kræve en del tid og dybere refleksion at svare på spørgsmål, om undervisningen har medvirket til fx udvikling af relationskompetencer. 8

Semesterevalueringsskemaet kritiseres især for at være for bredt og upræcist. Det er meget vanskeligt at evaluere på helheder af fag; det er uklart, hvad der spørges til. Desuden er semesterevaluering behæftet med stor hukommelsesbias. De studerende har glemt starten af semesteret og husker bedst det, der foregik til sidst. Forslag til Forbedringer/ Kvalitetsudvikling De studerende har givet mange gode og kreative forslag til forbedringer. Nedenstående er et repræsentativt udsnit af forslagene. Til information og dialog CVSU skal være bedre til at sælge budskabet og fortælle om vigtigheden ved evaluering Mere introduktion Placer evalueringen anderledes. Første gang når en tredjedel af forløbet er gået Evaluering skal være skemalagt på en dag, hvor der er vigtige fag på skemaet, og underviseren er til stede Efterfølgende at bruge ti minutter af en time til at have en dialog med underviseren på baggrund af de udfyldte skemaer og indsamling af skemaerne drøfte hvad der skal ændres Underviserne udviser mere interesse og engagement i evalueringerne Feedback på eventuelle ændringer eller bare kommentar om, at man ikke kan lave de ønskede ændringer efterfulgt af en begrundelse Rektor eller koordinator tage mere generelle forhold op om hvad evalueringsresultaterne viser En studerende fra et tidligere semester informere om evalueringer fra deres hold Til evalueringsredskabernes brugbarhed Et par tomme linjer under hvert spørgsmål giver den studerende mulighed for at begrunde sit svar Hvert fag skal evalueres for sig Mulighed for at evaluere studiemiljøet - rammer omkring undervisningen fx pauser Hvis Fronter er et problem, så evaluering på papir I stedet for "forslag til forbedringer" kunne boksen hedde "uddybende kommentarere" Slette nogle af spørgsmålene, fx det med arbejdsmængden og vurdering af kompetencerne Skift skalaen ud med en skala der går fra 1-10 Kategori der hedder ikke relevant Andre forslag Indføre at man både kan evaluere elektronisk og via papirform. Lave en smiley ordning, som viser evalueringer fra flere semestre i træk Underviserne med og støtter, når der evalueres på Defgo (elektronisk evalueringssystem) Fund: Fokusgruppeinterviews med underviserne Som ved fokusgruppeinterview med de studerende er hvert enkelt fokusgruppeinterview med underviserne analyseret hver for sig. Efterfølgende er de 5 interviews analyseret på tværs med henblik på at finde ligheder og forskelle. Der er også her kigget efter tendenser og mønstre, som kan danne afsæt for anbefalinger til forbedring, og som kan pege på behov for yderligere undersøgelse og monitorering af områder i evalueringspraksis. Forskellene, som viser sig, kan også her være udtryk for uddannelsernes egenart og være inspiration for de andre uddannelser. Analysen af de enkelte uddannelsers fokusgruppeinterviews kan rekvireres hos projektledere. 9

Er evalueringspraksissen anvendelig til kvalitetsforbedring? Undervisergrupperne giver udtryk for, at det er godt, at der er en formaliseret evalueringspraksis. Der er dog undervisere som udtrykker, at hensigten eller formålet med evalueringspraksisen er diffus og uklar. Blandt andet mener underviserne ved ergo- og fysioterapeutuddannelserne, at der mangler klare målsætninger med evalueringen. De finder det ikke tydeligt, at der er tale om kvalitetsudvikling, og der kan derfor være risiko for at evaluering opfattes som kontrol. Flere af undervisergrupperne sætter også spørgsmålstegn ved, om udbyttet af evalueringerne står mål med investering af ressourcerne. Et gennemgående fund i alle fokusgruppeinterviewene er, at det kvantitative spørgeskema ikke kan stå alene som grundlag for udvikling af kvaliteten af uddannelsen. Det skal suppleres med mundtlige evalueringer og dialog for at få præciseret og konkretiseret, hvad det er, de studerende mener, der bør ændres på. Undervisernes selvevaluering ser flere af fokusgrupperne som et vigtigt element ved kvalitetsudvikling af undervisningen. Der er flere uddannelser, som udtrykker stor tilfredshed med den praksis, der er knyttet an til undervisernes selvevaluering. På spørgsmål vedrørende den praktiske betydning af beskrivelsen " Den gode undervisning" fortæller underviserne, at beskrivelsen opfattes som et ideal, en overordnet ramme. Underviserne i Svendborg udtrykker, at de ser Den gode undervisning som en del af værdigrundlaget i organisationen. Men underviserne anvender ikke beskrivelsen til pædagogiske drøftelser og undervisningens tilrettelæggelse i særlig udstrakt grad, dertil er dokumentet alt for overordnet og bredt formuleret. Her adskiller enkelte undervisere fra sygeplejerskeuddannelsen i Odense sig, da der gives udtryk for, at dokumentet af og til anvendes aktivt i diskussioner ved planlægningen af undervisningsforløb. Nye undervisere er usikre på, om de kender dokumentet, mens de, som var her, da det blev udviklet, kender dokumentet og deltog i debatten om det dengang. At få de studerende til at svare Erfaringerne med at få en tilstrækkelig høj svarprocent er blandede. Fysioterapeutuddannelsen og Sygeplejerskeuddannelsen i Odense har haft problemer med svarprocenten, mens de øvrige uddannelser har bedre erfaringer. Se dokumentanalysen af svarprocentsopgørelsen senere i rapporten. Underviserne ved radiografuddannelsen oplever, at når der er noget, som generer de studerende vil de gerne evaluere. Flere undervisergrupper udtrykker, at der skal bruges uforholdsmæssigt meget energi fra undervisernes og de evalueringsansvarliges side på at motivere og få de studerende til at besvare evalueringsskemaerne. Spørgeskemaernes anvendelighed Alle uddannelser ser, at evalueringsresultaterne fra spørgeskemaerne kan angive tendenser, men at de slet ikke kan stå alene. De skal suppleres med dialog med de studerende, så de forskellige forhold bliver mere konkrete og præcise. Ergoterapeutuddannelsen foreslår, at der eventuelt kunne udvikles retningslinjer for at sikre dialogen, mens sygeplejerskeuddannelsen i Odense og fysioterapeutuddannelsen foreslår, at de kvantitative evalueringer bruges som afsæt for dialogen. Undervisergruppen ved fysioterapeutuddannelsen og sygeplejerskeuddannelsen i Svendborg peger på, at der en gang imellem kan fortages fokusgruppeinterviews i stedet for spørgeskemaevalueringer. De 2 undervisergrupper ved sygeplejerskeuddannelsen mener, at spørgsmålene i spørgeskemaet er for negativt formuleret. Både spørgsmål og svarkategorier burde i stedet have en mere positiv drejning. Flere undervisergrupper udtrykker tilfredshed med de valgfrie spørgsmål i "Banken". Der er ønske om flere spørgsmål. Radiografuddannelsen og fysioterapeutuddannelsen udtrykker, at de kunne tænke sig at uddannelserne selv laver spørgsmål, som passer lige netop til eget fagfelt. Alle undervisergrupper finder, at det er godt med kommentarmuligheden, og at der skal være flere muligheder for at kommentere spørgsmålene, eventuelt under hvert spørgsmål. Undervisergruppen ved sygeplejerskeuddannelsen i Svendborg udtrykker, at overskriften i en kommentarboks ikke kun skal 10

omhandle forslag til ændringer, men også mulighed for at udtrykke, hvad der skal fastholdes i undervisningen, således vil evalueringen kunne få et mere positiv præg. Der er mange meninger om spørgsmålene og formuleringen af dem. Der gives udtryk for, at risikoen for informationsbias er stor. Undervisergrupperne ved sygeplejerskeuddannelsen i Odense og Svendborg giver udtryk for, at den sproglige formulering af spørgsmålene er problematisk. De mener, at de studerende har meget svært ved at forstå, hvad der spørges om, og at der er brug for forklarende tekst ved de fleste spørgsmål. Der er også flere spørgsmål, som de yngre studerende ikke har forudsætninger for at kunne besvare. Samlet kommenteres spørgsmålene 1-2 - 3-5- 6-7 - 8-9- 10-11- 12-14, hvilket stort set er alle obligatoriske spørgsmål. Der gives udtryk for: at der er overlapning i spørgsmålene - forståelsesproblemer - nogle spørgsmål opleves som meningsløse og irrelevante m.m. Undervisergruppen i Svendborg foreslår, at der skal være mulighed for helt konkret at tilkendegive, hvilke metoder den studerende opfatter som velegnede for at optimere læringsudbyttet. Flere undervisergrupper påpeger, at spørgsmål 10, som handler om muligheden for at evaluere undervisningen undervejs, bør udgå. Underviserne ved radiografuddannelsen og sygeplejerskeuddannelsen i Svendborg peger på, at svarkategorierne er problematiske, især kan kategorien hverken enig eller uenig være uheldig. Evaluering af læringsudbytte frem for evaluering af undervisningen Der savnes flere spørgsmål, der retter sig mod de studerendes eget engagement. Dette er et gennemgående fund fra interviewene med underviserne. Der gives udtryk for, at man hellere så mere evaluering af de studerendes egen indsats og udbytte end evaluering af undervisningen. Undervisningsevaluering ligner meget en (bruger)tilfredshedsundersøgelse, mener nogle af undervisergrupperne. Undervisergruppen ved sygeplejerskeuddannelsen i Svendborg fremkommer med et konkret forslag om anvendelse af portfolie til evaluering af de studerendes personlige læringsudbytte. Det fremgår ikke om dette anses som en erstatningsmulighed for evaluering af undervisningen. Ved sygeplejerskeuddannelsen i Odense udtrykkes der bekymring over, at de studerende bruger evaluering til at "dunke" underviserne oven i hovedet med. Evaluering af forløb Evaluering af lange forløb, fx semesterevaluering, der omfatter flere fag og undervisere, er, efter undervisergruppens mening, behæftet med stor hukommelsesbias. Evalueringsskemaerne egner sig ikke til evaluering af lange forløb. Spørgsmålene er alt for brede til, at evalueringssvarene bliver brugbare. Nogle af uddannelserne angiver, at en mundtlig dialog er vigtig ved evaluering af disse forløb, og at den bør foregå undervejs i forløbene. Tidspunktet for evalueringerne Underviserne oplever mange problemer med tidspunktet for evalueringerne. Man ser allerhelst, at der evalueres efter en eksamen, men det er på den anden side også forbundet med et tidspunkt, hvor de studerende står for at skulle i klinisk uddannelse eller til semesterpause og på ferie. På dette tidspunkt har de alt andet i hovedet end at skulle evaluere. Ændringer af undervisningen Flere undervisergrupper udtrykker, at ændringer af undervisningen mest sker på baggrund af de mundtlige evalueringer og undervisernes egen erfaring og ikke så meget på baggrund af spørgeskemaresultaterne. Feedback Det er et udbredt fund i fokusgruppeinterviewene med underviserne, at der ikke foregår tilstrækkelig feedback til de studerende om ændringstiltagene. Underviserne giver udtryk for, at feedback er vigtig for, at de studerende får oplevelsen af at blive hørt og respekteret. Også i de tilfælde, hvor der ikke sker 11

handlingstiltag på baggrund af de studerendes evalueringer, må der gives en forklaring på dette. Undervisergruppen i Svendborg er inde på, at de studerende ikke interesserer sig for feedback, når de er videre i uddannelsen. Det foreslås, at der udvikles en standard for tilbagemeldinger til de studerende for både mundtlig og skriftlig feedback. Information om evaluering Det fremgår af interviewene, at der, inden for de enkelte uddannelser, er opnået forskellige erfaringer med praksis for information om evaluering. Flere undervisergrupper mener, at informationen om evalueringspraksis, spørgeskemaer m.m., kan blive meget bedre. Der gives udtryk for, at information er vigtig for både de studerende og undervisergrupperne, så de har et klart billede af, hvad formålet med evalueringen er, og hvordan den praktiske tilrettelæggelse foregår. Elektroniske evalueringer De elektroniske evalueringer volder problemer for specielt fysioterapeutuddannelsen og sygeplejerskeuddannelsen i Odense. Den lave svarprocent kan have rod i, at computerfaciliteterne er for dårlige. Undervisergruppen ved radiografuddannelsen oplever ikke disse problemer. Ergoterapeutuddannelsen havde på interviewtidspunktet endnu ikke afprøvet elektronisk evaluering. Fremtidig organisering Der er forslag om, at underviserne bliver mere involveret og medansvarlige for evalueringerne og tilbagemeldingerne. Det kan eventuelt være en rolle for en kontaktperson til holdet. Nogle peger på, at dette vil betyde, at flere undervisere skal have undervisning i at anvende Defgo (det elektroniskspørgeskema). Det er stadig vigtigt, at der er en (nogle) evalueringsansvarlig, som har overblikket. Forslag til Forbedringer/ Kvalitetsudvikling Underviserne har givet mange gode forslag til forbedringer. Nedenstående er et repræsentativt udsnit af forslagene. Til evalueringsredskabernes brugbarhed: Større fleksibilitet og mere varierende evalueringsformer i forhold til hvad, der skal evalueres. Forløbsevalueringerne skulle droppes. De giver ikke nok ift. de ressourcer, der bruges på det. Tilbage til dialogen, så man kunne få præciseret, hvor der skal sættes ind. Semesterevalueringen er for bred og indeholder mange elementer. Evaluering af samme fag/forløb flere gange, så man eliminerer tilfældighederne mest muligt Færre faste spørgsmål og flere fra banken Godt med den valgfri bank, der giver mulighed for at evaluere de eventuelle tiltag, underviseren har foretaget i det pågældende fag. Nogle af spørgsmålene kræver måske en lille hjælpetekst. Gerne en gruppering af spørgsmålene efter emne. Efter hver gruppering skal der være nogle kommentarlinier. Svarskalaen skal ændres. Der kan laves kategorier som f.eks. Godt, skidt og ændringsforslag Spørgsmål 14 ( Har du forslag til forbedringer ) bør splittes i to: a) Er der noget godt, du vil fremhæve? 2) Er der noget dårligt, du vil fremhæve? Kommentarmuligheder Spørgeskemaet skal gennemarbejdes. Man kunne evt. få en professionel udefra til at konstruere skemaet. 12

Til information og dialog Der skal være et tydeligt mål med evalueringen Der skal være én person, der introducerer til evalueringen, og skemaet skal behandles af én eller få personer sikre standardisering. Evalueringen skal suppleres med anden evaluering f.eks. diskussion på holdet (mundtlig evaluering) Holdansvarlige undervisere med timer afsat til evalueringen (herunder information og feedback) Sekretærfunktion eller tid og mulighed for underviserne til at bruge IT-evaluering i større omfang (mulighed for = Løbende kursus i Defgo) Udfylde skemaerne samtidig med at de studerende har mulighed for at spørge, hvis der er tvivlsspørgsmål, og derefter tid til at diskutere resultaterne med de studerende, eventuelt ved elektronisk evaluering. Dialogen/mundtlig evaluering kunne foretages med afsæt i grafiske fremstillinger af resultaterne af den kvantitative evaluering. Det skal fremgå tydeligere, hvor man kan finde resultaterne. Der er behov for en standardiseret tilbagemelding, der udarbejdes af evalueringsgruppen. Feedbacken skal gives i forbindelse med noget andet, f.eks. når kontaktlæreren samler klassen. Andre forslag Evaluering af alle fag hvert semester I Fronter/Defgo er der rigtig gode muligheder for at lave spørgeskemaer måske et kursus i måden, hvorpå man sætter et skema op. IT- lokale til evaluering, så man kan evaluere og umiddelbart herefter diskutere evalueringen Kritiske områder, eller områder der skal ændres, bør sendes i en fokusgruppe til diskussion. Underbygge skemaevalueringerne med kvalitative metoder. F.eks. fokusgruppeinterviews med de studerende, således man går i dybden med nogle af de områder, der skal forbedres/ændres Det skal ekspliciteres, at man forventer, at de studerende deltager i evalueringen, hvilket udtrykker ansvarlighed for uddannelsen. Fund: Dokumentanalyse af evalueringsredskaberne Spørgeskemaerne er blevet vurderet af en ekstern person, lektor Jan Møller Jensen, institut for Marketing & Management, SDU. Ved en kritisk gennemgang af spørgeskemaerne fremkom følgende problemfelter: Spørgeskemaerne mangler inddeling af og overskrift til spørgsmålene, som kan virke guidende for respondenten Der er uoverensstemmelse mellem spørgsmålenes karakterer og svarkategorierne. Udsagn om enighed er ikke altid det bedste valg, og der kan blive for meget automatik i at skulle krydse af i samme svarkategorier. Likert skalaen, som er anvendt hele vejen igennem spørgeskemaerne, er mest velegnet til holdningsspørgsmål. Svarmuligheden hverken enig eller uenig kan give fortolkningsproblemer, da det er uklart, om det er et udtryk for ved ikke eller om man holdningsmæssigt ligger i en midterposition. Der er flere af spørgsmålene, som overlapper hinanden, og dette kan betyde, at respondenten finder spørgsmålene uklare. Evaluering af et helt semester kan være behæftet med hukommelsesbias Evaluering efter eksamen genererer ikke valide data. Eksamensresultatet smitter af på evalueringen (positivt og negativt) Det er vigtigt at tydeliggøre for de studerende, hvad man anvender evalueringsresultaterne til. De studerende skal opleve forandringer, ellers er de ikke motiveret for at evaluere. 13

Der er følgende forslag til ændring af spørgeskemaet til evaluering af undervisningsforløb/fag: Spørgsmålene samles i 4 underpunkter med overskrifter (studerendes eget engagement, målsætning, indhold og litteratur, metode) med kommentar mulighed efter hvert afsnit. I skemaet vedr. evaluering af undervisningen kan nogle spørgsmål grupperes, svarkategorierne tilpasses og spørgsmål til den pædagogiske tilrettelæggelse og læringsudbyttet tydeliggøres. Se bilag 6. Der er endnu ikke fremsat forslag til forbedring af spørgeskemaet til evaluering af semestre eller moduler i ny uddannelse. Fund: Dokumentanalyse af optegnelser af svarprocenter Opgørelserne for de enkelte uddannelser er foretaget af den tværfaglige evalueringsgruppes medlemmer og analysen sætter specielt fokus på antal evalueringer, hvor mange studerende der er på holdet, om evalueringen er foretage på papir eller elektronisk, hvad der er den højeste og laveste svarprocent og hvor mange evalueringer, der ligger over og under den vedtagne grænseværdi på 60 %. Opgørelsen viser, at der er store problemer med at få svarprocenten over 60% på fysioterapeutuddannelsen og sygeplejerskeuddannelsen i Odense. Sygeplejerskeuddannelsen i Svendborg har knap halvdelen af evalueringernes svarprocent over 60%, mens ergoterapeutuddannelsen har godt halvdelen af evalueringerne en svarprocent over de 60%. Bedst er det ved radiografuddannelsen, som har over 2/3 af evalueringernes svarprocent over 60%. Se bilag 7 Diskussion og anbefalinger Virkningsevalueringen har undersøgt de studerendes og underviseres syn på den eksisterende evalueringspraksis, med særligt fokus på evalueringsredskaberne for de studerende og generering af brugbare data til kvalitetsudvikling af undervisning. I det følgende afsnit diskuteres de fund, som har vist sig som mønstre og tendenser i fokusgruppeinterviewene og dokumentanalyserne. Efterfølgende fremsættes evalueringsgruppens anbefalinger til det videre arbejde. Feedback og information Både studerende og undervisere peger på, at der ikke gives ordentlig feedback på de handlingstiltag, der iværksættes på baggrund af evalueringerne. Hvis de studerende ikke oplever, at deres evalueringsbesvarelser anvendes til forbedring af undervisningen bortfalder præmissen for at evaluere. Der er mange data i interviewene, som peger på, at handlingstiltag skal italesættes bedre, og at feedbackmekanismen sammen med dialog anses for at være en stor motivationsfaktor. De studerendes villighed til at evaluere kompliceres dog af, at de ikke selv får udbytte af evalueringerne. Det viser sig at være et kendt fænomen også internationalt, at de studerende beklager sig over manglende feedback på evalueringer, og at de ikke selv får gavn af eventuelle forbedringstiltag (Graham m.fl. 2001). Feedback er særdeles vigtig at få sat på dagsordenen ikke mindst fordi, det er en erklæret del af sundhedsuddannelsernes fælles evalueringsstrategi. I Etiske retningslinjer for evaluering er det således beskrevet, at evalueringsresultater skal behandles med respekt og danne afsæt for pædagogiske drøftelser og tiltag med henblik på udvikling og kvalitetssikring af undervisningen (CVSU-Fyn 2004c). Det går igen i fokusgruppeinterviewene, at det er uklart for både studerende og underviserne, hvad formålet med evalueringerne er. Hos underviserne hersker der forvirring om, hvorvidt evalueringens formål er udvikling eller kontrol. Evalueringens anvendelsessigte kan både være udvikling og kontrol, og ofte er det begge dele på samme tid (Dahler-Larsen 2003a, Moldt 2006/2007). Dette forhold kan komplicere aktørernes tillid til 14

evalueringerne. Det er næsten altid forbundet med vanskelige følelser at blive evalueret. Derfor er åbenhed og dialog vigtig for at imødekomme negative følelser - måske ligefrem angst - for evaluering (Moldt 2006/2007 s. 457). I formålet med sundhedsuddannelsernes evalueringsstrategi lægges der stor vægt på det udviklende perspektiv, men i praksis kan det kontrollerende aspekt opleves tydeligere dels som følge af, at den lokale evalueringsgruppe gennemlæser evalueringsresultaterne før underviserne selv læser dem, og dels som følge af de eksterne krav i forbindelse med akkreditering. Den manglende information er for de studerende både forbundet med uklarhed om, hvad der er evalueringens formål og de praktiske forhold omkring evalueringsprocessen (hvad hvornår hvor - med hvem og hvordan). Information og feedback på evalueringerne er typisk sket skriftligt på Fronter. Nogle studerende udtrykker, at de har vanskeligt ved at finde rundt i Fronter. Et andet aspekt i informationen om evaluering er beskrevet i Lov om gennemsigtighed og åbenhed i uddannelserne. Her står, at alle uddannelsesinstitutioner skal oplyse om aktuelle evalueringer og udvikling af kvaliteten af undervisningen på deres hjemmeside (Undervisningsministeriet 2002). God information om konklusioner på evalueringer og handlingstiltag på hjemmesiden vil give såvel eksterne som interne parter indsigt i evalueringerne og deres udmøntning. Det er forskelligt, hvordan de implicerede uddannelser lever op til denne fordring, der her ses bedst ved radiografuddannelsen. Den tværfaglige evalueringsgruppe anbefaler: Information om formålet med evaluering skal tydeliggøres (skriftligt og mundtligt), og der skal laves mere PR for evaluering. Information og systematisering af praktiske forhold vedrørende evaluering De valgte evalueringstyper, metoder, formål og anvendelsessigtet (udvikling og/eller kontrol) drøftes i undervisergrupperne med jævne mellemrum (fx 1 gang om året). Feedbackpraksis på det enkelte uddannelsessted justeres. Overveje hvor og hvornår samt anvendelse af ældre studerende, underviserne af faget eller en bestemt person til feedback. Finde inspiration nationalt og internationalt. Anvendelse af skabelon for skriftlig tilbagemelding til studerende på tilgængeligt sted på Fronter eller hjemmesiden Offentliggørelse af konklusioner på evalueringer og handlingstiltag på hjemmesiden Ændring af evalueringsstrategi, -metoder og -redskaber En stor del af undervisergruppen og de studerende udtrykker, at de gerne vil have mere dialog som supplement til den skriftlige evaluering. Nogle ønsker den skriftlige evaluering erstattet af dialog/mundtlig evaluering. Spørgeskemaet kan ikke stå alene, og dialogen mellem underviser og de studerende ses af begge parter som væsentlig for at få klarhed over og uddybning af, hvad det er, der er brug for med henblik på at forbedre undervisningen. Spørgeskemaet skal konstrueres, så der er bedre mulighed for kommentering, lyder det fra både undervisere og studerende, da uddybende forklaringer er et væsentligt anliggende for parterne. Der er også forslag om muligheden for at foretage fokusgruppeinterviews enten som supplement til eller i stedet for spørgeskemaevalueringen. Spørgeskemametoden har den fordel, at den giver mulighed for at generere data fra mange personer om afgrænsede spørgsmål, mens ulempen er, at mulighederne for at forklare sit valg af svar ofte er begrænset. Når sigtet med evalueringen er kvalitetsudvikling af undervisningen kan spørgeskema metoden ikke anses for at være den bedste evalueringsmetode (Graham m.fl. 2001). En bank med valgmuligheder er godt, men undervisergruppen ønsker mere valgfrihed i spørgsmålene og spørgsmål, som er mere målrettet den enkeltes undervisning og fag. De nuværende spørgsmål anses for at være for begrænsende. 15

Begge grupper peger på, at det er problematisk med for brede og upræcise spørgsmål, hvilket specielt er tilfældet i semesterevalueringsskemaet, samt i spørgeskemaet til evaluering af fag og undervisningsforløb - specielt ved spørgsmål til undervisningsmetoder. I semesterevalueringens spørgeskema er et af de store problemer risikoen for informationsbias både i forhold til hukommelse og forståelse. Underviserne peger på, at de studerende kan have vanskeligt ved at forstå mange spørgsmål, og at der kan være behov for en hjælpetekst. Nogle spørgsmål opleves som decideret irrelevante. Fra studerendes side lægges der mere vægt på, at spørgsmålene skal være enkle og nemme at besvare. Der er kritik af svarkategorierne (Likertskala med 5 svarmuligheder) både fra de studerendes og undervisernes side. Der nævnes specielt risikoen for automatik i valg af svar og usikkerhed om svarkategorien i midten hverken enig eller uenig. Det eksterne blik på evalueringsskemaerne har vist, at spørgeskemaerne kan kritiseres i forhold til layout, overlapning af spørgsmål, svarkategorier og manglende kommenteringsmuligheder. Den tværfaglige evalueringsgruppe anbefaler: Spørgeskemaer justeres i følge ekstern vejleders anbefalinger (se bilag 5) Der arbejdes videre med mere åbenhed vedrørende evalueringsmetoder og evalueringsredskaberne. Der skal udvikles en fokusgruppeinterviewguide Der udvikles rammespørgsmål, som kan tilrettes en aktuel undervisning, fx i hvilken grad en anvendt metode, noget litteratur eller lignende har været velvalgt, således kan den enkelte underviser selv være med til at tone og nuancere spørgsmålene Der gives mulighed for at underviserne selv formulerer spørgsmål, eventuelt med hjælp fra evalueringsgruppen, så det holdes for øje, at spørgsmålene altid udspringer af beskrivelsen i Den gode undervisning Der undersøges muligheder for at formalisere og dokumentere dialogen med de studerende. IT og Fronter IT kapaciteten og Fronter er et stort problem for den nuværende evalueringspraksis. Evalueringskonceptet har haft som præmis, at det elektroniske system fungerede. Det har det desværre ikke gjort. Der er ikke adgang til computere til brug for skemalagt evaluering, bortset fra i radiografuddannelsen. I forbindelse med brug af Defgo skulle password uddeles til de studerende, og der viste sig stor risiko for, at de bliver væk. Det har ikke været muligt at sende password til den studerende på mail. Der har været afholdt små uddannelseskurser i brugen af Defgo for sekretærer og evalueringsansvarlige på alle uddannelser, men ikke for underviserne. Brugen af den elektroniske evaluering kræver kontinuerlig mulighed for supervision af en superbruger, men der er ikke afsat tid til denne funktion. Fronter bruges af nogle uddannelsessteder til evaluering samt til feedback af alle uddannelserne. Mange studerende finder brugerfladen i Fronter vanskelig at finde rundt i, så de opgiver. Dette er ikke kun et problem for evaluering, men for information og kommunikation med de studerende gennem hele uddannelsen. Den tværfaglige evalueringsgruppe anbefaler: At ledelsen igangsætter en undersøgelse af, hvor stor aktiviteten er på Fronter og hvor stort problemet reelt er. Det kan anbefales, at der gives mere støtte og hjælp til de studerende til brug af Fronter. Brugerfladen skal forenkles. Der skal være EDB-rum til rådighed til elektronisk evaluering. Der afsættes tid til en superbruger, som kan støtte, vejlede og undervise de evalueringsansvarlige og sekretærerne. Der skal afsættes ressourcer til vedligeholdelses- og udviklingskurser for sekretærer, evalueringsansvarlige og eventuelt også undervisere i anvendelse af elektronisk evaluering. 16