Evalueringsrapport Evaluering af koncept for uddannelsesevaluering

Transkript

1 Evalueringsrapport Evaluering af koncept for uddannelsesevaluering på UCSJ

2 Indhold 1. Konklusioner og anbefalinger Samlende konklusion Styrker Svagheder Anbefalinger til UCSJ s fremadrettede arbejde med justering af konceptet Introduktion og baggrund Uddybning af anbefalingerne Optimering af informations- og dokumentationsmateriale til uddannelsesevalueringen Mere tydelige ekspertprofiler både i forberedelsen samt på evalueringsdagen Give fokusområderne endnu mere værdi for den konkrete uddannelse Justere setup og program på evalueringsdagen i forhold til kriterierne- /fokusområderne Justere konceptet yderligere med hensyn til ressourceforbrug (omkostninger) i forhold til værdien af de input uddannelsesledelsen får fra evalueringen til det videre kvalitetsarbejde Metode Uddannelsesevaluering af Diplom i ledelse d. 28. oktober Uddannelsesevaluering af Socialrådgiveruddannelsen d. 3. december Nærværende rapport er udarbejdet af Kvalitetskonsulent Lena Højlund Larsen, UCN Kvalitets- og Studiekontor, lel@ucn.dk University College Nordjylland 2/8

3 1. Konklusioner og anbefalinger 1.1 Samlende konklusion Styrker UCSJ s uddannelsesevalueringskoncept vurderes generelt til at være et godt robust koncept med god værdi for institutionens løbende kvalitetsudvikling og kvalitetssikring af uddannelserne. Det er dog samtidig værd at bemærke, at konceptet i sin nuværende form indebærer en stor arbejdsbyrde for både UCSJ s kvalitetsafdeling samt den enkelte uddannelse, som skal uddannelsesevalueres. Dette særligt pga. de omfattende krav til forberedelse, som er afledt af konceptets høje ambitionsniveau om i praksis at afspejle en egentlig uddannelsesakkreditering. I det følgende er hovedkonklusioner opdelt på styrker og svagheder for konceptet Svagheder Kvalitetsafdelingen, direktionen og uddannelsernes ledelse udviser stor opbakning til og engagement i forbindelse med gennemførelsen af konceptet, bl.a. ved deltagelsen på selve evalueringsdagen. Kvalitetsafdelingen anvender erfaringerne fra gennemførte uddannelsesevalueringer til at forbedre konceptet løbende, bl.a. ses der justeringer i programmet for evalueringsdagen samt ændringer, der fremmer dialogen under de enkelte programpunkter. Uddannelsesevalueringerne er vel forberedte, hvilket giver et godt fundament for gennemførelsen af selve evalueringsdagen, bl.a. er ekspertpanelet godt sammensat med komplementære profiler. Stort forbrug af ressourcer, herunder specielt tidsforbrug for UCSJ og de eksterne eksperter samt omkostninger forbundet med honorering af de eksterne eksperter. Tidsforbruget er specielt stort i forbindelse med forberedelsen med at skabe overblik samt at gennemgå den store mængde af dokumentation Eksperternes specialistkompetencer kunne udnyttes bedre både igennem deres forberedelse og på selve evalueringsdagen. Evalueringsdagen er lang og det er specielt mange timer for de studerende, der deltager. Dialogrummet på selve evalueringsdagen kunne opleves som værende formelt og kan dermed være en barriere for fri dialog mellem bl.a. ekspertpanelet og de studerende. 1.2 Anbefalinger til UCSJ s fremadrettede arbejde med justering af konceptet På baggrund af ovennævnte hovedkonklusioner gives følgende anbefalinger. Nedenstående fem hovedanbefalinger er således optimeringsforslag, som UCSJ med fordel kan inddrage i institutionens samlede evaluering af og videreudvikling af konceptet: Optimering af informations- og dokumentationsmateriale til uddannelsesevalueringen Mere tydelige ekspertprofiler og udvalgte fokusområder/temaer for evalueringen Give fokusområderne endnu mere værdi for den konkrete uddannelse Justere setup og program på evalueringsdagen i forhold til kriterierne-/fokusområderne Justere konceptet yderligere med hensyn til ressourceforbrug (omkostninger) i forhold til værdien af de input uddannelsesledelsen får fra evalueringen til det videre kvalitetssikringsarbejde. I afsnit 3 gives en uddybende forklaring til anbefalingerne. University College Nordjylland 3/8

4 2. Introduktion og baggrund Danmark fik i 2013 en ny akkrediteringslov, hvormed der indførtes et nyt akkrediteringssystem i Danmark, og alle videregående uddannelsesinstitutioner er nu i proces med at overgå til institutionsakkreditering. Med institutionsakkreditering er det op til institutionerne selv at fastsætte det system, der bedst sikrer og udvikler kvaliteten og relevansen af deres uddannelser. I en institutionsakkreditering er det institutionens samlede kvalitetssystem, der vurderes af Danmarks Akkrediteringsinstitution (AI) ud fra de I lovgivningen fem fastlagte kriterier. I institutionsakkrediteringskriterium 4 fremgår kravet til uddannelsesevaluering som et sidste underpunkt, der lyder som følgende: Institutionerne skal sikre: at der gennemføres regelmæssige evalueringer af uddannelserne med inddragelse af eksterne eksperter, og at resultaterne herfra inddrages i den videre udvikling af uddannelsernes mål, indhold og tilrettelæggelse. Som supplerende vejledning har AI Marts 2015 udarbejdet notatet; Evaluering af egne uddannelser med inddragelse af eksterne eksperter med det formål at tydeliggøre, hvad der bliver lagt vægt ved en institutionsakkreditering. Dette er i november 2015 efterfulgt af Opfølgning på notat om evaluering af egne uddannelser med inddragelse af eksterne eksperter, der skal følge op og uddybe dele af notatet fra marts Da dette krav til uddannelsesevalueringer med inddragelse af eksterne eksperter er et nyt krav, har professionshøjskolerne arbejdet lokalt med at udarbejde koncepter for disse og delt erfaringer med dette arbejde bl.a. i professionshøjskolernes nationale netværk. En af de store udfordringer ved disse uddannelsesevalueringskoncepter er at få disse justeret til at opfylde ovenstående krav, således der er en god balance mellem anvendte ressourcer og den værdi evalueringen vil have for det videre kvalitetsarbejde i den enkelte uddannelse (costbenefit). De samlede årlige ressourcer og omkostninger kan for institutionerne få et meget stort omfang, da der skal anvendes såvel mange interne timer samt indkøb af de eksterne eksperters timer og befordring m.v. Og specielt institutioner, der har mange uddannelser og/eller uddannelser med få studerende, vil blive økonomisk hårdt belastet. Denne evaluering af UCSJ s koncept for uddannelsesevalueringer skal ses i relation til, at professionshøjskolerne er i en konceptopbygningsfase af disse krævede uddannelsesevalueringer med inddragelse af eksterne eksperter. I forbindelse med professionshøjskolernes fortsatte arbejde med optimering af de enkelte institutioners koncepter, kunne det overvejes, om det kunne give værdi at genoptage arbejdet omkring at lave en fælles ramme for evaluering af fællesdelen af studieordningerne (mål og indhold). I AI s notat Opfølgning på notat om evaluering af egne uddannelser med inddragelse af University College Nordjylland 4/8

5 eksterne eksperter, åbner AI nu op for at acceptere tværgående evalueringer af en uddannelse, se uddrag fra notatet her: Institutioner, der udbyder professions- og erhververettede videregående uddannelser, kan derfor have særlige interesser i at gennemføre tværgående evalueringer af en uddannelse eller evt. en gruppe af beslægtede uddannelser, fx sundhedsuddannelserne. Sådanne evalueringer kan have fokus på en uddannelse som helhed eller på bestemte aspekter af en uddannelse, som fx integration af teori og praksis eller implementering af (politisk bestemte) uddannelsesreformer. AI finder som udgangspunkt, at sådanne tværgående evalueringer potentielt godt vil kunne bidrage til opfyldelsen af kravet i kriterium IV om evaluering af egne uddannelser med inddragelse af eksterne eksperter. Det forudsætter naturligvis, at der indgår eksterne med ekspertviden i evalueringerne, og at evalueringerne også giver viden om kvaliteten af det enkelte uddannelsesudbud for at opfylde kriteriets formål om både sikring og udvikling. Hvis input fra eksterne eksperter indhentes via delevalueringer, er det uddannelsesinstitutionens ansvar at sikre, at de forskellige evalueringsresultater sammen med andre relevante data samles i en regelmæssig evaluering af den samlede uddannelse. Institutionen kan godt selv stå for den regelmæssige evaluering af den samlede uddannelse, hvis delevalueringerne indeholder væsentlige bidrag fra eksterne eksperter. Det vil være op til et akkrediteringspanel at vurdere dette i den konkrete kontekst. En sådanne tværgående evaluering kan, som det læses af ovenstående uddrag ikke stå alene, men ville kunne suppleres med et mere light evalueringskoncept for institutionerne, der sikrer den resterende del af evalueringen, så der fremkommer resultater, der kan bidrage til videre udvikling af såvel uddannelsens mål, indhold samt tilrettelæggelse. En fælles tværgående evaluering af f.eks. mål og indhold vil samtidig kunne lette sektorarbejdet med at få justeret mål og indhold i studieordningens fællesdel, da alle institutioner for nuværende skal komme med hver deres egne bidrag til den løbende justering ud fra egne gennemførte uddannelsesevalueringer. 3. Uddybning af anbefalingerne Optimering af informations- og dokumentationsmateriale til uddannelsesevalueringen Evalueringseksperterne giver udtryk for, at der er et tidsmæssigt stort forberedelsesarbejde, hvor der anvendes en forholdsmæssig stor andel af tid på at få overblik over samt at udprinte informations- og dokumentationsmaterialet. Specielt dokumentationsmaterialet, som er tilgængelig via mappevis inddeling iht. uddannelsesakkrediteringskriterierne på GoogleDrive, kan være svært at få overblik over. Det bør overvejes at optimere overblik og dokumentationsmængden til eksperterne. Det kunne konkret gøres ved at udarbejde en kort statusrapport/sammenfatning af uddannelsens status for kvalitet- og relevans, evt opdelt iht. uddannelsesakkrediteringskriterierne, således at denne bliver et hoveddokument til brug for uddannelsesevalueringens dokumentation, kun suppleret med væsentlige nøgledokumenter, så som eks. årlig kvalitetsrapport, gældende studieordning, nøgletal m.v. Der kunne samtidig åbnes for at eksperterne i forbindelse med deres forberedelse kan bede om uddybende dokumentation indenfor de områder, hvor de kunne ønske sådanne. En mulighed kunne yderligere være at udsende materialet i papirformat til eksperterne, så de kunne spare tid på printning. University College Nordjylland 5/8

6 3.1.2 Mere tydelige ekspertprofiler både i forberedelsen samt på evalueringsdagen Set i sammenhæng til anbefalingen ovenfor, er det en stor mængde af informationer og dokumenter, den enkelte ekspert skal forberede sig på for alle 5 uddannelsesakkrediteringskriterier i forbindelse med uddannelsesevalueringen. Da UCSJ jo eksemplarisk har sammensat ekspertpanelet, så de har komplementære perspektiver/profiler, kunne disse perspektiver/profiler evt. yderligere tydeliggøres, ved at opdele ansvar for kriterierne imellem disse indenfor deres ekspertområder, således de kun vil få 1-2 kriterier som primære evalueringsområder. Eks. så eksperten/eksperter med aftagerperspektiv primært skal fokusere på at gå i dybden kriterium 1. Behov og relevans. På selve evalueringsdagen kunne de samme eksperter ligeledes få ansvaret for at begynde interviewene indenfor de konkrete kriterier, hvilket kan give en lettere opstart på evalueringen af de enkelte kriterier. Ovennævnte metode blev anvendt på UCN s første pilotuddannelsesevaluering i november 2015, hvilket blev evalueret til at give god værdi i uddannelsesevalueringsprocessen Give fokusområderne endnu mere værdi for den konkrete uddannelse Fokusområderne for uddannelsesevalueringen er fastlagt af uddannelsen og Kvalitetsafdelingen. En alternativ fremgangsmåde kunne være, at eksperterne inden evalueringsdagen byder ind med ønsker til fokusområder, som de har identificeret potentiale i ud fra det fremsendte dokumentationsmateriale. Samtidig vil den enkelte ekspert så kunne bede om uddybende dokumentation hvis det skønnes nødvendigt/hensigtsmæssigt. Denne audit trail-inspirerede tilgang vil kunne øge værdien af outputtet fra selve evalueringsdagen, da eksperterne muligvis kan finde gode fokusområder, som uddannelsen/institutionen ikke selv har øje for. Ovennævnte metode blev anvendt på UCN s første pilotuddannelsesevaluering i november 2015, og eksperterne fandt gode fokusområder for gennemførelsen af evalueringen, og har siden givet til kende, at det gav god mening og værdi også i forbindelse med deres forberedelsesproces Justere setup og program på evalueringsdagen i forhold til kriterierne-/fokusområderne Programmet for gennemgangen af socialrådgiveruddannelsen den 3. december havde UCSJ s kvalitetsafdeling allerede justeret på baggrund af erfaringerne fra gennemgangen af diplomuddannelsen i ledelse som blev gennemført den 28. oktober. Således er der sket løbende forbedring af konceptet, men der vurderes fortsat at være potentiale til yderligere udvikling jf. nedenfor. Tidsrammen på 8 timer til gennemgangen af socialrådgiveruddannelsen var ca. ligeligt fordelt mellem de enkelte kriterier. Da der kan være særlige fokusområder samtidig med, at der dokumentationsmæssigt vil være forskelle på tyngderne af de forskellige kriterier, kunne en justering af den programlagte tidsramme gøres, så det/de kriterier, der for den konkrete uddannelse har mest tyngde, får forholdsmæssigt mere tid end de øvrige. Der blev også på selve dagen lavet en sådan justering, hvilket var velfungerende, da der blev givet mere tid til væsentlige emner. E-læringsudbuddet og studerende tilknyttet dette var programsat som et separat punkt på programmet, hvor alle kriterier gennemgås for dette. Der kunne tænkes i en optimering ved at behandle begge udbud (fremmøde og e-læring) samlet ved gennemgangen af kriterierne, da der opleves overlap imellem de enkelte interviewspørgsmål. Der skulle så være en e- læringsstuderende til stede hele dagen, men denne kunne evt. udgøre den ene af de 3 fremmøde-studerende, der var til stede. University College Nordjylland 6/8

7 Rækkefølgen for interview af de forskellige grupper (ledelse, undervisere og studerende) blev undervejs afprøvet i forskellige rækkefølger på evalueringsdagen d. 3. december, og på et tidspunkt blev dialogen også afprøvet som fri mellem niveauerne. Det kan være fordele og ulemper ved de forskellige metoder. UCN havde også interview med de studerende sidst på dagen i pilotuddannelsesevalueringen, og evalueringen af dagen har for nuværende betydet, at rækkefølgen vil blive revurderet og muligvis ændret til at begynde med de studerende ved næste uddannelsesevaluering. Dette vil give ekspertpanelet bedre mulighed til at kunne følge op på de studerendes udsagn, når interview med undervisere og ledelse laves efterfølgende. Gruppen af studerende fra uddannelsen kan med fordel udvides til også at indeholde en dimittend fra uddannelsen. Dette vil være værdiskabende for dialogen, da denne vil kunne se tilbage på uddannelsen som helhed og måske kunne give yderligere informationer til dialogen. Ift. de fysiske rammer kan der muligvis være værdi i, at disse genovervejes mhp. at skabe et mere uformelt dialogrum. Bordene, og dermed de enkelte grupper (ekspertpanel - ledelse og undervisere studerende), var placeret meget langt fra hinanden, hvilket medvirkede til at skabe en relativt stor magtdistance. Der vil kunne skabes et mere uformelt og åbent dialogrum ved at deltagerne sidder nærmere hinanden. Endelig kan det nævnes at det er fint at afprøve e-læringsmetoder ved at have e- læringsstuderende med virtuelt, men desværre gav det nogle tekniske opstartsproblemer samtidig med at den e-læringsstuderende der deltog, kun kunne se ekspertpanelet, hvilket ikke giver grundlag for en optimal dialog. Det anbefales derfor at e-læringsstuderende er fysisk tilstede ved uddannelsesevalueringerne Justere konceptet yderligere med hensyn til ressourceforbrug (omkostninger) i forhold til værdien af de input uddannelsesledelsen får fra evalueringen til det videre kvalitetsarbejde. Gennemgangene har resulteret i gode inputs til uddannelserne, som er dokumenterede og tilgængelige i de rapporter, som Kvalitetsafdelingen udarbejder på baggrund af eksperternes udsagn. Disse rapporter fremstår enkle og overskuelige, med angivelse af styrker, svagheder og til overvejelse for hver programdel til brug for uddannelsens videre kvalitetsarbejde. Tidsforbruget anbefales løbende at være til vurdering og justering (cost-benefit), herunder bla. en vurdering af antallet af deltagere såvel de eksterne eksperter samt de interne deltagere. Mens konceptet er i sin opstart giver det megen læring i organisationen at have interne deltagere med bred deltagelse fra organisationen. På sigt kan der tænkes i en nedjustering af antallet af deltagere. Der bør også ske en vurdering i forhold til, om alle skal være til stede under interview med de enkelte niveauer i organisationen. Der kan eks. være mulighed for at mere åbent rum, hvis f.eks. de studerende interviewes af panelet, uden at undervisere og ledelse er til stede. UCN anvendte denne metode til pilotundervisningsevalueringen med godt resultat i forhold til interviewet med de studerende. Der er fordele og ulemper ved begge metoder, og det anbefales at have en løbende afvejning af disse set i forhold til uddannelsernes åbenhed og kvalitetskultur. University College Nordjylland 7/8

8 4. Metode Evalueringen af konceptet er lavet af Kvalitetskonsulent Lena Højlund Larsen ud fra følgende gennemførte uddannelsesevaluering på UCSJ: Uddannelsesevaluering af Diplom i ledelse d. 28. oktober 2015 Uddannelsesevaluering af Socialrådgiveruddannelsen d. 3. december 2015 UCN har i november 2015 selv gennemført første pilotuddannelsesevaluering op Serviceøkonomuddannelsen og erfaringer fra denne er også brugt i forbindelse med denne evaluering. 4.1 Uddannelsesevaluering af Diplom i ledelse d. 28. oktober 2015 Denne uddannelsesevaluering indgår i evalueringen ud fra det tilsendte informations- og dokumentationsmateriale samt efterfølgende udarbejdede input-rapport indeholdende en opsamling på dagen samt del-evaluering af konceptet. Da der ikke var mulighed for at deltage på selve evalueringsdagen, blev der efter denne uddannelsesevaluering afholdt et virtuelt møde med deltagelse af Christian Moldt, Lasse Dalby samt Lena Højlund Larsen d. 17. november. Her blev væsentlige observationer videregivet til brug for den samlede evaluering af konceptet. Ud fra UCSJ s egen opsamling på dagen og delevaluering implementerede UCSJ mindre justeringer af konceptet til uddannelsesevalueringen af socialrådgiveruddannelsen d. 3. december. 4.2 Uddannelsesevaluering af Socialrådgiveruddannelsen d. 3. december 2015 Denne uddannelsesevaluering indgår i evalueringen ud fra det tilsendte informations- og dokumentationsmateriale samt deltagelse i evalueringsdagens fulde program d. 3. december på UCSJ i Roskilde. University College Nordjylland 8/8