Vejledning i kvalitetssikring og kvalitetsudvikling - marts 2011 Kvalitetsudvikling i UCSJ En videninstitution som UCSJ har til opgave at udvikle et kvalitetsudviklings- og kvalitetssikringssystem, der samlet set bidrager til at analysere og vurdere institutionens virksomhed gennem indsamling af data, resultater og viden om institutionens aktiviteter. Omverdens krav til UCSJ præciseres i en række love - institutionsloven og uddannelseslovene, bestemmelser for screening og akkreditering, lov om gennemsigtighed og åbenhed, undervisningsmiljøvurderingen, arbejdspladsvurderingen, ressourceregnskabet og principper der er nedfældet i EU og på internationalt plan. Målet er at give Undervisningsministeriet, UCSJs bestyrelse, ledere, medarbejdere, studerende og andre interessenter viden om institutionens praksis og virkningerne heraf. Data, analyser og vurderinger indsamles i rapportform og skal bidrage til at kvalificere grundlaget for at udvikle og forandre UCSJs videnaktiviteter. Nøgleordene er: System for kvalitetssikring Løbende systematisk selvevaluering Inddragelse af aftagere, studerende og medarbejdere Vidensampling, videnvurdering, videnanvendelse Offentliggørelse af resultater Benchmarking og læring af andres resultater Kvalitetssikring og udvikling er en organisatorisk refleksionsproces hvor 3 centrale begreber går igen: Kvalitetssikring, Hvordan sikrer institutionen såvel som uddannelserne viden om egen virksomhed, med henblik på at forbedre vilkår, processer og resultater? Kvalitetsudvikling Hvordan bearbejder og anvender institutionen såvel som uddannelserne disse resultater, så der skabes en organisatorisk målrettet udvikling? Auditering Hvordan vurderer institutionen sin kvalitetssikring og kvalitetsudvikling, så procedurer bliver proaktive i forhold til mål og resultater? I det følgende beskrives i første afsnit UCSJs system for kvalitetssikring betegnet Årshjulet og derefter UCSJs system for kvalitetsudvikling betegnet Kvalitetshjulet. 1)Årshjulet optræder på 3 niveauer et Institutionsniveau, Uddannelsesniveau og et Kvalitetsenhedsniveau. Årshjulet beskriver systematiske metoder for sampling af data, der er tilbagevendende procedure for generering af viden. Datasamplinger og resultater tilgår gensidigt Årshjulene som grundlag for vurdering, anvendelse og implementering i relation til procedure og processer i Kvalitetshjulet. 1
Uddannelse KU Institution Institutionens Årshjul sikre en sampling af data og oplysninger om studerendes bestand, tilgang, afgang, gennemførelse, praktik, karakterer, bacheloropgaver og personale tal - data opsamles elektronisk via bl.a. SIS. Hertil kommer data fra beskæftigelsesundersøgelser, UVMs interaktive statistiker, EVAs nøgletal, relevante oplysninger fra UNI-C og DK statistik. Endvidere udgiver UVM, AKF, KL og DR, regioner, kommuner og faglige organisationer, jævnligt rapporter og analyser om uddannelsernes situation. Beskrivelse af institutionens datasamplings cyklus + metode i årets kvartaler. Institutionens - årshjul 1.kvartal 2.kvartal: 3.kvartal: Årsopgørelser af STÅ Kvote 2 ansøgertal. Dataanalyse af Studenterbestand. Nyoptag. Datagenerering til udviklingskontrakt og Ressourceregnskab indenfor hovedområderne: Uddannelse til flere, Effektiv institutionsdrift, Udviklingsorientering, Høj faglig kvalitet. Data generering til akkreditering af uddannelser karakterfordeling på fag og moduler, gennemførsels tid, fuldførelse. Ansøger antal for kvote 1 + 2 Dataanalyse af Studenterbestand. Nyoptag 4.kvartal: Årsopgørelser af STÅ 2
Dataformidlingen sker bl.a. gennem UCSJs intranet hvor Direktion, KU, Projektledersekretariatet og uddannelser har adgang og kan trække data om uddannelsens resultater til den efterfølgende evaluerende virksomhed og kvalitetsudviklende procedure. Den eksterne formidling af resultater findes på UCSJs hjemmeside under henholdsvis Om UCSJ/ nøgletal og UCSJ/Udvikling. Kvalitetsenhedens (KU) Årshjul beskriver gennemførsel af undersøgelser, resultatsampling, resultatopgørelser og afrapporteringer. Yderligere indgår data fra studenter- og medarbejdertilfredshedsundersøgelse samt undervisningsmiljøvurderingen. Ligeledes gennemfører KU Aftager- og dimittendundersøgelser. Disse data opsamles i et løbende samarbejde mellem KU, projektledersekretariatet og uddannelser, der aftales i en plan godkendt i direktionen. KU - årshjul Kontinuerlige arbejdsopgaver i forbindelse med akkreditering, evaluatorgrupper, kvalitetsnetværk, konferencer, nøgletal m.m. 1.kvartal 2.kvartal: 3.kvartal: 4.kvartal: Aftager - dimittendundersøgelse dataanalyse og rapportproduktion på baggrund af en kvantitativ tværgående spørgeramme. Data til Ressourceregnskab/ udviklingskontrakt. Frafaldsrapport årsrapport for institutionen. Baselinekonstruktioner for projekter, blended learning m.v. Evaluering af grunduddannelserne. Studentertilfredshedsundersøgelse kvantitativ undersøgelse p.b.a. fælles UC koncept. Studentertilfredshed afrapportering. Frafaldsanalyse KU har konstrueret en frafaldsundersøgelse, der har til hensigt at genere data om de studerendes oplevelser, vurderinger og bevæggrunde for at stoppe studiet. Hvert campus har 1 central studievejleder, der løbende sørger for, at data fra de udmeldte studerende bliver indhentet via undersøgelsen. Den samlede årlige - frafaldsrapport på institutionsniveau udarbejdes af KU og fremlægges i Direktionen. Uddannelsens Årshjul De lokale oplysninger fra uddannelserne opsamles af Uddannelsesdirektør og Uddannelsesledere. Det er uddannelsesdirektørens ansvar at kvalitetsarbejdet gennemføres på campus og på de enkelte uddannelsessteder. Uddannelsens - årshjul 1.kvartal Frafaldsanalyse dataopgørelse af frafaldne (studievejl.) Evaluering af uddannelsens internationale aktiviteter og herunder studentermobilitet. UVMs statistik om frafald, gennemførelsesfrekvens og beskæftigelsesfrekvens. Evaluering af undervisningsforløb/ praktik /klinik 3
2.kvartal: 3.kvartal: 4.kvartal: Behandling og igangsættelse af indsatsområder/ anbefalinger fra studentertilfredshed. 3.partsmøde Frafaldsanalyse dataopgørelse af frafaldne og afrapportering af studieårets frafaldstendenser. (studievejl.) Evaluering af undervisningsforløb/ praktik/klinik. Evaluering af udviklingsprojekter/ indsatsområder. Evaluering af uddannelsen rapport fremsendes til KU og lægges på Quickr UCSJ afrapportering Frafaldsanalyse dataopgørelse af frafaldne(studievejl.). Evaluering af undervisningsforløb/ praktik/klinik. Studentertilfredshedsundersøgelse Afrapportering af evaluering af grunduddannelsen afleveres 1.september til KU i Quickr UCSJ afrapportering. Frafaldsanalyse dataopgørelse af frafaldne(studievejl.). Evaluering af undervisningsforløb/ praktik/klinik. Studievejlederen laver kvartalsvis opgørelser af data for uddannelsernes frafaldne studerende som en afrapportering på campus og som forelæggelse medarbejdere, uddannelsesledere og direktør. Studievejlederen udarbejder årlig en rapport med mål, strategier, analyser samt afrundende med konklusion og anbefalinger for studievejledningens indsatsområder for kommende år. Samlet set tager uddannelsens Årshjul afsæt i en operationalisering af: - Data fra uddannelsesstedets egen virksomhed der gennem en lokal plan godkendt af FUs kvalitetsenhed, systematisk (på samme tidspunkt årligt) og metodisk (fastlagt procedurer) forholder sig til evalueringsintervaller af uddannelsens aktiviteter. - Systematiske og metodiske gennemførte og dokumenterede evalueringer af undervisningsforløb, studieaktiviteter, praktik/klinik, udviklingsprojekter og studievejledning på studenter- og lærerniveau samt evalueringer foretaget i fora af f.eks. DSR og pædagogiske råd. - Data og evalueringer fra uddannelsens internationale aktiviteter og herunder studentermobilitet i forhold til og i samspil med uddannelsens tilrettelæggelse. - Rapporter fra møder, seminarer og konferencer med aftagere, faglige organisationer, undervisere og studerende med angivelse af tema, tid, sted, deltagere og deltagerantal. Ovenstående er afsæt for udvikling af kvaliteten i videnaktiviteter med henblik på gennemførsel af uddannelsesdidaktiske analyser og argumentationer, der skriftlig kommunikerer proaktive og prioriterede handlinger i relation til øget opfyldelse af Uddannelsesbekendtgørelse, Studieordning og Akkrediteringskriterier samt til forbedring af uddannelse, undervisning og studieorganisation, lokalt og i campus. Forberedelsen af uddannelsens Akkreditering sker i det fortløbende, planlagte og prioriterede evalueringsarbejde, som samlet set skal sikre at viden generes indenfor samtlige Akkrediteringskriterier indenfor de foreskrevne Akkrediteringsintervaller. 2)Kvalitetshjulet består af en procedure for behandling af data, evalueringer og viden om institutionens virksomhed, således at hele organisationen UCSJ på steds-, uddannelses- og centralt 4
niveau til stadig reflekterer over opnåede resultater, vurderinger og implementeringer. Dette danner baggrund for UCSJs prioriteringer for kommende mål og indsatsområder, med henblik på en proaktiv og fremtids rettet påvirkning af Ressourceregnskab, Udviklingskontrakt og kontinuerlige uddannelses akkrediteringer. Stedsniveau Det er uddannelsesdirektørens opgave i samarbejde med stedets uddannelsesleder, mindst en gang om året (2. kvartal, se vedlagte tidsskema), at forelægge udvalgte relevante data fra Årshjulet og andre relevante evalueringer for repræsentanter for studerende, undervisere og eksterne aftagere ved et årligt 3 parts evalueringsmøde. Der vedlægges vejledning A til afvikling af evalueringsmødet. Efterfølgende rapport med bilag og dokumentation indeholdende mødets dagsorden og referat med handleforslag, evalueringsmateriale, skriftligt udarbejdede analyser, og ledelsens kommentarer og konklusioner, fremsendes af uddannelsesdirektøren til UCSJ, FU, Kvalitetsudvikling inden 1.september. Uddannelsesniveau FU, Kvalitetsudvikling har til opgave mindst en gang om året (4. kvartal se vedlagte tidsskema), i samarbejde med den fagligt ansvarlige uddannelsesdirektør, at forelægge udvalgte relevante data fra Årshjulet og andre relevante evalueringer samt stedernes årlig evalueringsrapport for uddannelsesudvalget. Der vedlægges vejledning B til afvikling af punktet på uddannelsesudvalgets møde. Rapport om mødets konklusioner sendes til rektor og direktion. Ledelsesniveau Det er rektors opgave, mindst en gang året, se vedlagte tidsskema, at forelægge data og oplysninger fra Årshjulet og fra uddannelsesudvalgene på et bestyrelsesmøde. Der vedlægges vejledning C til afvikling af punktet på bestyrelsens møde. Årsrapport Det er rektors opgave at der hvert år efter bestyrelsens behandling udarbejdes handleplaner for relevante prioriterede indsatsområder, som skal gøres tilgængelig for hele organisationen UCSJ. Der skal sikres sammenhæng mellem mål, indsatsområde og afsatte ressourcer. Diplomuddannelser der relaterer sig uddannelsesudvalgenes fagområder behandles på lige fod med kvalitetssikring og kvalitetsudvikling i andre uddannelser. De øvrige diplomuddannelser skal behandles af relevante aftagerpaneler med repræsentanter for ledelse, studerende, undervisere og eksterne aftagere og indeholde de samme data og oplysninger som de ordinære uddannelser. Videncentrene udarbejder årligt en kort rapport over videncenters aktiviteter, der beskriver sammenhængene mellem videncenter aktiviteterne og Udviklingskontraktens fire overordnede uddannelsespolitiske målsætninger: Høj faglig kvalitet, Uddannelse til Flere, Udviklingsorienterede institutioner og Effektiv institutionsdrift. Fokus for rapporten er Videncenteret bidrag til viden, vækst og velfærd for borgere, virksomheder, kommuner og regioner. Som en del af ovenstående fokus ønskes en opgørelse over videncenterets produktions- og distributionsvirksomhed opgjort i artikler, oplæg, konferencer, netværk m.v. samt videncentrets strategier for spredningseffekt internt som eksternt. 5
Kvalitetshjul UCSj Ansvarlig: Uddannelsesdirektør i samarbejde med studieleder Stabsfunktionen i samarbejde med uddannelsesdirektør Rektor i samarbejde med direktion Rektor Stabsfunktion 1.kvartal 2.kvartal 3.kvartal 4.kvartal Ledelsesniveau Direktion for året før Ressourceregnskab Udviklingskontrakt Stedniveau Campus Bestyrelsen for året før (Medarbejderundersøgelse) Årsrapport for året før (Studentertilfredshedsundersøgelse) Uddannelsesniveau Uddannelsesudvalg I 2.kvartal op til sommerferien gennemføres evalueringsmøder på alle uddannelsessteder. Evalueringsrapport fremsendes til den relevante stabsfunktion af den relevante uddannelsesdirektør inden 1. september. Uddannelsesudvalgene behandler spørgsmålet om Kvalitet og Udvikling på et møde i 4. Kvartal, der afgiver rapport til rektor inden 1. november. Herefter bearbejdes materialet til en samlet rapport der behandles i direktion og derefter fremsendes til bestyrelsens drøftelse. Efter bestyrelsens behandling udarbejder rektor en kort årsrapport med handleplaner til offentliggørelse senest med udgangen af 1. Kvartal. Vejledning A Evalueringsmøder. Uddannelsesdirektør og uddannelsesleder Hermed angives i stikordsform en indholdsdisposition af vejledende karakter, til brug for Uddannelses stedernes evalueringsmøder. Udgangspunktet er data fra UCSJs Årshjul, UVMs statistik om frafald, gennemførelsesfrekvens og beskæftigelsesfrekvens m.v. samt egne lokale tal og opgørelser af studentertilfredshed og medarbejdertilfredshedsundersøgelser, international studentermobilitet samt undervisningsmiljøvurdering. Oplysninger kan indhentes fra ledelsessekretariatet eller FU, Kvalitetsudvikling. Derefter medtages lokale dokumenterbare - systematisk gennemførte og analyserede evalueringer af undervisningsforløb, studieaktiviteter, praktik/klinik, internationale aktiviteter, studievejledning og udviklingsprojekter samt relevante udtalelser fra pædagogiske råd og DSR. Øvrige relevante lokalt indsamlede data om kvalitetsforhold, f.eks. egne undersøgelser af studerende, der har forladt uddannelsen, registrerede ændringer i optagelsesgrundlaget, efterundersøgelser af kandidaters ansættelser og oplevelser fra uddannelsen og uddannelsesstedet medtages. Oplysninger om uddannelsen og de færdiguddannede fremsat af aftagere og andre interessenter: kommuner, regioner, faglige organisationer, faglige foreninger m.v. medtages. Herefter opbygger uddannelsesdirektør og studieleder et skriftligt mødemateriale på baggrund af indsamlede data og evalueringer, der samlet dokumenterer, hvad der kvalificeret kan siges 6
ud fra data om optag, undervisning og afgang samt af studerende, lærere og aftagere om stedet og uddannelsens aktiviteter. Endelig foretager uddannelsesdirektør og studieleder en skriftlig analyse af mødematerialet, der peger på mulige tolkninger og konsekvenser på kort og på langt sigt - afsluttende med forslag til ændringer af nuværende uddannelsespraksis. Det samlede materiale lægges frem til drøftelse for den inviterede aftagergruppe (2. Kvartal) med repræsentanter fra studerende, undervisere, aftagere og evt. andre interessenter. Drøftelsen skal bidrage til ledelsens prioritering af indsatsområder for kommende år med henblik på interne og eksterne fordringer til uddannelsens kvalitet med fokus på uddannelsens bekendtgørelse, studieordning samt de kontinuerlige intervaller for uddannelsens akkreditering og de forud definerede akkrediteringskriterier. Evalueringsmødets ramme er en 3 partsevaluering med alle repræsentanterne samlet til drøftelse. Det er centralt for evalueringsmødet, at aftagerpositionen også er repræsenteret af en part uden for uddannelsens praktik og klinik område. Herefter udarbejdes et referat af mødet, der udsendes til alle deltagerne og som er grundlag for ledelsens overvejelser over nye tiltag, der realistisk kan forbedre kvaliteten af uddannelsens aktiviteter på uddannelsesstedet. På baggrund af ovenstående udarbejder uddannelsesdirektør og studieleder relevante og prioriterede indsats områder for uddannelsen. Indsatsområderne beskrives ud fra terminologien baseline mål indikator gennemførsel evaluering, til videre drøftelse i uddannelsesudvalget. Efterfølgende rapport med bilag og dokumentation indeholdende mødets dagsorden og referat med handleforslag, evalueringsmateriale, skriftligt udarbejdede analyser, og ledelsens kommentarer og konklusioner, fremsendes den 1. september af uddannelsesdirektøren til UCSJ, FU, Kvalitetsudvikling og lægges på intranet pladsen UCSJ Afrapportering under uddannelsesstedet plads. Uddannelsesdirektøren bearbejder materialet til et punkt om Kvalitet og Udvikling på Uddannelsesudvalgets møde (4. kvartal). Vejledning B Uddannelsesudvalg Stabsfunktion og uddannelsesdirektør Udgangspunktet er data fra UCSJs Årshjul, UVMs statistik om frafald, gennemførelsesfrekvens og beskæftigelses-frekvens m.v. samt tal og opgørelser af studentertilfredshed og medarbejdertilfredshedsundersøgelser, international studentermobilitet samt undervisningsmiljøvurdering for hele uddannelsen i UCSJ. Hertil kommer rapporter fra stedernes evalueringsmøder med deres anbefalinger fra aftagere, undervisere, studerende og lokale ledelser Herefter medtages uddannelsens egne dokumenterbare - systematisk gennemførte og analyserede evalueringer samt kendte offentliggjorte uddannelsesevalueringer fra f.eks. UVM, AKF, KL og DR, regioner, kommuner og faglige organisationer, indsamlede data fra f.eks. undersøgelser af studerende der har forladt uddannelsen, registrerede ændringer i optagelsesgrundlaget, efterundersøgelser af kandidaters ansættelser og andre kvalitative undersøgelser fra uddannelsen. 7
Oplysninger om uddannelsen og de færdiguddannede fremsat af regionale aftagere og andre regionale interessenter: kommuner, regioner, virksomheder faglige organisationer, faglige foreninger, m.v. Derefter opbygger man et skriftligt mødemateriale der dokumenterer hvad der relevant og kvalificeret kan siges ud fra data om UCSJs uddannelse, optag, undervisning og afgang og af studerende, lærere og aftagere om uddannelsens aktiviteter og resultater. Endelig foretager stabsfunktion og den faglige relevante uddannelsesdirektør en skriftlig analyse af mødematerialet der peger på mulige tolkninger og konsekvenser på kort og på langt sigt, afsluttende med forslag til ændringer af nuværende uddannelsespraksis. Det samlede materiale lægges frem til drøftelse i Uddannelsesudvalget (3. Kvartal) med repræsentanter fra studerende, undervisere, aftagere og evt. andre interessenter. Udvalgets drøftelse skal bidrage til at rektor og direktion kan prioritere indsatsområder i det kommende år med henblik på interne og eksterne fordringer til uddannelsens kvalitet med fokus på uddannelsens bekendtgørelse, studieordning samt de kontinuerlige intervaller for uddannelsens akkreditering. Herefter udarbejdes et referat af mødet, der udsendes til alle deltagerne og som er grundlag for ledelsens overvejelser over nye tiltag, der realistisk kan forbedre kvaliteten af aktiviteter i uddannelsen i UCSJ. Som afslutning fremsendes hele materialet med indkaldelse, dokumentation, mødegrundlag og referat til rektor og den relevante stabsfunktion, som mail med filer, der bearbejder materialet til et punkt om Kvalitet og Udvikling på et direktionsmøde (1. Kvartal året efter) m.h.p. drøftelse i bestyrelsen (2. Kvartal året efter) Vejledning C Øverste ledelsesniveau Direktion, rektor og bestyrelse Udgangspunktet er bl.a. data fra UCSJs Årshjul, UVMs statistik om frafald, gennemførelsesfrekvens og beskæftigelses-frekvens, studentertilfredshed og medarbejdertilfredshedsundersøgelser, international studentermobilitet samt undervisningsmiljøvurdering m.v. for uddannelser og steder i UCSJ som helhed. Hertil kommer rapporter fra uddannelsesudvalgene med deres anbefalinger. Offentliggjorte evalueringer fra f.eks. UVM, AKF, KL og DR, regioner, kommuner og faglige organisationer, indsamlede data fra f.eks. undersøgelser af studerende der har forladt uddannelsen, registrerede ændringer i optagelsesgrundlaget, efterundersøgelser af kandidaters ansættelser og andre kvalitative undersøgelser fra UCSJ og andre UCer. Oplysninger om uddannelserne og de færdiguddannede fremsat af regionale aftagere og andre regionale interessenter: kommuner, regioner, virksomheder faglige organisationer, faglige foreninger, m.v. Endvidere medtages data, evalueringer og oplysninger fra UCSJs tværgående videncenterfunktioner, herunder, efter- og videreuddannelse, udvikling og forskningssamarbejde, partnerskaber m.v. Derefter opbygger rektor i samarbejde med den relevante stabsfunktion et mødemateriale der dokumenterer hvad der relevant og kvalificeret kan siges ud fra data om UCSJs uddannelser og videnaktiviteter, optag, undervisning og afgang, og af studerende, 8
undervisere og aftagere om uddannelse, videnaktiviteter og resultater. Endelig foretager rektor og den relevante stabsfunktion en analyse af mødematerialet der peger på mulige tolkninger og konsekvenser på kort og på langt sigt, afsluttende med forslag til ændringer af nuværende praksis. Det samlede bearbejdede materiale lægges frem til drøftelse for direktionen(1.kvartal) der rådgiver rektor om Kvalitet og Udvikling for UCSJ i de kommende år. Dernæst fremlægges det bearbejdede materiale for bestyrelsen (2. Kvartal) som et punkt om Kvalitet og Udvikling. Drøftelserne skal bidrage til at rektor og bestyrelse kan prioritere indsatsområder i de kommende år. Bestyrelsens beslutning er grundlaget for rektor og den øverste ledelses prioritering af mål, ressourcer og indsatsområder for UCSJ uddannelser og videnaktiviteter. Som afslutning udarbejder rektor en årsrapport der offentliggøres på UCSJs hjemmeside og som derefter indgår i steder, uddannelser og ledelsers mål, prioriteringer og indsatsområder. Årsrapporten skal særligt fokusere på helheden i organisationen, dens resultater, aktiviteter og vurderinger. Auditering Mindst hvert 3.år og næste gang i 2012 skal denne plan for kvalitetssikring og kvalitetsudvikling gøres til genstand for en undersøgelse af om UCSJs system for kvalitetssikring og kvalitetsudvikling opfylder sit mål om at forbedre kvaliteten af organisationens uddannelser og videnaktiviteter og pædagogisk-administrative procedurer i tilknytning hertil. Undersøgelsen skal foretages under medvirkning af ekstern part. Kvalitetskoordinator Charlotte Wurr, UCSJ, Forskning og Udvikling Dekan Johny Lauritsen, UCSJ, Forskning og Udvikling 9