Fælles dimittendundersøgelse Oplægget hviler på de UCL-dimittendundersøgelser, der ligger på ucl.dk og dimittendundersøgelser fra Metropol og UCC. Først præsenteres en grundlæggende analyse af dimittendundersøgelsen, hvad hvorfor- hvordan? Dernæst præsenteres udkast til ramme for spørgetemaer. Der er en række hv-spørgsmål, som man typisk kan bruge til at analysere en evalueringsopgave med. De er anvendt herunder. Hvad skal evalueres?: Dimittendernes beskæftigelse kortlægges (a), og deres vurdering af deres uddannelses relevans i forhold til deres konkrete erfaringer på professionens arbejdsmarked undersøges (b). Hvorfor skal der foretages dimittendevaluering/ hvad skal det bruges til?: Uddannelserne får på strategisk niveau viden om hvorvidt dimittenderne finder relevant beskæftigelse altså beskæftigelse der kan siges at være inden uddannelsens påtænkte profession (jf. a). Dimittendernes ledighed/beskæftigelsesgrad undersøges ikke her, da data herom fremskaffes løbende af Styrelsen for Videregående Uddannelser. Uddannelserne får på operationelt niveau viden om, hvad dimittendernes arbejder med og dimittendernes vurdering af uddannelsens indhold på disse områder (jf. b). Det er altså viden om, hvilke faglige aspekter der er vigtige for dimittenderne i deres opgaveløsning og deres vurdering af, i hvilken grad uddannelsen har bidraget med at klæde dem på til at løse opgaverne. Det må forventes, at analyse af resultaterne kan anvendes til konkrete justeringer eller bekræftelse af, at uddannelsen allerede har truffet valg om indhold, der er passende i forhold professionens aktuelle situation. Uddannelsen får desuden operationel viden om centrale tendenser i uddannelsens vidensgrundlag. Indhentelse af den operationelle og strategiske viden er krav i forbindelse med uddannelsesakkrediteringens kriterium I og III og institutionsakkrediteringens kriterium V. I forhold til (b) er det didaktikkens gængse indholdskategori, der er genstandsfelt. Vejledningen til uddannelsesakkreditering bruger begrebet læringsmålene for uddannelsens elementer. Vejledningen til institutionsakkreditering taler om uddannelsernes niveau og indhold. Hvordan skal dimittendevalueringen foretages?: Følgende forslag til evalueringens proces bygger på Metropol og UCC s erfaringer: Dimittendevalueringen foretages 12 måneder efter dimission. Her har dimittenderne (forhåbentlig) konkrete erfaringer fra job i professionen, og uddannelsen er stadig nærværende. 1
Gennemførelsen af undersøgelsen i efteråret 2015 bruger som udgangspunkt dimittender fra januar som respondenter (læreruddannelsen har dimission om sommeren). På længere sigt skal det sikres at dimittender fra vinterstudiestart også undersøges. Små uddannelser har alle dimittender fra en dimission som potentielle respondenter. Store uddannelser kan indsnævre respondentgruppen med henblik på et mere fokuseret arbejde for at øge deltagelsen. Uddannelserne træffer konkrete metodiske valg i samarbejde med Kvalitet & Evaluering. Som udgangspunkt udsendes pr. mail et elektronisk spørgeskema, som i sin grundstruktur er fælles for alle uddannelser. Læringsmålene er naturligvis forskellige. Derfor vil der være konkrete forskelle mellem for eksempel spørgeskemaer til pædagoguddannelsen og administrationsbacheloruddannelsen. Derudover kan der være uddannelsesspecifikke spørgsmål, der ligger indenfor evalueringens formål (se hvad og hvorfor ). Små uddannelser kan eventuelt foretage telefoninterviews i stedet for. Det skal afklares, hvem der konkret udsender og samler resultaterne. Tilvejebringelse af høje svareprocenter må ses som en særlig indsats. Sikringen af deltagelsen i ved undersøgelsens gennemførelse i 2015 sker ved at: a) uddannelserne skaffer kontaktmailadresse i det afsluttende semester, og b) annoncering af evalueringen på eventuelle eksisterende elektroniske platforme, fx Facebook. På baggrund af erfaringerne fra 2015 vurderes det, om undersøgelsen næste gang (senest 2017) skal forbindes til et fagligt og socialt UCL-alumnearrangement. Der vil givetvis være udfordringer med at opnå høje svarprocenter. Besvarelsesprocenter over 60 betragtes som tilfredsstillende. Tidsplan Normalt følges denne tidsplan (første gang efterår 2015): 1.11 uddannelserne sender respondentliste til konsulent for elektronisk evaluering 1.12 senest udsendes spørgeskemaet Udsendelsesdato + 14 dage udsendes rykkere Inden jul modtager uddannelsen en rapport fra survey xact Januar mødes aftagerpanel og drøfter resultater 2
Spørgetemaer Spørgsmålene knyttes nært an til formålene (se hvad og hvorfor ) med evalueringen. Som udgangspunkt er der to spørgetemaer: relevant beskæftigelse og evaluering af uddannelsens indholdsmæssige relevans. I det første tema spørges der ind til, om dimittenderne har job, og i så fald hvad? Det sker med henblik på at uddannelsen kan vurdere, om dimittenderne har relevant beskæftigelse. Vejledningen til uddannelsesakkreditering definerer relevans til at være bestemte områder som uddannelsen selv sætter - og ansættelsesniveau som professionsbachelor. I det andet tema spørges der først ind til, hvilke områder af uddannelsens læringsmål, dimittenden har erfaringer med anvendelsen af. Dernæst spørges der til dimittendens vurdering af uddannelsens relevans på områderne med egne konkrete erfaringer. Spørgsmålene i det andet tema opstilles ud fra uddannelsesbekendtgørelsens opstilling af læringsmål. Denne opdeling anvendes også i undersøgelsen af aftagernes vurdering af dimittendernes kompetencer, så der på denne måde opnås en triangulering eller dobbelt blik på spørgsmålet, om uddannelsernes indhold er det rette. Uddannelsernes bekendtgørelser opstiller læringsmålene for uddannelserne i meget forskellig grad af dybde. Som princip skal opstillingen af kompetencer give mening for uddannelsen og dens profession. Der bør maksimalt spørges ind til cirka 20 læringsmål. Uddannelser med mange læringsmål, fx den nyeste pædagoguddannelse, opstiller som forslag læringsmål ud fra kompetencemål for bachelorprojektet. Som bilag er der således et udkast til spørgsmål om relevante kompetencer ud fra pædagoguddannelsens bekendtgørelse. Uddannelseschefen opstiller forslag til spørgsmål til det andet tema om læringsmål, og vicedirektøren godkender forslaget. Nedenstående oversigt er fælles spørgsmål til hele spørgeskemaet. 3
I. Spørgetemaet relevant beskæftigelse 1.Er du på nuværende tidspunkt: I arbejde indenfor det XX-professionsfaglige område Under uddannelse Ledig 2.Hvor hurtigt efter endt uddannelse fik du job? 3.I hvilken by/kommune ligger din arbejdsplads? (vigtigt i forhold til dækning af professionens behov i geografisk område) 4.Inden for hvilket af følgende XX-områder arbejder du indenfor? Uddannelsen opstiller en liste. Evt. mulighed for at uddybe hvis man er i job udenfor de traditionelle områder. II. Spørgetemaet uddannelsens indholdsmæssige relevans 5. Hvor vigtig mener du, at følgende kompetencer er for at varetage dine opgaver som XX? I høj grad vigtige I nogen grad I mindre grad Slet ikke Kompetence 1 Kompetence 2 (meningsfulde kategorier findes i uddannelsens bekendtgørelse eller uddannelsen udarbejder en forkortet liste) Afkrydsninger i i høj grad vigtige suppleres med spørgsmål om dimittendens vurdering af eget fagligt niveau indenfor disse kompetencer. 6. I hvilken grad vurderer du, at dit uddannelsesforløb samlet set har bidraget til at udvikle dine kompetencer til at løse dine opgaver? Spørgsmål 6 bruges som indikator i kvalitetssystemet. 7. Hvilke emner/områder bør eventuelt have en højere prioritet i uddannelsen? Frit tekstfelt. Oplysninger om arbejdsgiver Kontaktoplysninger på daglig leder til aftagerundersøgelse. 4
Bilag: Forslag til spørgsmål om relevante kompetence til den nyeste pædagoguddannelse 6. Hvor vigtige mener du, at følgende kompetencer er for at varetage dine opgaver som pædagog? Kompetencerne er hentet fra beskrivelsen af din uddannelses bachelorprojekt. At kunne undersøge en professionsfaglig problemstilling af både teoretisk og praktisk karakter At kunne vurdere muligheder for udvikling og kvalificering af pædagogisk praksis At kunne formidle handlingsorienterede overvejelser om en problemstilling At kunne inddrage organisatoriske og samfundsmæssige forhold i perspektivering af en problemstilling At kunne inddrage viden og forskning i en faglig argumentation om en problemstilling At kunne begrunde valget af metoder til indsamling af empiri om en problemstilling At kunne formidle analyse og undersøgelsesresultater (her mangler nok et handlingsperspektiv) I høj grad vigtige I nogen grad I mindre grad Slet ikke 5