Rapport omhandlende det tværfaglige projekt:

Transkript

1 1 Rapport omhandlende det tværfaglige projekt: Udvikling og implementering af en evalueringskapacitet rettet mod studievejlederfunktionen ved University College Lillebælt (Blangstedgaardsvej og Sygeplejerskeuddannelsen i Svendborg). Projektdeltagere Anne Marie Højvang (amhc@ucl.dk Fysioterapeutuddannelsen), Birte Aidee Johannessen (biaj1@ucl.dk Sygeplejerskeuddannelsen Odense) og Alice Petersen alpe@ucl.dk (Sygeplejerskeuddannelsen i Odense, projektleder). Projektet er en del af University College Lillebælt projektet:udviklingsprojekter på tværs af studievejledninger i UCL. (Ulla Viskum, projektleder). Tidshorisont: september 2008 til juli 2009 Udgivet december 2009.

2 2 Indholds fortegnelse 1.0 Sammenfatning Baggrund Hvorfor skal vi overhovedet evaluere? 5 2.2Hvorfor er det vanskeligt at evaluere studievejledning? Det institutionelle og organisatoriske niveau Individniveauet Magtperspektivet Formålet med projektet Metode (Ad 1) Opstille evalueringsspørgsmålet (Ad 2) Finde kilder til udarbejdelse af programteorien (Ad 3) Opstille programteorien i flow-chart (Ad 4) Gøre programteorien klar til evaluering Data generering (Ad 5) Vælge evalueringsmetode (Ad 6) Indsamle data Elektronisk spørgeskemaundersøgelse Tværfaglige fokusgruppeinterviews Resultat 13

3 3 6.1 Spørgeskemaundersøgelse modul Tværfaglige fokusgruppeinterviews (Ad 7)Udvikling af programteorien Proces Resultat Mål Anbefalinger Læringspunkter fra projektet Gode råd Referenceliste Bilagsfortegnelse. 24

4 4 1.0 Sammenfatning. Baggrund: Studievejlederfunktionen blev implementeret i sundhedsuddannelserne i løbet af 1990 erne. Indsatsen har ikke undergået nogen systematisk evaluering siden den blev implementeret. Det skal ses i lyset af den værdi som indsatsen tillægges i en række sammenhænge og de ressourcer der investeres i indsatsen. Formål: at udvikle og implementere en evalueringskapacitet der er rettet mod studievejlederfunktionen: Se tidslinje for projektet (bilag 1), skematisk oversigt (bilag 2) og figur over projektet (bilag 3). Metode: Evalueringsmetoden er virkningsevaluering, der fokuserer på hvad der virker for hvem, hvornår, hvordan og under hvilke omstændigheder. Virkningsevalueringen tager udgangspunkt i tydeliggjorte og eksplicitte forestillinger, kaldet programteorien, om hvorfor og hvordan en given indsats virker under bestemte omgivelsesbetingelser. Hovedspørgsmålet i virkningsevaluering er, om vi kan afkræfte, bekræfte eller udvikle programteorien? Projektgruppen har analyseret relevante kilder, der udsiger noget om studievejlederfunktionen, med henblik på at opstille en programteori. Data fra programteorien blev sat ind i et flow-chart, for at synliggøre sammenhænge mellem indsats, proces, resultat og mål. Vi besluttede, at denne evalueringsrunde skulle fokusere på synlighed og tilgængelighed af studievejlederfunktionen, da det er alt afgørende, såfremt det centrale mål; at den studerende får den vejledning vedkommende har brug for, hvor og når den studerende har brug for det kan indfries. Datagenerering: Data er genereret på baggrund af en elektronisk spørgeskemaundersøgelse (bilag 11) blandt modul 2 studerende på de respektive uddannelser og to fokusgruppeinterviews (et med teoretiske undervisere og et med kliniske undervisere fra de respektive uddannelser) (bilag 9). Resultater: Der var en lav svarprocent (20) i evalueringsspørgeskemaundersøgelsen, hvilket påvirker undersøgelsens validitet og reliabilitet i negativ retning. Ud fra analyse af data kan vi konkludere, at studievejlederfunktionen skal synliggøres og italesættes. Dette gælder såvel mundtligt som skriftligt internt i organisationen (receptionister, undervisere og studerende) og eksterne (kliniske undervisere/vejledere). Tilgængeligheden skal optimeres bl.a. ved hjælp af en formaliseret mobiltelefonservice. Visse områder af programteorien er bestyrket, men analyse af data peger på, at der er behov for at udvikle indsatsen med henblik på at øge synligheden og tilgængeligheden. Stopklodser i indsatsen er bl.a.: de kliniske og teoretiske underviseres varetagelse af gatekeeperfunktionen receptionisternes indsats i forhold til at henvise de studerende korrekt

5 5 de studerendes manglende viden om, hvad de kan bruge en studievejleder til den lange responstid hos studievejlederne at de studerende ikke altid får vejledning, når de har brug for det Virkningsevaluering er en anvendelig metode. Den er bevidsthedsskabende hos studievejlederne og bidrager med systematik i evalueringsprocessen. Herved skabes et solidt grundlag for kvalitetsudvikling af indsatsen. Anbefalinger: Udviklingen af en evalueringskapacitet skal foregå lokalt, for at sikre ejerskab. Der skal gennemføres en virkningsevaluering. Evalueringerne skal tillægges værdi i organisationen og tildeles de nødvendige ressourcer til gennemførelse og implementering af nye initiativer på baggrund af evalueringsresultaterne. Evalueringerne får karakter af et spejl, fremfor et overvågende øje. Vision for år 2015: Fælles koncept om evaluerings- og kvalitetsarbejde i studievejledningen i UCL. Mål for 2010: studievejledningerne gennemfører virkningsevalueringer, og inddrager projektdeltagerne som procesmoderatorer/ konsulenter. Første skridt: Erfaringer fra dette udviklingsprojekt omsættes til konkrete initiativer, der implementeres i studievejledningens praksis på Sundhedsuddannelserne i Odense og sygeplejerskeuddannelsen i Svendborg, for at sikre synlig og tilgængelig studievejledning. 2.0 Baggrund. Studievejlederfunktionen blev implementeret i sundhedsuddannelserne i 1990èrne. Indsatsen har dog ikke undergået nogen systematisk evaluering siden implementeringen, til trods for den værdi indsatsen tillægges i en række sammenhænge f.eks. rekruttering og fastholdelse af studerende. Studievejlederfunktionen har en central position i organisationen. Det er afgørende for institutionen at indsatsen rent faktisk virker, specielt når man medtænker det vigende ansøgertal og frafaldsproblematikken, som gør sig gældende for en række af sundhedsuddannelserne. Dertil kommer at der anvendes en del ressourcer på indsatsen. Spørgsmålet er, om indsatsen har nogen betydning og om den rent faktisk virker? En forudsætning for at vi kan besvare dette spørgsmål er, at vi har udviklet og implementeret en evalueringskapacitet i organisationen. Dette er netop fokus i dette projekt. 2.1 Hvorfor skal vi overhovedet evaluere? Det er ikke op til den enkelte institution at tage stilling til, om den ønsker at evaluere studievejlederindsatsen, da det fremgår af den nye BEK (nr.706) om Gennemførelsesvejledning på

6 6 UVM området, at indsatsen skal evalueres. Derudover fremgår det af BEK om akkreditering og godkendelse af erhvervsakademiuddannelser og professionsuddannelser mv., at institutionen skal have et registreringssystem og en evalueringskapacitet samt at institutionen systematisk gennemfører aktiviteter med henblik på kvalitetssikring og udvikling. Undervisningsministeriet har igangsat en central evaluering af studievejlederfunktionen på MVU området i 2009, men den kan ikke erstatte decentrale evalueringer, ifølge Jørgen Brock fra UVM. Ovennævnte kan ses som et udtryk for at samfundet, herunder undervisningssektoren, oversvømmes af en evalueringsbølge. Evalueringer er et populært og tidstypisk styringsinstrument, der stemmer overens med tidens favorisering af livslang læring og omstillingsparathed. Dertil kommer at autoriteterne (studievejlederne/lederne) ikke som tidligere kan læne sig op af traditionerne, men må dokumentere effekten af indsatsen f.eks. vha. evalueringer. Evalueringer kan også anvendes til at understøtte beslutninger og de kan ses som et tegn på ledelsens ansvarlighed og styringsparathed. Derved signalerer institutionen, at den er seriøs og på omgangshøjde med det refleksivt modernes betingelser (Dahler-Larsen P 2004 s. 7, 31). Institutionel teoris påstand er, at evalueringer er et rituelt svar på omgivelsernes forventninger og krav, snarere end en teknisk løsning på eventuelle problemer i det evaluerede program (Dahler-Larsen P s. 79). Hensigten i dette projekt er at udvikle en evalueringskapacitet, der netop ikke er et rituelt svar, men en metode til udvikling af indsatsen. Vi ser evalueringer som en forudsætning for, at man kan arbejde seriøst med kvalitetsudvikling, idet indsatsen først må beskrives og dokumenteres, førend praksis kan udvikles på professionel vis. 2.2 Hvorfor er det vanskeligt at evaluere studievejlederfunktionen? Der er en række forhold og faktorer knyttet til studievejlederfunktionen, som gør det vanskeligt at måle effekten og dermed evaluere indsatsen. Her kan bl.a nævnes, at vejledning er en medmenneskelig proces, der indeholder stor grad af uforudsigelighed og usikkerhed. Ofte ses resultatet af vejledning ikke umiddelbart efter at den er gennemført. En bred vifte af faktorer, udover studievejledningen, påvirker den enkeltes handlinger og valg. Dertil kommer, at der ikke findes et sæt vedtagne metoder til at evaluere studievejledning. Samtidig mangler der evidens inden for feltet, dels vedr. vejledningers omkostninger og kvalitet, dels vedr. vejledningsmetoder (Hughes 2006). Evalueringsmetoder og redskaber bør ikke være fritsvævende, men derimod knyttet til den institution som evalueringen foretages i. Dahler- Larsen argumenterer for, at evalueringers hjemsted er institutionen. Derfor er det væsentligt at medtænke det institutionelle og organisatoriske niveau, når man ønsker at implementere en evalueringskapacitet.

7 7 2.3 Det institutionelle og organisatoriske niveau. Moderne organisationer, herunder University College Lillebælt, er sammensatte, komplekse og løstkoblede systemer, der skal leve op til mange, til tider modstridende hensyn og mål. Med andre ord befinder organisationen sig i et krydspres ovenfra (taksameter afregning og efterspørgsel fra aftagerne i sundhedsvæsenet) og nedenfra (medarbejdere og studerende) (Dahler-Larsen 2001 s. 81, 261). Ifølge Dahler-Larsen er et af hovedproblemerne i de sammensatte, komplekse og løstkoblede organisationer, at ledelsen har svært ved at overskue samtlige konsekvenser af deres beslutninger. Samtidig har de mistet en del af styringskapaciteten (Dahler-Larsen 1998 s. 166). Evalueringer kan derfor optræde, som rutinerede procedurer, der giver ledelsen mulighed for at få et overblik over samt kontrol af og dokumentation af indsatsen (Dahler- Larsen 2001 s. 84). Men der er også en risiko for, at evalueringerne får karakter af rituelle handlinger. Her er det signalværdien til omverdenen, der er i fokus. Problemet med de rituelle evalueringer er, i følge Dahler-Larsen, at de ikke er rene illusionsnumre, da evalueringerne bestyrker visse forestillinger om indsatsen og stiller sig i vejen for andre. Med andre ord er der visse dele af indsatsen, der belyses (plusmagten), medens andre dele mørklægges (minusmagten) (Dahler-Larsen 2004 s.87). Evaluering er ikke en neutral og uskyldig aktivitet, da den udover den rituelle funktion også har en konstitutiv funktion. Det vil sige, at resultatet kan påvirke vores opfattelse af indsatsen og påvirke aktørernes adfærd og identitet. Med andre ord fungerer evalueringerne som kulturelle pejlemærker, der bidrager til meningskonstruktion og virkelighedsskabelse. Derved bliver evalueringerne med-skaber af praksis og virkeligheden. De udpeger, hvad der er betydningsfulde kriterier. Evalueringerne kan fungere som en mental ramme, hvorigennem vejledningen betragtes retro- og prospektiv (Dahler-Larsen 2001 s. 232). Evalueringer producerer (bestemte) billeder af indsatsen, som organisationen kan indordne sig under og arbejde på at virkeliggøre. En anden risiko er, at evalueringsresultaterne de-kobles fra organisationen og derved lever sit eget liv! (Dahler-Larsen 2001 s. 89). I dette projekt er formålet at skabe en evalueringskapacitet, der er tæt koblet til organisationen, således at resultaterne rent faktisk anvendes til at udvikle programteorien og dermed praksis, hvorved det rituelle aspekt af evalueringen søges nedtonet. Det fremgår af ovennævnte, at evalueringer ikke er uskyldige og neutrale elementer i en organisation, men at de tværtimod kan bidrage aktivt til virkelighedsskabelsen ved at påvirke aktørernes adfærd og identitet. Derfor er det relevant at anskue individaspektet ved implementeringen af en evalueringskapacitet. 2.4 Individniveauet. Evalueringer former aktørerne, i dette tilfælde studievejlederne, idet evalueringer ikke alene kommunikerer om sagsforhold og tidsforløb, men også metakommunikerer om sociale relationer

8 8 og identiteter det vil sige at de tildeler aktørerne talepositioner og derved magt (Dahler-Larsen 2001 s. 240). Ledelsen og vejlederne kan have to forskellige interesser i evalueringer. Ledelsen kan primært se evalueringer som en del af organisationsopskriften (strategiske årsager), medens vejledernes interesse kan være at fastholde og styrke den professionelle selvbestemmelse (Dahler Larsen 2001 s. 91). Her skal det medtænkes, at graden af professionalisme, ifølge Dahler Larsen, afhænger af om vejlederne har autonomi til selv at bestemme, hvilke kriterier deres arbejde skal vurderes ud fra. Vejlederne kan tillægge evalueringer forskellige meninger, da de er aktive og refleksive medspillere i det komplekse evalueringsforløb. De kan anlægge følgende strategier: modstand, opstille egne dagsordener, finde kompromisser, indordne sig, lægge et personligt fortolkningsfilter ned over resultaterne, bruge evalueringsresultaterne som de stort set har lyst til og modvirke effekten (Dahler- Larsen 2004 s. 82, 1998 s. 108). Evalueringerne kan skabe uro og truende angst hos vejlederne, da der sættes spørgsmålstegn ved vaner og rutiner og dermed kvaliteten i indsatsen. Nogle vejledere kan opleve evalueringer som en krænkelse og et overgreb ( et overvågende øje ) medens andre ser evalueringer som en mulighed for selvbetragtning og selviscenesættelse. Herved bliver evalueringer et spejl snarere end et overvågende øje [Foucault] (Dahler- Larsen 1998 s. 75). Ud fra ovennævnte betragtninger er det afgørende, at vejlederne har tillid til evaluatoren og ledelsen. Negative evalueringer kan gøre det svært at opretholde en sammenhængende bibliografi ( fortællingen om, at jeg er en god studievejleder ). Modsat kan positive evalueringer bidrage til at styrke studievejlederens selvværd og magtposition i organisationen. Med andre ord kan evaluering føre til nye muligheder (styrket selvværd, kvalitetsudvikling af praksis) samt risici (skam, mistillid, truet selvidentitet og forringet kvalitet i praksis) (Giddens 1997 s. 131). I dette projekt er formålet at udvikle en evalueringskapacitet, der facilliterer evalueringer med spejl karakter, frem for et overvågende øje. Hvorved evalueringerne kan bidrage positivt til udviklingen af indsatsen. Derfor har vi bevidst valgt at inddrage brugernes (studerende, studievejledere, kliniske og teoretiske undervisere) perspektiv med henblik på at skabe en buttom-up tilgang. Evalueringer foregår ikke i et magttomt rum, ej heller er evalueringer magt fri. Tværtimod er magtbegrebet centralt at medtænke, når man ønsker at udvikle og implementere en ikke-rituel evalueringskapacitet med spejleffekt, der er tæt knyttet til organisationen. 2.5 Magtperspektiv. Hvorfor er det relevant at medtænke magtaspektet? For det første fordi evalueringsresultaterne bl.a. bruges når ledelsen skal træffe beslutninger f.eks. vedr. ressourcetildeling til indsatsen. For

9 9 det andet påvirker resultaterne den måde vi tænker og taler om indsatsen. Med andre ord påvirker evalueringerne vores adfærd (Dahler- Larsen 2004 s. 8, 18). Det kan ses som et udtryk for, at den viden der generes i forbindelse med evalueringer ikke er en ren og neutral størrelse. Det beror på, at viden og magt indgår i et immanent, gensidigt produktivt forhold, hvor resultatet er videns-magt. Videns-magt er ifølge Foucault en (ubevidst eller implicit) form for styring og kontrol, individet ligger ned over sig selv og ned over egen praksis. Med andre ord virker videns-magten bag om ryggen på os! (Kristensen 1985 s. 65). På den ene side kan evalueringer antaste den selvfølgelighed, at studievejlederfunktionen har en høj kvalitet og er effektiv. På den anden side kan evalueringerne fungere som et kvalificerende filter, der bringer studievejlederfunktionen op på et højere vidensniveau og dermed magtniveau (Dahler-Larsen 2004 s. 20). Evalueringer kan også ses som et kontrolsystem, der bl.a. har til hensigt at regulere og disciplinere studievejledernes adfærd. Viden (s-magten) der genereres ved evalueringerne, kan virke som et implicit tvangssystem for vejledernes fremtidige adfærd og tale samt drive eventuelle afvigere ind i folden. Derved får evalueringerne karakter af et disciplineringsredskab (Dahler-Larsen 1998 s. 16). Ifølge Foucault konstruerer man uhyrlige apparater (f.eks. evaluering), der skal producere sandheder eller tilsløre sandheder i det refleksivt moderne (Foucault 1978 s. 67). Nogle aspekter ved vejledningen belyses ( sandheder plusmagten) medens andre mørklægges (tilslørede sandheder- minusmagten). Grænsen mellem belysning og mørklægning er et vigtigt led i magtspillet (Dahler- Larsen 2004 s. 87). Når vi taler om evalueringer er det nødvendigt at medtænke såvel den mørke side (potentielle negative konsekvenser) og den lyse side (potentielle positive konsekvenser). Dahler- Larsen argumenterer for, at kvalificerede evalueringer kan bidrage med ny viden inden for vejledningsfeltet, hvor praksis tages op til konstant revision, på baggrund af ny viden. 3.0 Formålet med projektet. At udvikle og implementere en evalueringskapacitet 1 der er rettet mod studievejlederfunktionen. 1 En evalueringskapacitet er alle nødvendige forhold, der muliggør evalueringers gennemførelse og anvendelse, så som : organisatoriske forhold, sociale normer, den specifikke indsats, praksis, kulturelle meninger og diskurser, evalueringspraktikerens viden og evner samt evaluerings ressourcer og praktikker. Med andre ord er evalueringskapaciteten dobbelt rettet. Dels mod organisationsstrukturen (kulturens og medarbejdernes opfattelse af evalueringer, ledernes brug af evalueringer og hverdagspraksisser) dels mod selve gennemførelsen af evalueringerne. Evalueringskapaciteten inkluderer viden som ligger hos brugeren og de fagprofessionelle. Hvis en organisation har en

10 Metode. Som følge af faglige drøftelser, litteraturstudie og sparring med ekstern konsulent fra ATTRACTOR besluttede projektgruppen, at gennemføre en virkningsevaluering. Denne type for evaluering fokuserer på, hvad der virker for hvem, hvornår og under hvilke omstændigheder. Med andre ord indgår både det at virke d.v.s. processen og selve virkningen af indsatsen i betydningen effekt. Derved bygger virkningsevaluering bro mellem proces og effekt. Følgende fordele fremhæves ved virkningsevaluering: den er formativ, fremadrettet og rådgivende man arbejder med at realitetsteste forestillinger om, hvordan en indsats virker evalueringskriterierne kvalificeres den kan udpege og undersøge bi-effekter af en indsats den tjener som opsamling og formidling af viden (Dahler-Larsen 2003 s. 51). den tager udgangspunkt i tydeliggjorte og eksplicitte forestillinger om hvorfor og hvordan en given indsats, i dette tilfælde studievejlederfunktionen, virker under bestemte omgivelsesbetingelser. Dermed er virkningsevaluering præget af en årsags-virkningstænkning, hvor man ser på kausalitet. Disse forestillinger kaldes samlet for programteorien (bilag 4). Programteorien giver en forklaring på hvordan indsatsen omsættes til resultater. Hovedspørgsmålet i virkningsevaluering er, om vi kan afkræfte, bekræfte eller udvikle programteorien. Følgende 7 trin indgår i en virkningsevaluering: 1. Opstille evalueringsspørgsmålet: hvorvidt indsatsen har virket, på hvilken måde og under hvilke omstændigheder. 2. Finde kilder til udarbejdelse af programteorien 3. Opstille programteori i et flow-chart 4. Gøre programteorien klar til evaluering 5. Vælge evalueringsmetode 6. Indsamle data 7. Analysere og konkludere Efterfølgende struktureres teksten ud fra de 7 trin. evalueringskapacitet, kan det sikre at en given enhed, i dette tilfælde studievejlederfunktionen, selv kan bære sit evalueringsarbejde fremover (Dahler- Larsen 2006)

11 11 Ad 1. Opstille evalueringsspørgsmålet. Hvorvidt har studievejlederfunktionen virket, på hvilken måde og under hvilke omstændigheder? Ad 2. Finde kilder til udarbejdelse af programteorien. Eftersom vi ikke havde en programteori for studievejlederfunktionen, blev første trin i projektet at udarbejde en programteori. Den er en forudsætning for at man kan gennemføre en virkningsevaluering. Projektgruppen identificerede relevante kilder 2, der udsagde noget om studievejlederfunktionen. Udsagnene blev efterfølgende analyseret og kategoriseret ud fra følgende 5 kategorier: kilde, indsats, proces, resultat og mål (bilag 4). Ad 3. Opstille programteori i et flow-chart. Efterfølgende opstillede vi programteorien i flow-chart (I) for at synliggøre kausale sammenhænge mellem indsats, proces, resultat og mål (bilag 5). Programteorien og flow- chart blev drøftet med de øvrige studievejledere ved sundhedsuddannelserne i Odense og sygeplejerskeuddannelsen i Svendborg, hvorefter den blev justeret. Ad 4. Gøre programteorien klar til evaluering. I denne del af processen skulle vi overveje og drøfte følgende: Hvor er usikkerheden i indsatsen størst? Hvor er gevinsten størst? Hvor bruges der flest ressourcer? Hvor i indsatsen ønsker vi at stille evaluerings kameraer op denne gang? Hvad er det vi ønsker at måle på? Ved drøftelsen og udarbejdelsen af programteorien, blev det tydeligt, at synlighed og tilgængelighed var altafgørende, såfremt studievejlederfunktionen skulle kunne leve op til det centrale mål, nemlig at den studerende får den vejledning, vedkommende har brug for, hvor og når den studerende har brug for det (Anbefalinger for udvikling og koordinering af studievejledning i University College Lillebælt - fra første skridt til Vision 2015). Derfor blev vi enige om, at fokusere på studievejlederfunktionens synlighed og tilgængelighed. Projektgruppen udarbejdede herefter 2 Følgende kilder lå til grund for udarbejdelse af programteorien: BEK 706, Bertel Haarders udtalelser under vejlederkonferencen oktober 2008 KBH, Udviklingskontrakt for UCL ( ), Faglig strategi for fysioterapeutuddannelsen ( ), Faglig strategiplan for sygeplejerskeuddannelsen i UCL, Faglig strategiplan for sygeplejerskeuddannelserne i Odense, Ergoterapeutuddannelsens udviklingskontrakt ( ), de fagprofessionelles perspektiv ( Notat Den fælles studievejledning ved CVSU), UVM (kvalitetsudvikling), FUE s etiske kodeks for vejledere og vejledning, data fra fokusgruppeinterview med studerende for de respektive sundhedsuddannelser ( ), data fra fokusgruppeinterview med undervisere og kliniske vejledere fra de respektive udannelser ( ), BEK om akkreditering og godkendelse af erhvervsakademiuddannelser og professionsbacheloruddannelser m.v., Idékatalog 46 udgivet af VUE 2008.

12 12 et flow-chart (II)(bilag 6), der zoomede ind på synlighed og tilgængelighed. Udkastet og vores anbefaling blev drøftet med de øvrige studievejledere og med ledelsen fra de respektive uddannelser. Der var bred enighed om, at det var en kvalificeret beslutning at fokusere på synlighed og tilgængelighed. 5.0 Datagenerering. 5.1 (Ad 5) Vælge evalueringsmetode. Valg af evalueringsmetoden skete ud fra en analyse af flow-chart (II), hvor vi fokuserede på indsatser, processer, resultater og mål, der var relevante i forhold til synlighed og tilgængelighed. Med andre ord vælges evalueringsmetoden ud fra beslutningen om, hvor i programteorien man ønsker at sætte evalueringskameraer op. Altså hvilken del af programteorien der skal evalueres i den aktuelle evalueringsrunde. Derved foreskriver virkningsevaluering ikke på forhånden noget bestemt metodevalg, da det afhænger af indholdet i de konkrete kasser i flow-chartet som man ønsker at evaluere (Dahler-Larsen 2003 s. 73). Valget faldt på følgende evalueringsredskaber: elektronisk spørgeskemaundersøgelse og tværfaglige fokusgruppeinterviews. 5.2 (Ad 6) Indsamle data Elektronisk spørgeskemaundersøgelse. Der blev gennemført en elektronisk spørgeskemaundersøgelse blandt studerende på modul 2 på de respektive uddannelser (bilag 7). Begrundelsen for valget af modul 2 studerende var, at de har gået så længe på institutionen, at de på dette tidspunkt burde vide hvordan man får fat i en studievejleder og hvad man kan bruge dem til. Hvis dette mod forventning ikke skulle være tilfældet, stod vi med et reelt kvalitetsproblem. Baggrunden for valg af spørgeskemaundersøgelsen var dels, at det vi ønskede at undersøge var kvantificerbart, dels et spørgsmål om ressourcer. Ledelsen besluttede at undersøgelsen skulle foregå elektronisk, til trods for at vi argumenterede for, at det formentlig ville give en lav svarprocent. Det var et kendt problem fra de elektroniske evalueringer af undervisningen. Evalueringsspørgeskemaerne blev udarbejdet, med inspiration fra de evalueringsskemaer der anvendes i forbindelse med evaluering af undervisning. Derved ville konceptet være kendt for de studerende. Der blev gennemført en pilotundersøgelse blandt 20 modul 2 studerende i april Pilotundersøgelsen viste, at spørgeskemaet efter nogle små justeringer var anvendeligt. Vi havde et samarbejde med en intern DEFGO superbruger om udarbejdelsen og gennemførelsen af undersøgelsen. På grund af kommunikations- og tekniske problemer var der en del logistiske

13 13 udfordringer relateret til den praktiske gennemførelse af evalueringen. Det var bl.a. ikke muligt at sende de studerendes individuelle password og login via Fronter (intranet), derfor måtte vi udlevere det personligt eller sende det med posten. Projektgruppen var under tidspres, da evalueringen skulle gennemføres inden de studerende skulle til eksamen. På grund af den korte tidshorisont kunne vi ikke nå at rykke de studerende for et svar. De studerende blev informeret skriftligt (bilag 8) og mundtligt om evalueringen Tværfaglige fokusgruppeinterviews. Der blev gennemført to tværfaglige fokusgruppeinterviews, et med teoretiske undervisere fra de respektive uddannelser og et med kliniske undervisere fra de respektive uddannelser. Analysen og drøftelsen af flow-chart (II) gjorde det klart, at studievejlederne er afhængige af, et tæt samarbejde med såvel kliniske undervisere som teoretiske undervisere. Det er vigtigt at de er bevidst om, hvad de kan bruge en studievejleder til og at de henviser studerende med behov for studievejledning. Derudover kan de selv kontakte en studievejleder hvis de vurderer, at den studerende har behov for vejledning. Underviserne får med andre ord en gate-keeper funktion. Betydningen af denne funktion, skal ses i lyset af, at organisationen er stor og kompleks, hvilket har den konsekvens at studievejlederne, i visse af uddannelserne, har svært ved at have personlige relationer og kontakter med alle studerende. Samtidig er det ikke alle studievejledere der underviser eller har tæt kontakt med holdene. Det har bl.a. den konsekvens, at studievejledernes mulighed for at udpege studerende med behov for vejledning, er begrænset. Derved bliver gatekeeperfunktionen altafgørende. Studievejlederne kan heller ikke vide hvordan den enkelte studerende trives i praksis, derfor er gate-keeperfunktionen også relevant her. Ud fra disse betragtninger valgte vi at gennemføre to tværfaglige fokusgruppeinterviews. Informanterne til fokusgruppeinterview, blev udvalgt ud fra tilfældighedsprincippet. Vi havde opstillet inklusionskriteriet, at de kliniske og teoretiske undervisere skulle have varetaget funktionen i minimum 2 år, så de havde et erfaringsgrundlag at tale ud fra. Projektgruppen udarbejdede en interviewguide (bilag 9). Informanterne blev orienteret mundtligt og skriftligt om projektet og interviewet (bilag 10) og gav skriftligt tilsagn om deltagelse. Interviewene blev optaget på bånd og efterfølgende transskriberet. Den ene deltager i projektgruppen fungerede som interviewer, de to øvrige var observatører og tog løbende notater. Undervejs i interviewene holdt vi to korte pauser, hvor vi bad informanterne om at notere det de syntes var det mest centrale i interviewet. Disse noter indgår som en del af data.

14 Resultater. Ad 7. Analyse og konklusion 6.1 Spørgeskemaundersøgelsen på modul 2. Resultaterne fra evalueringsspørgeskemaundersøgelsen blev samlet i en rapport (bilag 11). Svarprocenten var som ventet lav (se boks 1). En undtagelse var dog radiografuddannelsen hvor den var på 56. Den lave svarprocent påvirker validiteten og reliabiliteten i negativ retning. Det har bl.a. den betydning, at det giver nogle begrænsninger i forhold til hvad vi kan tillade os at udsige og dermed konkludere ud fra resultatet. Vi bør drøfte med ledelsen, om det er muligt at ændre på den elektroniske praksis. Et forslag kunne være, at der sættes tid af på skemaet til at de studerende holdvis går ned i computerrummet og udfylder skemaet. Den høje svarprocent hos radiograferne, kan til dels tilskrives, at de netop har implementeret ovennævnte praksis i forhold til evaluering af undervisningen. Den lave svarprocent kan måske også ses som et udtryk for, at studievejlederfunktionen ikke har den store interesse hos de studerende. Boks 1: Svar fordelt på de respektive uddannelser. 60 Svarprocent på de respektive uddannelser Serie Radiograf Fysioterap Ergoterap Sygepl. Od Sygepl.Sv

15 15 Radiografuddannelsen 18 ud af Fysioterapeutuddannelsen 11 ud af Ergoterapeutuddannelsen 4 ud af Sygeplejerskeuddannelsen i Odense 21 ud af Sygeplejerskeuddannelsen i Svendborg 1 ud af 18 6 Rapporten (bilag 11) samler svarene fra alle uddannelser under et. Derfor er det ikke muligt, ud fra resultaterne i rapporten, at udsige noget om studievejlederfunktionen i de respektive uddannelser. Ved fremtidige evalueringer bør vi arbejde på, at man kan filtrere svarene på de enkelte uddannelser. I analysen af data fokuserede vi på virkningen hvad virker for hvem, hvornår og hvordan og under hvilke omstændigheder? ud fra flow-chart (II)- Derudover fokuserede vi på bi-effekter, altså effekter og virkninger ved indsatsen som vi ikke havde medtænkt i programteorien. Det er væsentligt at være opmærksom på evt. bi-effekter, eftersom der kan ligge væsentlige data gemt her, som kan være med til at kvalificere indsatsen. Samtidig fokuserede vi på stopklodser i programteorien. Stopklodser er forhold eller faktorer der fungerer som hindring for at programteorien fungerer efter hensigten. Resultater fra spørgeskemaundersøgelsen blandt studerende på modul 2: 45 af informanterne har brugt en studievejleder 64 er introduceret til studievejlederfunktionen på uddannelsen

16 16 15 har selv opsøgt en studievejleder 9 har fået information om studievejlederfunktionen via hjemmesiden ( og 4 på Fronter. 79 er helt eller delvis enige i at introduktionen til studievejlederfunktionen var relevant og brugbar, medens 2 var delvis uenige. 71 er delvis eller helt enige i at studievejlederfunktionen er synlig, medens 8 er helt eller delvis uenige. 83 er helt eller delvis enige i, at de ved hvordan de får fat i studievejleder. 68 er helt eller delvis enige i, at de ved hvad de kan bruge en studievejleder til. D:v.s. at over 30 ikke er klar over, hvad de kan bruge en studievejleder til. 45 er helt eller delvis enige i, at studievejlederen altid reagerer hurtigt på en henvendelse, medens 0 er delvis eller helt uenige. Her må programteorien udvikles således at studievejlederne reagerer hurtigere på de studerendes henvendelser, f.eks. ved at studievejlederne har en mobiltelefon, hvilket også giver mulighed for at bruge SMS. 45 er helt eller delvis enige i, at de får studievejledning når de har brug for det, medens 2 er helt eller delvis uenige. Dette resultat er heller ikke tilfredsstillende, her skal programteorien udvikles. 33 er helt eller delvis enige i, at underviserne henviser dem til studievejlederne ved behov. Hvilket kan ses som et udtryk for, at programteorien skal udvikles her, netop når vi medtænker hvilken betydning underviserens gate-keeper funktion har i forhold til at studievejlederfunktionen. Studievejlederfunktionen omtales som noget positivt. De studerende foretrækker at komme i kontakt med studievejlederne, ved at opsøge dem på kontoret, dernæst telefon, SMS og sidst mail kontakt. Studievejledersekretær. 39 er helt eller delvis enige i at de ved hvor de kan få fat i hende.

17 17 31 er helt eller delvis enige i, hvad de kan bruge studievejledersekretæren til. Det kan ses som et udtryk for, at studievejledersekretæren primært varetager indslusningsvejledning for potentielle ansøgere. Receptionen. 43 er helt eller delvis enige i, at receptionen henviser dem korrekt til studievejlederne ved behov. Det kan ses som et udtryk for, at det er nødvendigt, at kvalitetsudvikle denne del af indsatsen, da receptionisterne på nuværende tidspunkt tilsyneladende, kan fungere som stopklodser. 6.2 Resultater fra de tværfaglige fokusgruppeinterview. I forhold til synlighed og tilgængelighed er de personlige relationer mellem studievejlederen og den kliniske- og teoretiske undervisere afgørende. De ønsker at møde studievejlederne face to face, så de får et ansigt på, det gør det lettere at kontakte en studievejleder (bi-effekt). De kliniske og teoretiske undervisere oplever, at det er uklart hvilket ansvars- og kompetenceområde studievejlederen har i forhold til f.eks. rektor og undervisere, derfor kan der herske usikkerhed om, hvem de skal kontakte hvornår. Studievejlederfunktionen skal være tydeligere på Fronter evt. skal der udarbejdes skriftligt informationsmateriale om studievejlederfunktionen. De kliniske og teoretiske undervisere oplever at studievejlederne er tilgængelige. Nogle kliniske og teoretiske undervisere var usikre på deres egen rolle i forhold til at henvise til studievejlederne. De var også usikre på hvordan de skulle følge op på de studerende de henviser. Der herskede også en vis usikkerhed om, hvornår problemet er stort nok til at man skal kontakte en studievejleder og om de kan tillade sig at kontakte studievejlederne mod den studerendes ønske. Her kan vi spore en vis usikkerhed i relation til gatekeeperfunktionen. De kliniske og teoretiske undervisere efterspørger formaliseret og systematisk introduktion til nye kliniske og teoretiske undervisere. Nogle af de kliniske vejledere synes, at det er problematisk at studerende med komplicerede forløb, sendes ud i klinisk undervisning, uden at de er orienteret.

18 18 De kliniske og teoretiske undervisere ser studievejlederfunktionen som en naturlig del af organisationen. Nogle af underviserne ser studievejlederne som en del af deres bagland. De giver udtryk for, at det er rart at have et sted, hvor de kan placere problemerne ellers ville de fylde meget i underviserens arbejde. De oplever at de får god sparring, hvilket gør dem trygge (bi-effekt). De kliniske og teoretiske undervisere har primært tænkt studievejlederne som de studerendes rådgiver/ vejleder og derfor ikke tænkt, at de selv kan gøre bruge af studievejlederne. De er blevet bevidste om, at de måske skulle kontakte studievejlederen på et tidligere tidspunkt, både i forhold til enkelte studerende og grupper af studerende. De kliniske og teoretiske undervisere har brug for mere orientering om, hvad de kan bruge en studievejleder til. Såvel kliniske som teoretiske undervisere fremhæver, at dobbeltrollen som underviser og (med)eksaminator kan være problematisk. Sammenfattende kan vi konkludere, at programteorien er bestyrket i, at det er utroligt væsentligt, at studievejlederfunktionen er tilgængelig og synlig for alle relevante interessenter. Resultaterne fra denne evalueringsrunde afdækker, at der er områder der med fordel kan udbygges i programteorien med henblik på at øge tilgængeligheden og synligheden af indsatsen. Ud fra resultaterne kan evalueringsgruppen udpege følgende aspekter, der fungerer som stopklodser i processen: Receptionisterne, der til tider ikke henviser korrekt (manglende synlighed og tilgængelighed). De kliniske og teoretiske underviseres varetagelse af gate-keeperfunktionen (manglende synlighed og tilgængelighed). Manglende viden hos de studerende, om hvad de kan bruge en studievejleder til (manglende synlighed). Lang respons tid hos studievejlederne (manglende tilgængelighed). Ikke alle studerende får studievejledning når de har brug for det (manglende tilgængelighed).

19 (Ad 7)Udvikling af programteorien. Ud fra analysen af evalueringsrundens data blev det, paradoksalt nok, tydeligt at de kliniske og teoretiske undervisere, stort set var fraværende i programteorien. Det skal ses i lyset af, at vi tillægger dem stor betydning specielt i forhold til gate-keeper funktionen. Analyse af resultaterne fra evalueringen har synliggjort, at der var behov for at udvikle programteorien, med henblik på at sikre synlighed og tilgængelighed. Evalueringsgruppen har følgende forslag til ændringer af programteorien (bilag 11) og flow-chart II ( bilag 6): Proces. Informationen om studievejledning på Fronter og hjemmesiden ( skal forbedres. Der skal være billeder af studievejlederne og informationen skal være let at finde. Møde med de studerende en gang pr. semester, hvor studievejledningen dagsordensættes. Studievejledersekretærens funktion skal tydeliggøres i forhold til studerende der er på institutionen. Systematisk introduktion af nye receptionister ved en studievejleder, udarbejde skriftlig information. Der skal udarbejdes en mobiltelefon praksis, som skal offentliggøres på Fronter og hjemmesiden. Der skal arrangeres møder hvor studievejleder- og gatekeeperfunktionen italesættes. Det kan også ske i forbindelse med andre arrangementer hvor underviserne (kliniske og teoretiske) er samlede. Der skal udarbejdes en folder vedr. studievejlederfunktionen, til brug for studerende samt kliniske og teoretiske undervisere Resultat. At der etableres personlige relationer mellem studievejlederne og de studerende/ underviserne. De teoretiske og kliniske undervisere kender deres rolle og ansvar i forhold til studievejlederfunktionen. De teoretiske og kliniske undervisere er bevidst om hvordan de kan bruge studievejledningen. De teoretiske og kliniske undervisere er bevidste om gatekeeperfunktionen. Studievejlederfunktionen bliver en naturlig del af organisationen.

20 20 At den studerende får den vejledning, vedkommende har brug for, hvor og når vedkommende har brug for det Mål Studievejlederfunktionen er synlig og tilgængelig for studerende samt for de kliniske og teoretiske undervisere. De studerende fuldfører uddannelsen. 7.0 Anbefalinger Jfr. Anbefalinger for udvikling og koordinering af studievejledning i University College Lillebælt- fra første skridt til Vision 2015: Vision for 2015: Fælles koncept om evaluerings- og kvalitetsarbejde i studievejledningen i University college Lillebælt. Mål for 2010: studievejledningerne gennemfører virkningsevalueringer, og inddrager projektdeltagerne som procesmoderatorer/ konsulenter. Første skridt: erfaringer fra udviklingsprojektet omsættes til konkrete initiativer, der implementeres i studievejledningens praksis på Sundhedsuddannelserne i Odense og sygeplejerskeuddannelsen i Svendborg, for at sikre synlig og tilgængelig studievejledning. Projektgruppens anbefalinger: Mål for 2010 At udviklingen af en evalueringskapacitet sker lokalt, for at sikre ejerskab. At evalueringspraksissen får karakter af et spejl snarere end et overvågende øje. At der gennemføres virkningsevaluering. Udarbejdelse af programteorien giver synlighed og overblik over indsatsen. Samtidig er programteorien et godt dialogredskab i samspillet med kollegaer og ledelsen. At resultaterne fra evalueringerne bruges til at udvikle programteorien. Derved bliver det synligt for de studerende at evalueringerne tages alvorligt.