Synopsis for struktur, indhold og design i den foreløbige og den afsluttende evalueringsrapport om voksenvejledningsnetværkene 04-07-2008 Til Undervisningsministeriet
1. Kommissorium Konsortiet bag Nationalt Center for Kompetenceudvikling har som én af sine hovedopgaver at foretage en samlet evaluering af voksenvejledningsnetværkene. Videncenter for Uddannelses- og Erhvervsvejledning udfører denne opgave i samspil med konsortiets øvrige parter. Evalueringen af voksenvejledningsnetværkene har til formål at give Undervisningsministeriet og politiske beslutningstagere et grundlag for at følge indsatsen samt et grundlag for at vurdere fremtidige initiativer på området. Evalueringen skal derfor foretages dels i relation til det overordnede, samlede formål med voksenvejledningsnetværkene, dels i relation til de resultatmål, som hvert netværk har formuleret i sin ansøgning til Undervisningsministeriet. Evalueringen skal belyse, i hvilken udstrækning de udmeldte målsætninger er blevet opfyldt samt hvilke faktorer, der har fremmet eller hæmmet processen og målopfyldelsen. Desuden skal evalueringen belyse effekterne af indsatsen for brugerne og afdække, i hvilket omfang initiativet har bidraget til en mere overskuelig vejlednings- og rådgivningsindsats på VEUområdet for såvel de voksne i beskæftigelse som for virksomhederne. På baggrund heraf skal evalueringen danne grundlag for en vurdering af vejlednings- og rådgivningsindsatsen og derpå begrundede anbefalinger m.h.t., hvordan voksenvejledningsnetværkene mest hensigtsmæssigt kan organiseres efter forsøgsperioden. 2. Baggrund I slutdokumentet fra Trepartsudvalget 2007 1 er et af målene: En forbedring af vejledning og rådgivning om voksen- og efteruddannelsesmulighederne til beskæftigede og virksomheder. Trepartsudvalget fremhæver særligt behovet for opsøgende vejledning i forhold til de enkeltpersoner og grupper, der oplever de største barrierer for deltagelse, og som ikke i dag bruger VEU. Den opsøgende vejledning skal ske i samspil mellem fx virksomhedsledelsen, faglige organisationer, uddannelsesambassadører, tillidsmænd og uddannelsesinstitutionerne, og gerne i forbindelse med lokale/regionale vejledernetværk. Udvalget peger endvidere på, at det vil være væsentligt, at der i videre omfang end i dag sikres adgang til voksenvejledning på offentlige VEU-uddannelsesinstitutioner. I sommeren 2007 indgik regeringen, Dansk Folkeparti, Socialdemokraterne og Det radikale Venstre en aftale om bedre vejledning og rådgivning til beskæftigede og virksomheder med følgende formål 2 : Styrket opsøgende vejledning og rådgivning over for især kortuddannede og små og mellemstore virksomheder Større sammenhæng i den borgervendte og individuelle voksenvejledning om voksen- og efteruddannelse 1 http://www.uvm.dk/06/slutdok.htm?menuid=6410 2 Indkaldelse til ansøgninger om deltagelse i Tværinstitutionel vejledning og rådgivning, Undervisningsministeriet 7. august 2007, Sagsnr. 153.094.021, side 1 Side 1 af 15
Professionalisering af den offentlige voksenvejledning gennem opkvalificering af vejledere/rådgivere Etablering og støtte til voksenvejledningsnetværk, virksomhedsnetværk samt uddannelsesambassadører Bedre samspil i vejlednings- og rådgivningsindsatsen på lokalt, regionalt og nationalt niveau Lettere adgang til information og vejledning om voksen- og efteruddannelse Et bedre, evidensbaseret grundlag for at vurdere effekterne af voksen- og efteruddannelsesindsatsen og de nye vejledningsinitiativer samt fremme af nytænkning og god praksis på området 3. Voksenvejledningsnetværkene I Undervisningsministeriets Faktakark Bedre vejledning og rådgivning à 18. juni 2007 er der beskrevet en række mål for på den ene side de opgaver 3, som voksenvejledningsnetværkene skal varetage og på den anden side den effekt, som voksenvejledningsnetværkene forventes at have på målgruppen for disse netværk: Små og mellemstore virksomheder og beskæftigede, hvilket vil sige særligt ufaglærte medarbejdere og personer i øvrigt med svage og/eller snævre kompetencer (s. 8). Hvad angår de opgaver, som voksenvejledningsnetværkene skal varetage, kan der i faktaarket og undervisningsministerens tale fremhæves to mål: sammenhæng i den virksomhedsrettede og individuelle voksenvejledning 4 og opsøgende indsats. 1. Hvad angår sammenhæng i den virksomhedsrettede og individuelle voksenvejledning skal voksenvejledningsnetværkene varetage følgende opgaver: Voksenvejledningsnetværkene skal omfatte alle relevante institutioner, der udbyder offentlige voksen- og efteruddannelser, som minimum de erhvervsrettede uddannelsesinstitutioner og VUC. Hvor det er relevant skal sprogcentrene inddrages. Og andre relevante vejledningsaktører som eksempelvis daghøjskoler, oplysningsforbund, interesseorganisationer og A-kasser kan inddrages. Én uddannelsesinstitution har ansvaret for at sikre sammenhæng i vejledningstilbuddene og koordinere den opsøgende uddannelsesrådgivning Forpligtelse til at samarbejde med andre lokale og regionale vejlednings- og rådgivningsaktører (I M s tale hedder det, at motivation for uddannelse fremmes, hvis vejledningen af den enkelte sker i et samspil mellem fx virksomhedens ledelse, uddannelsesambassadører og vejledernetværket). Etablering af en fælles indgang til lokale og regionale VEU-tilbud blandt andet gennem oprettelse af fælles vejledningscentre, kontaktpunkter m.m., hvor brugerne kan henvende sig. 3 Det, som i undervisningsministerens tale ved startkonferencen for voksenvejledningsnetværkene jan. 2008 kaldes strategier for rådgivning og vejledning af virksomheder og medarbejdere. 4 Vejledning af virksomhederne kaldes i faktaarket uddannelsesrådgivning, mens vejledning af den enkelte medarbejder kaldes vejledning. Side 2 af 15
Etablering af lokale voksenvejledningsfora, der skal styrke det tværinstitutionelle samarbejde og dialog om voksenvejledning og uddannelsesrådgivning. Og fremme vidensdeling, gensidig inspiration og iværksætte fælles initiativer. Disse fora skal omfatte uddannelsesinstitutionerne, jobcentre og den kommunale erhvervsservice. Voksenvejledningsnetværkene skal deltage i lokale fora og initiativer der vedrører voksenvejledning og uddannelsesrådgivning af virksomheder og som er placeret i de regionale beskæftigelsesråd og de regionale vækstfora. 2. Hvad angår den opsøgende indsats skal voksenvejledningsnetværkene varetage følgende opgaver: Opsøgende vejledning på arbejdspladser og i foreninger (fagforeninger og brancheorganisationer), der er særligt målrettet kortuddannede. Vejledning sker blandt andet gennem fælles voksenvejleder og informationsaktiviteter. Opsøgende uddannelsesrådgivning om voksen- og efteruddannelse, kompetenceudvikling m.v., der er særligt målrettet små og mellemstore virksomheder. I M s tale hedder det, at netværkenes kommende rolle blandt andet bliver at etablere og støtte ambassadørerne via forskellige metoder og værktøjer. 3. Derudover peges der i faktaarket på opgaver, som voksenvejledningsnetværkene skal varetage, og som vedrører kvalificering samt løbende monitorering af arbejdet i vejledningsnetværkene Etablering af efter- og videreuddannelse for voksenvejledere og virksomhedskonsulenter på uddannelsesinstitutionerne Opstille resultatmål Løbende indberetninger til Undervisningsministeriet med henblik på evaluering i 2009 Det er op til netværkene selv at udvikle og formulere en strategi for at nå de overordnede mål. Som minimum skal strategien dog indeholde overvejelser over, hvordan målgruppen af små og mellemstore virksomheder og uddannelsesuvante personer kan nås, hvordan ordningen med uddannelsesambassadører skal etableres samt hvordan virksomhedsnetværk og voksenvejledningsfora skal etableres og drives. I tilknytning hertil skal netværkene angive kvantitative mål for opfyldelsen opdelt på aktivitets- og resultatindikatorer. Indikatorerne er fastsat af Undervisningsministeriet, men fastsættelse af måltal er overladt til netværkene. Indikatorerne anvendes til at måle procentvise stigninger i forhold til: Rådgivning af virksomheder Aktivitetsindikatorer Antal virksomheder, der kontaktes personligt Antal virksomheder, der afholdes møder med om uddannelse Resultatindikatorer Antal virksomhedsaftaler om uddannelsesplanlægning, kompetenceudvikling og/eller FVU-forløb Antal uddannelsesambassadører Antal virksomhedsnetværk Rådgivning af individer Side 3 af 15
Aktivitetsindikatorer Antal gennemførte FVU-tests Antal personer netværket har vejledt Resultatsindikatorer Antal personer i et FVU-uddannelsesforløb Antal personer i et VEU-uddannelsesforløb Antal individuelle kompetencevurderinger 5 Disse kvantitative måltal, som voksenvejledningsnetværkene har opstillet i deres ansøgninger til Undervisningsministeriet, skal være med til at skabe et evidensbaseret grundlag for at vurdere effekterne af vejledningsnetværkene 6. Et sådant evidensbaseret grundlag er som fremgået ovenfor et af formålspunkterne i aftalen om bedre vejledning og rådgivning til beskæftigede og virksomheder. 4. Evalueringens design Evalueringen er designet som to delevalueringer, der supplerer hinanden. De er beskrevet i dette og det følgende afsnit (afsnit 5). Evalueringsdesignet i den ene del af evalueringen af voksenvejledningsnetværkene er inspireret af virkningsevaluering 7. Virkningsevaluering går kort fortalt ud på at realitetsteste forestillinger om, hvorfor og hvordan en indsats virker. Omdrejningspunktet er at opstille en såkaldt programteori over sammenhænge mellem indsatser og forventede effekter (årsags- og virkningssammenhænge) og udføre evalueringen, så den giver størst mulig erkendelse i forhold til programteorien. Man spørger sig: Kan vi bekræfte, afkræfte eller udvikle programteorien alt sammen med henblik på en løbende justering af indsatsen 8. Ambitionen er at kunne svare på spørgsmålet: Hvad virker for hvem, hvornår og under hvilke betingelser? Evalueringen bygger på en køreplan i flere trin, der kan sammenfattes under følgende overskrifter: Formulere evalueringsspørgsmålet Opbygge programteorien Vælge metoder og indsamle data Analysere og konkludere Evalueringsspørgsmål og delspørgsmål I koncentreret form er det overordnede spørgsmål, der skal undersøges i evalueringen af voksenvejledningsnetværkene, følgende: 5 Indkaldelse til ansøgninger om deltagelse i Tværinstitutionel vejledning og rådgivning, Undervisningsministeriet 7. august 2007, Sagsnr. 153.094.021, s. 4 6 Ibid. s. 3. 7 Virkningsevaluering er Peter Dahler-Larsens begreb for den evalueringstilgang/model, der hedder Realistic Evaluation, udviklet af Pawson & Tilley (1997). Pawsons og Tilleys model har opnået stor udbredelse internationalt og efterhånden også herhjemme bl.a. gennem projektet Udvikling af evalueringsmodeller (2001-03) under Socialministeriets evalueringsprogram. Se bl.a. Dahler-Larsen og Hanne Kathrine Krogstrup: Nye veje i evaluering, Academica 2003. 8 Peter Dahler-Larsen: Selvevalueringens hvide sejl, Syddansk Universitetsforlag, 2003, s. 99. Side 4 af 15
I hvilken udstrækning medvirker voksenvejledningsnetværkene hver især og samlet set til en styrket opsøgende, mere sammenhængende, overskuelig og professionel voksenuddannelsesvejledning overfor målgruppen af uddannelsesuvante grupper og små og mellemstore virksomheder? For at vurdere voksenvejledningsnetværkenes indsatser og resultater samt vurdere målopfyldelsen mere specifikt forgrener det overordnede spørgsmål sig i flere delspørgsmål, relateret til netværkenes opgaver og indsatser. Delspørgsmålene, der undersøges i evalueringen, er: Hvordan virker den opsøgende voksenvejledning overfor uddannelsesuvante grupper og hvad er virkningen/effekten af indsatsen? Hvordan virker den opsøgende uddannelsesrådgivning om voksen- og efteruddannelse, kompetenceudvikling m.v. overfor målgruppen af små og store virksomheder og hvad er virkningen/effekten af indsatsen? Hvordan virker uddannelsesambassadørordningen overfor den tiltænkte målgruppe og hvad er virkningen/effekten af indsatsen? Hvordan virker den samordnende/koordinerende voksenvejledningsindsats overfor den tiltænkte målgruppe og hvad er virkningen/effekten af indsatsen? Hvordan virker virksomhedsnetværk og hvad er virkningen af indsatsen? Hvordan virker de tværgående lokale fora og hvad er virkningen af indsatsen? Hvordan virker indsatsen med efter- og videreuddannelse for voksenvejledere og virksomhedskonsulenter på uddannelsesinstitutionerne og hvad er virkningen/effekten af indsatsen? Som det fremgår, har evalueringen både et procesperspektiv (hvordan virker indsatsen) og et effektperspektiv (hvilken virkning/effekt har indsatsen). Med henblik på at besvare disse spørgsmål opbygges en programteori over sammenhængen mellem indsatser og de forventede effekter knyttet an til de resultatmål, som er opstillet for voksenvejledningsnetværkenes indsatser. Programteori Opstilling af evalueringens programteori baserer sig på såkaldte CMO konfigurationer (kontekst/mekanisme/outcome). En CMO konfiguration er antagelser om, hvordan en bestemt mekanisme (voksenvejledning) under bestemte omgivelser (konteksten) giver en bestemt virkning/effekt (outcome). Kilderne til at opbygge evalueringens programteori kan være flere, f.eks. officielle politiske dokumenter, udsagn fra politikere, faglig teori, undersøgelser/rapporter, fagfolks erfaringer fra praksis, observationer mens indsatsen foregår og interviews med brugere. Da et af hovedformålene med evalueringen er at undersøge, om voksenvejledningsnetværkene lever op til målene med ordningen, og da disse overordnede mål, der fungerer som ramme for netværkenes resultatmål, er politisk definerede, vil det primære kildemateriale til at formulere programteorien være officielle politiske dokumenter. Øvrigt kildemateriale så som faglig teori, evalueringer/rapporter/undersøgelser, praksiserfaringer samt interviews med brugere/netværkene vil indgå i evalueringen som kildemateriale dels til at formulere støttehypoteser og mulige antiteser, dels til at begrunde og forklare, hvorfor indsatserne forløber som de gør, hvorfor målene opfyldes/ikke opfyldes, hvorfor ordningen virker/ikke virker efter hensigten etc. Side 5 af 15
Programteorier kan opstilles på flere måder, både i tekst og skematisk. Ofte vil der være behov for at opstille flere delprogramteorier indenfor den overordnede programteori. Nedenfor er illustreret, hvordan den del af evalueringens programteori, der vedrører den opsøgende voksenvejledningsindsats, kan illustreres via et flow chart. Kontekst Kontekst Indsats Proces Virkning/effekt Opsøgende voksenvejledning overfor uddannelsesuvante grupper Flere kortuddannede i uddannelsesforløb Opsøgende uddannelsesrådgivning på arbejdspladser Flere virksomhedsaftaler om uddannelsesplanlægning Etablering af uddannel- Figuren sesambassadør- ordningen illustrerer de elementer, som Flere individuelle kompetencevurderinger Eksemplet illustrerer, hvilke elementer programteorien omfatter: Indsatsen er de opgaver, voksenvejledningsnetværkene er forpligtet på at varetage. Processen (de tomme kasser) er måden, hvorpå opgaverne udføres. Virkning/effekt er det, der forventes at komme ud af indsatsen. Pilene mellem kasserne indikerer mulige teser om sammenhænge mellem indsats og forventet resultat 9. Endelig er konteksten de forhold, der spiller ind på sammenhængen mellem indsats og proces og mellem proces og resultat. Konteksten kan omfatte mange faktorer. I evalueringen af voksenvejledningsnetværkene er det særligt erhvervsstrukturen 10, uddannelsesstrukturen og uddannelsesniveauet i netværkenes dækningsområde, der trækkes ind som centrale kontekstfaktorer. For det første fordi disse forhold formodes at spille en central rolle i gennemførelsen af netværkenes indsatser og påvirke både mål, strategier, opgaver og resultater. For det andet fordi det basalt set er de tre kontekstfaktorer og samspillet mellem dem, som ordningen med voksenvejledningsnetværkene er iværksat for at på- 9 Figuren er en arbejdsskitse. Pilene er derfor ikke udtryk for færdige teser om sammenhængen mellem indsatser og effekter/virkninger. 10 Erhvervsstrukturen er et af de punkter, som vejledningsnetværkene har redegjort for i deres ansøgning til Undervisningsministeriet. Side 6 af 15
virke i opadgående retning ud fra følgende antagelse: et øget samspil mellem virksomheder og uddannelsesinstitutioner + et øget uddannelsesniveau = virksomheder og medarbejdere, der er rustet til fremtidens arbejdsmarked og globaliseringens udfordringer. 11 Som det fremgår af figuren ovenfor, består evalueringens programteori af en kausalkæde (den vandrette dimension i figuren). Inden det konkrete evalueringsarbejde påbegyndes, er det vigtigt at afgøre, hvor lang denne kæde skal være, herunder at afgrænse hvad der forstås ved virkning/effekt. I evalueringslitteraturen skelnes mellem outcome, der er de umiddelbare virkninger/effekter af en indsats, og impact, der er virkninger på lang sigt. Fokus i evalueringen af voksenvejledningsnetværkene er på de umiddelbare virkninger, altså på outcome. Outcome omfatter både de effekter, der er opstillet kvantitative måltal for, og de effekter, der ikke umiddelbart kan kvantificeres. Evalueringskriterierne er i stor udstrækning givet på forhånd, nemlig de kriterier der relaterer sig til netværkenes målopfyldelse set i forhold til de opstillede aktivitets- og resultatindikatorer. Metoder og data Virkningsevaluering foreskriver ikke på forhånd bestemte metoder. Man vælger de metoder, der bedst egner sig til at belyse programteorien og dermed besvare evalueringsspørgsmålene. Med henblik på at vurdere voksenvejledningsnetværkenes målopfyldelse foretages kvantitative analyser af netværkenes kvartalsrapporteringer samt kvalitative analyser af netværksrapporterne. Desuden inddrages væsentlige interessenters vurdering af graden af målopfyldelse gennem kvalitative interviews med brugere (virksomheder og individuelle vejledningssøgende) samt samarbejdspartnere fra de lokale voksenvejledningsfora. Væsentlige interessenter er repræsentanter for forskellige små og mellemstore virksomheder i området, et antal personer, der har henvendt sig for at få vejledning eller er indgået i netværkets vejledningsaktiviteter, samt repræsentanter for andre interessenter, eksempelvis erhvervsråd, jobcentre eller faglige organisationer. I den kvalitative dataindsamling vil faktiske brugere af netværkenes aktiviteter blive vægtet højere end andre interessenter. Udover at vurdere netværkenes målopfyldelse skal evalueringen belyse effekterne af indsatsen for brugerne og afdække, i hvilket omfang initiativet har bidraget til en mere overskuelig vejledningsog rådgivningsindsats på VEU-området for såvel de voksne i beskæftigelse som for virksomhederne. Denne del af undersøgelsen vil basere sig på kvalitative interviews blandt brugere suppleret med en måling af voksenvejledningsnetværkenes effekt på brugergruppen små og mellemstore virksomheder (se synopsens afsnit 5). De kvalitative interviews foretages ved heldagsbesøg i et antal udvalgte netværk og tilrettelægges i to faser. I første fase (efterår 2008-forår 2009) foretages semistrukturerede interviews med enkelt- 11 Lettere omskrivning af undervisningsministerens ord i talen ved startkonferencen for voksenvejledningsnetværkene, jan. 2008. Side 7 af 15
personer eller smågrupper á 30-45 minutters varighed. I anden fase (efterår 2009) foretages semistrukturerede fokusgruppeinterviews á 45-60 minutters varighed. Der planlægges interviews i seks netværk i begge faser. Det vil fremgå af planen for den kvalitative evaluering, som skal være Undervisningsministeriet i hænde senest 1. sept. 2008, hvilke netværk, der vil blive omfattet af interviews, og hvilke kriterier de er udvalgt på baggrund af. Udvælgelsen vil ske på baggrund af netværkenes ansøgninger samt deres indberetninger ifm den første regnskabsperiode, således at udvalget repræsenterer netværk med mange eller få kerneinstitutioner, geografisk spredning og forskelle i erhvervs- og uddannelsesstruktur i netværkenes dækningsområde. Dataindsamlingens formål er dels at dokumentere udvalgte primære aktørers anvendte fremgangsmåder, erfaringer hermed og eventuelle ændringer i strategi og praksis med baggrund i erfaringerne; dels at dokumentere et antal brugeres erfaringer med samme udvalgte netværks aktiviteter og indsats. Dataindsamlingen vil derfor have fokus på dels de netværksinterne erfaringer, dels på erfaringer hos brugerne, dvs. kortuddannede voksne, uddannelsesambassadører, virksomhedsrepræsentanter og andre interessenter. Dette med henblik på 1) at belyse i hvilken udstrækning de udmeldte målsætninger er blevet opfyldt samt hvilke faktorer, der har fremmet eller hæmmet processen, 2) at identificere effekter og virkninger af ordningen som helhed for på den baggrund 3) at opstille fremadrettede handlingsanbefalinger. I relation til de primære aktører i netværkene vil interviewene undersøge: Hvilke erfaringer har aktørerne gjort med organisationsopbygning, opgavefordeling og samarbejde mellem netværkets kerneaktører internt og mellem kerneaktører og andre tilknyttede i netværket? Hvordan er arbejdet med praksisudformningen af mål og strategier blevet varetaget, med hvilke erfaringer, hvilke virkninger og hvilke justeringsovervejelser (opsøgende vejledning om FVU og VEU, virksomhedsnetværk, uddannelse af uddannelsesambassadører)? Hvilke indsatser og konkrete aktiviteter er der gjort erfaring med som værende effektskabende i relation til målene, og hvilke forklaringer kan gives herpå; hvilke er der gjort erfaringer med som værende mindre hensigtsmæssige, og hvilke forklaringer kan gives herpå? Hvilke aktiviteter har aktørerne iværksat i relation til kvalificering af vejledere og rådgivere, og hvilke erfaringer har aktørerne gjort hermed? Hvilke vejledningsfaglige tilgange er blevet anvendt med hvilke erfaringer og med hvilke virkninger? I relation til brugerne, dvs. kortuddannede voksne, uddannelsesambassadører og virksomhedsrepræsentanter, vil interviewene undersøge: Hvilke erfaringer har brugerne gjort med netværkets organisation i relation til kontaktveje (én indgang), og hvilke vurderinger har de heraf? Hvilke erfaringer har brugerne gjort med netværket praksis, dvs opsøgende og tilbudte aktiviteter, og hvilke vurderinger har de af virkningen heraf (opsøgende vejledning om FVU og VEU, virksomhedsnetværk, uddannelse af uddannelsesambassadører)? Hvilke netværksaktiviteter har brugerne erfaret som effektskabende eller mindre hensigtsmæssige i relation til viden om uddannelse (FVU og VEU) og motivation til uddannelse? Hvilke typer af vejledning og rådgivning fra netværksaktører har brugerne gjort erfaring med, og hvordan vurderer de vejledningen og rådgivningen og virkningerne heraf? Side 8 af 15
Analyser og konklusioner Med programteorien som ledetråd foretages analyser af det samlede datamateriale, inkl. effektundersøgelsens resultater (se nedenfor) med henblik på at besvare, om og i hvilken udstrækning voksenvejledningsnetværkene hver især og samlet set har medvirket til en styrket opsøgende, mere sammenhængende, overskuelig og professionel voksenuddannelsesvejledning overfor målgruppen af uddannelsesuvante grupper og små og mellemstore virksomheder. 5. Måling af voksenvejledningsnetværkenes effekt på brugergruppen små og mellemstore virksomheder Denne del af evalueringen gennemføres og finansieres af DPU. Udførelsen sker i samarbejde med VUE. Overordnet set forventes effekten af voksenvejledningsnetværkene at være: At nye målgrupper modtager vejledning og rådgivning At vejledningen understøtter et alment og fagligt kompetenceløft At tilbuddene om individuel realkompetencevurdering udbredes At der er et varieret og regionalt dækkende uddannelsestilbud At efterspørgselsstyringen i VEU kvalificeres Det fremgår af aftalegrundlaget, at det først og fremmest er kortuddannede/uddannelsesuvante og små og mellemstore virksomheder, som skal have et øget udbytte af voksenvejledningsnetværkenes indsats. På den baggrund kan den effekt, som voksenvejledningsnetværkene forventes at have opdeles i omfanget og brugernes brug netværkerne og hvilke konsekvenser, det får for brugerne. Denne del af evalueringen skal derfor undersøge, i hvilken udstrækning små og mellemstore virksomheder har kendskab til netværkene, i hvilken udstrækning de har fået tilbudt uddannelsesrådgivning, hvilket udbytte denne har givet, og hvad der har fremmet eller hindret denne proces. Voksenvejledningsnetværkenes effekt på målgruppen inddeles i to kategorier: Omfanget og brug af voksenvejledningsnetværkenes aktiviteter: Hvor mange små og mellemstore virksomheders har kendskab til voksenvejledningsnetværkene, og hvad ved de om dem? Hvem har brugt netværkene, og hvem har ikke brugt netværkene? Hvad er årsagen til at nogle ikke har brugt netværkerne? I hvilken udstrækning er der tale om, at nye grupper indgår i voksenvejledningen? Er uddannelsesrådgivningen blevet mere sammenhængende og målrettet? Herunder ved brugerne, hvor de skal henvende sig, når de ønsker uddannelsesrådgivning. Indholdet og konsekvenserne af rådgivningen: Hvad er indholdet i rådgivningen? I hvilken udstrækning har vejledningen bidraget til: o Et alment og fagligt kompetenceløft? Side 9 af 15
o Anvendelse af individuel realkompetencevurdering? Hvad er udbyttet af deltagelsen i vejledningsfora? Hvad har de små og mellemstore virksomheder været tilfredse med/utilfredse med i uddannelsesrådgivningen? Herunder hvordan har netværkerne understøttet udannelsesambassadørordninger? Hvad er der sat i gang på baggrund af uddannelsesrådgivningen? Metode Med henblik på at registrere, hvordan voksenvejledningsnetværkene opfylder de overordnede mål, udarbejdes et registreringsskema til vejledningsnetværkene. Skemaet skal sikre en ensartet registrering af deres opgavevaretagelse. Disse oplysninger supplerer den indberetning, som voksenvejledningsnetværkene allerede nu skal foretage til Undervisningsministeriet. Registreringsskemaet vil i al væsentlighed omfatte oplysninger som allerede vil være tilgængelige i de enkelte netværk, idet det som nævnt registrerer opfyldelsen af de overordnede mål. Arbejdsomfanget i forbindelse med samling af data og udfyldelsen af skemaet vil maksimalt omfatte en arbejdsdag pr. netværk. Udover dette skema er der ikke planlagt yderligere rapporteringskrav. Med udgangspunkt i sammenfatningen af netværkenes opgavevaretagelse gennemføres et survey med et repræsentativt udvalg af små og mellemstore virksomheder. Undersøgelsen gennemføres som telefoninterview, der suppleres med postspørgeskemaer for at sikre bedst mulig svarprocent. Med henblik på gennemførelsen af denne del af evalueringen forestår følgende: 1. Yderligere præcisering og operationalisering af målene for voksenvejledningsnetværkenes opgaver. 2. Udarbejdelse af oplysningsskema som samtlige 22 voksenvejledningsnetværk skal udfylde. 3. Udarbejdelse af spørgsmål til telefoninterviewguide (der suppleres med spørgeskema) til små og store virksomheder. Spørgsmålene skal være lukkede med mulighed for uddybning i enkelte spørgsmål. Interviewene skal ikke vare mere end 10 minutter. Spørgeskemaet udformes på baggrund af den viden, som findes om netværkenes funktion, herunder den viden som VUE har indsamlet. 4. Udvælgelse af et repræsentativt udsnit af virksomheder inden for fire netværks områder. 5. Gennemførelse af telefoninterviews (med supplerende spørgeskema) med et repræsentativt udsnit af små og mellemstore virksomheder. 6. Analyse og sammenskrivning af data. Identifikation af population Virksomhederne identificeres ad to veje: 1. Gennem kontakt til voksenvejledningsnetværkene der har registreret virksomhederne inden for deres område. På denne måde fås adgang til en samlet liste over virksomheder i området og en liste over de virksomheder, som er kontaktet. Det giver mulighed for en differentieret vurdering af effekten i forhold til den samlede population. 2. Som kontrol identificeres virksomhederne via udtræk af CVR. 6. Samspillet mellem den kvalitative og den kvantitative evaluering Side 10 af 15
Evalueringen af voksenvejledningsnetværkene skal tilvejebringe en bredt funderet og stringent belysning af de samlede effekter af voksenvejledningsnetværkenes arbejde og de vejledningsfaglige aspekter af den gennemførte indsats. 12 Den kvalitative dataindsamling har særligt fokus på aktørernes og brugernes erfaringer fra aktiviteter og indsatser i netværkene og virkninger af ordningen som helhed og for de enkelte netværk. Den kvantitative dataindsamling omfatter netværkenes egne oplysninger og en surveyundersøgelse af små og mellemstore virksomheder. Den del af den kvantitative dataindsamling, der omfatter netværkenes egne kvartalsindberetninger og rapporter i tilknytning til regnskabsperioderne, retter sig mod opgørelse af resultater og forklaringer på afvigelser ift. estimerede mål. Analysen af netværkenes indberetninger udgør således et væsentligt element i udfoldelsen af evalueringens programteori (fører indsatserne til de forventede resultater) og i gennemførelsen af den kvalitative interviewundersøgelse. Surveyundersøgelsen retter sig mod kendskab og tilfredshed hos den brugergruppe, der udgøres af små og mellemstore virksomheder. Den kvalitative og den kvantitative dataindsamling supplerer således hinanden, idet de kvalitative data skal sikre validiteten af de indsamlede data, belyse de vejledningsfaglige aspekter af den gennemførte indsats og bidrage til forklaring af årsagsforhold, mens de kvantitative data sikrer en repræsentativitet og generaliserbarhed af evalueringsresultaterne og en viden om, hvor udbredte de konstaterede forhold er. 7. Den foreløbige evaluering og slutevalueringen Evalueringsarbejdet forløber i tre faser: En forundersøgelse (intern), efterfulgt af en foreløbig evaluering og en slutevaluering. Den foreløbige evaluering vil være rettet mod såvel de politiske beslutningstagere som mod voksenvejledningsnetværkene med forslag til eventuelle forbedringer, justeringer og/eller udviklingsmuligheder. Slutevalueringen vil primært være rettet mod de politiske beslutningstagere med henblik på anbefalinger til den fremtidige organisering af voksenvejledningen. Nedenfor følger en oversigt over de tre faser. Produkt Intern forundersøgelse - ikke i produktform Formulering af foreløbige teser, centrale problemstillinger Opstilling af programteori Fastlæggelse af evalueringskriterier Identificering og udvælgelse af netværk til nærmere analyse Foreløbig evaluering - en offentlig midtvejsrapport Midtvejsvurdering af de 22 voksenvejled- Metoder og data Desk research Metodeudvikling ift. analyserne Desk research Kvalitativ analyse af netværks-rapporter (30-06-2008 og 01-03-2009) 12 Udbudsbetingelser for Nationalt Center for Kompetenceudvikling, s.6 Side 11 af 15
nings-netværk Kortlægning og analyse af indsatser og foreløbige resultater, herunder hæmmende og fremmende faktorer, set i forhold til de opstillede mål Delanalyser af udvalgte netværk Konklusioner og anbefalinger rettet mod såvel netværk som politikere Slutrapport - et beslutningsgrundlag Slutrapport med fokus på effekt og virkninger af voksenvejledningsordningen Analyse af sammenhænge mellem indsatser, processer og resultater set i forhold til mål og kontekstfaktorer mhp. 1) at vurdere vejledningsnetværkenes målopfyldelse hver især og samlet set, 2) at identificere effekter og virkninger, såvel tilsigtede som utilsigtede, af projektet som helhed for på den baggrund 3) at opstille fremadrettede handlingsanbefalinger Konklusioner og anbefalinger til brug i de videre politiske beslutningsprocesser Kvantitativ analyse af kvartalsrapporteringer Interviewundersøgelse Analyse af resultater fra undersøgelser, herunder fra undersøgelsesprojekt i VUE: Strategi for vejledning af voksne beskæftigede i forhold til kompetenceudvikling og voksen- og efteruddannelse (afsluttes medio 2008) Høring i netværksgruppe Desk research Kvalitativ analyse af netværksrapporter (31-12-2009) Kvantitativ analyse af kvartalsrapporteringer Interviewundersøgelse Spørgeskemaundersøgelse/survey Høring i netværksgruppe Høring hos relevante parter Samlet tidsplan for hovedundersøgelse og supplerende undersøgelse 1.6.2008 31.10.2008: Til den supplerende kvantitative undersøgelse: Præcisering af design og udvælgelse af spørgsmål i samarbejde med VUE og Undervisningsministeriet (DPU) 15.6.2008-1.9.2008: Intern forundersøgelse i relation til den kvalitative undersøgelse, herunder udarbejdelse af programteori 1.8.2008-1.9.2008: Udvælgelse af og kontakt til respondenter til den kvalitative undersøgelse 1.9.2008: Forelæggelse af planen for gennemførelse af den kvalitative og den supplerende kvantitative evaluering for Undervisningsministeriet til godkendelse 1.9.2008-15.10.2008: Udarbejdelse af interviewguide for de kvalitative interviews med inddragelse af kvantitative data fra netværkenes kvartalsindberetninger og data fra netværkenes rapportering ifm 1. regnskabsperiode, og med baggrund i netværkenes mål- og strategiformuleringer. 15.10.2008-31.3.2009: Gennemførelse af første interviewrunde i den kvalitative undersøgelse Side 12 af 15
Ultimo oktober 2008: Møde afholdes med UVM (kontoret for LLL og kontoret for vejledning): Orientering om og drøftelse af status, samt planlægning af og aftaler for inddragelse af og sparring med Kontoret for vejledning. 1.1.2009-30.6.2009: Til den supplerende kvantitative undersøgelse: Udarbejdelse af skema til voksenvejledningsnetværkenes registreringer af, hvordan de varetager de forskellige opgaver jf. afsnit 5. Aftaler om udsendelse og udsendelse af skema. Modtagelse af skemabesvarelser og analyse og sammenfatning af disse (DPU) 31.3.2009-31.5.2009: Analyse af interviewdatamaterialet fra den kvalitative undersøgelse og sammenskrivning af resultater 31.5.2009-1.8.2009: Udarbejdelse af foreløbig evalueringsrapport 1.8.2009-15.9.2009: Udarbejdelse af interviewguide for de kvalitative interviews anden runde med inddragelse af resultater og konklusioner fra første interviewrunde og den foreløbige evalueringsrapport 15.8.2009-15.9.2009: Til den supplerende kvantitative undersøgelse: Udarbejdelse af telefoninterviewguide (og supplerende spørgeskema). Identifikation af population (DPU) 15.9.2009-15.11.2009: Til den supplerende kvantitative undersøgelse: Gennemførelse af telefoninterview/udsendelse af spørgeskema (DPU) 15.10.2009-31.1.2010: Analyse af data fra den supplerende kvantitative undersøgelse og sammenskrivning af resultater (DPU) 15.9.2009-15.12.2009: Gennemførelse af anden interviewrunde i den kvalitative undersøgelse 15.12.2010-1.2.2010: Analyse af interviewdatamaterialet i den kvalitative undersøgelse og sammenskrivning af resultater 1.2.2010-1.3.2010: Udarbejdelse af afsluttende evalueringsrapport 8. Evalueringens organisering Evalueringsgruppe: Projektmedarbejdere i VUE Videncenter for Uddannelses- og Erhvervsvejledning udfører den kvalitative dataindsamling, og to evaluerings- og kvalitetsmedarbejdere i VIA University College udfører den kvantitative dataindsamling. Endvidere udfører to forskningsmedarbejdere fra DPU målingen af voksenvejledningsnetværkenes effekt på brugergruppen små og mellemstore virksomheder, i samarbejde med VUE. Netværksgruppen for opgave 2.2: Netværket inddrages i relation til drøftelse af undersøgelsesdesign og plan for den kvalitative dataindsamling, sparring i relation til rapporteringer mv. Netværket har til opgave at understøtte formidling, kommunikation og erfaringsudveksling indenfor hovedopgaven En samlet evaluering af voksenvejledningsnetværkene. Side 13 af 15
9. Evalueringsrapporternes opbygning og indhold Evalueringsrapporternes opbygning og indhold kan i overensstemmelse med undersøgelsens design, dokumentation og metoder omfatte følgende: 1. Indledning med baggrund, formål, undersøgelsesdesign og dataindsamling 2. Beskrivelse af netværkene: Organisatoriske rammer Netværkstypologier Formål og mål Strategier 3. Målopfyldelse og effekt af netværkenes indsats 3.a. Aktørernes erfaringer: Vejledningsindsatsen den individuelle vejledning Den opsøgende indsats kollektiv information, rådgivning og vejledning Etablering og gennemførelse af fælles, koordineret indsats én indgang Etablering og gennemførelse af virksomhedskontakter, -netværk og -samarbejde Kompetenceudvikling af vejledere, rådgivere og uddannelsesambassadører Konsekvenser af vejledningen Hæmmende og fremmende faktorer i f.t. målopfyldelse 3.b. Brugernes kendskab, anvendelse og tilfredshed: Vejledningsindsatsen den individuelle vejledning Den opsøgende indsats kollektiv information, rådgivning og vejledning Etablering og gennemførelse af fælles, koordineret indsats én indgang Etablering og gennemførelse af virksomhedskontakter, -netværk og -samarbejde Kompetenceudvikling af uddannelsesambassadører Konsekvenser af vejledningen Hæmmende og fremmende faktorer i f.t. målopfyldelse 4. Vejledningsfaglige problemstillinger: Forskelle og overensstemmelser i vejledningstilgange, vejledningsformer og -metoder Vægtning mellem vejledning eller uddannelsessalg 5. Konklusioner, vurderinger og anbefalinger Side 14 af 15