Måleprogram for effektmåling i e-vejledningen

Transkript

1 Devoteam Consulting A/S Lautrupsgade 13 DK-2100 Copenhagen Copenhagen, Denmark Tel Fax September 2010 Måleprogram for effektmåling i Version 1.0 CONNECTING BUSINESS & TECHNOLOGY VAT N DK PBS: Bank: Danske Bank, Branch N 4260, Account N IBAN: DK CVR N

2 Indholdsfortegnelse 1 Indledning Nærværende dokuments indhold Afgrænsning og udvælgelse af målinger Valgt metode til måling af effekt Identifikation af mulige effekter og indikatorer Kriterier for og udvælgelse af målinger til måleprogrammet Datagrundlag og datamængder Målinger Måling 1: Flere vejledningskontakter og aflastning af andre vejledningstilbud Måling 2: Hvem anvender? Måling 3: Hvad henvender de vejledningssøgende sig om? Måling 4: Kvaliteten af s betjening af de vejledningssøgende Måling 5: Brugernes tilfredshed med kvaliteten af Måling 6: opsamler og formidler viden Måling 7: Medarbejdertrivsel Organisering af effektmålingen Metoder og bemanding Måleperiode...19 Bilag 1. Bruttoliste...20 CONNECTING BUSINESS & TECHNOLOGY 2

3 1 Indledning Undervisningsministeriet etablerer i efteråret 2010 et nyt digitalt vejledningstilbud, som skal vejlede om uddannelse og beskæftigelse gennem nye medier. I udviklingsplanen er s virke beskrevet på følgende måde: E- skal sammen med UddannelsesGuiden (ug.dk) udgøre det nationale vejledningstilbud, der sammen med de regionale og lokale vejledningsenheder bidrager til målsætningen om flere i uddannelse. Dette ved at give vejledningssøgende et ekstra og anderledes nationalt vejledningstilbud, som er tilpasset de unges måde at kommunikere på. Ressourcestærke vejledningssøgende unge som voksne - finder her højt kvalificeret vejledning via digitale medier. E- aflaster de øvrige vejledningstilbud ved at yde vejledning til de selvhjulpne og i udvidet åbningstid. Den regionale og lokale vejledning får dermed frigjort ressourcer til ar fokusere på den gruppe, der har behov for særlig vejledning E-s særlige bidrag til vejledningsindsatsen skal være, at give de vejledningssøgende let adgang til uafhængig information og vejledning over telefon eller digitale medier, i en meget stor del af døgnet. Der er afsat midler til drift af i perioden , og i løbet af 2012 skal der træffes beslutning om, og i givet fald hvordan tilbuddet skal fortsætte. For at kunne dokumentere effekterne af, er det nødvendigt, inden går i luften, at opstille et program for, hvordan effekterne skal måles. Det er formålet med dette måleprogram. 1 Den primære målgruppe for nærværende dokument er interessenterne i planlægning og gennemførelse af målingerne. Det drejer sig hovedsageligt om og Undervisningsministeriet, men også andre vejledningstilbud (fx UU og Studievalg) skal bidrage til målingerne. Det er hensigten med måleprogrammet, at det kan bruges direkte til at detailplanlægge gennemførelsen af målingerne. Andre relevante dokumenter Den effektmåling, som er beskrevet i dette måleprogram hænger sammen med den løbende kvalitetsikring af driften, beskrevet i dokumentet Kvalitetssikring af driften i. Måleprogrammet beskriver således flere af de målinger, som indgår i 1 Et måleprogram indeholder én eller flere målinger til eftervisning af effekt. Måleprogrammet indeholder beskrivelse af baggrund og hypoteser for målingerne, forventet gevinst eller negativ effekt, den praktiske måde at gennemføre målinger på og hvilke værktøjer, som skal anvendes. Måleprogrammet indeholder ideelt også måleperiode og organisation med roller og ansvar til gennemførelse af målingerne. CONNECTING BUSINESS & TECHNOLOGY 3

4 kvalitetssikringen. Derudover spiller målingerne i måleprogrammet sammen med den allerede eksisterende kvalitetssikring af vejledningsområdet ( samt de samlede evalueringstiltag, som forventes foretaget af Regeringens ungepakke. Som nævnt er der udarbejdet en udviklingsplan, som skitserer de overordnede rammer for hvad skal være, hvilke overordnede succeskriterier skal leve op til som et digitalt vejledningstilbud, samt hvilke overordnede strategiske indsatsområder der skal sættes ind på, for at opnå dette. I forlængelse af dette er der udarbejdet en række dokumenter, som beskriver hvordan skal etableres. Disse dokumenter er: Det ovenfor nævnte notat om kvalitetssikring af driften af i det daglige, herunder hvordan det sikres, at når sine mål. Dette notat ser isoleret på. Et måleprogram til effektvurdering af. Dette program rammer bredere end s daglige virke, idet der her fx også inddrages effekter for andre vejledningstilbud (Nærværende dokument). Et dokument der overordnet beskriver de tekniske og funktionelle krav, der stilles til det system, som skal understøtte s digitale tilbud. En overordnet behovsopgørelse på et system til registrering af eksterne henvendelser, et system som vejlederne i potentielt skal anvende i deres dialog med vejledningssøgende. 1.1 Nærværende dokuments indhold Dokumentet indeholder følgende kapitler: Afgrænsning og udvælgelse af målingerne (kapitel 2) Beskrivelse af de valgte målinger (kapitel 3) Organisering af målingerne, metoder og valgte måleperiode (kapitel 4) Kapitel 2 beskriver overordnet metoden, kriterierne, som målingerne er udvalgt fra samt forhold omkring data og datamængder, I kapitel 3 er de syv valgte målinger beskrevet i detaljeret form, og i kapitel 4 er organisering af målingerne og måleperiode behandlet. Disse tre kapitler udgør det samlede måleprogram. For hver måling er der defineret en eller flere indikatorer 2, som kan belyse, i hvilken grad en forventet effekt er opnået. Hver måling er beskrevet efter en fælles struktur: 1. Hypotese og gevinstpotentiale, som beskriver gevinstpotentialet og belyser den årsag-virkning, som der er mellem s egenskaber og forventede gevinster. 2. Indikatorer, hvor én eller flere indikatorer er defineret 2 En indikator er en måleenhed som viser, hvorvidt de forventede effekter er opnået. Indikatorer er ofte kvantitative. CONNECTING BUSINESS & TECHNOLOGY 4

5 3. Værktøj og praktisk fremgangsmåde, som giver konkret anvisning til hvordan målingen gennemføres, registreres og dokumenteres. 4. Tidsplan, for hvornår der kan/skal måles Måleprogrammet indeholder ikke konkrete værktøjer til registrering og dokumentation men udelukkende krav til, hvad de skal kunne rumme. Det indeholder heller ikke beskrivelser af, hvordan utilsigtede/uforudsete effekter identificeres og dokumenteres. CONNECTING BUSINESS & TECHNOLOGY 5

6 2 Afgrænsning og udvælgelse af målinger Dette afsnit omhandler den proces, som er gennemført til identifikation af mulige effekter samt hvilke kriterier, der har været udgangspunktet for valg af målinger til måleprogrammet. 2.1 Valgt metode til måling af effekt Til måling af effekt er der valgt en klassisk fremgangsmåde: før-måling/baseline sammenholdt med en efter-måling. En illustration af fremgangsmåden er vist i figuren nedenfor. Koncept & udvikling Test Installation Indkøring Implementering Drift: Måling, analyse og formidling Evaluering & forankring Før-analyse Implementeringsanalyse Efter-analyse Før-analyse rapport Efter- analyse rapport inkl. implementerings erfaringer Figur 1. Illustration af målinger af effekt i en klassisk før- og eftermåling. Det vil sige, at hvor det giver mening, skal der gennemføres målinger før og efter etableringen af, så det er muligt at vurdere effekten. Til forklaring af effekter anvendes ofte en implementeringsanalyse, hvor der er fokus på organisationens forandringsproces både i relation til projektet, men også hvis der er forandringer som følge af andre påvirkninger fx strukturændringer. Der er ikke truffet beslutning om at gennemføre en implementeringsanalyse i forbindelse med, men hvis der ikke gennemføres en sådan, vil de involverede parter kunne inddrages, hvor der er behov for ekstra uddybning af resultaterne. Ved opsætning af måleprogrammet er der lagt vægt på, at indsamling af data sker mest hensigtsmæssigt og med brug af så få ressourcer som muligt. Der er lagt vægt på metoder til dataindsamling der kan: Samle data, hvor der i forvejen sker dataregistrering og -indsamling Samle data, som kan indgå i flere målinger samt kvalitetssikring og evaluering Før-målingen, hvor baseline skal etableres, kommer til at tage udgangspunkt i eksisterende data. Der er således mere tale om en indsamling og samstilling af data end en egentlig måling. CONNECTING BUSINESS & TECHNOLOGY 6

7 Efter-målinger, der ikke foretages løbende i forbindelse med driften, bør ligge lidt efter implementeringen, så rutiner og nye arbejdsprocesser er blevet en integreret del af de daglige arbejdsopgaver. På den anden side skal målingen også gennemføres inden, der er sket for store forandringer som følge af andre initiativer. En række af efter-målingerne vil foregå løbende fra starter op, mens andre kun skal foretages en enkelt eller få gange, og først efter at har kørt i en periode. 2.2 Identifikation af mulige effekter og indikatorer For at komme frem til de målinger, som kan dokumentere effekterne af har Devoteam samlet de effekter som Undervisningsministeriet og repræsentanter fra vejledningsmiljøerne forventer, at vil få. Det er sket på en workshop om succeskriterier for, interviews med vejledere fra UU og Studievalg og phdstuderende Karen Paaske fra DPU, samt ved møder med medarbejdere fra Vejledningskontoret i Undervisningsministeriet. Workshops og interviews er gennemført i maj og juni Effekterne er herefter operationaliseret til enkeltstående målinger i et bruttokatalog med målinger af effekter. Listen over identificerede målinger af effekter ses i bilag Kriterier for og udvælgelse af målinger til måleprogrammet Bruttokataloget til måling af effekter er anvendt som input til udvælgelse af målinger til måleprogrammet. I udvælgelsen er der lagt vægt på følgende: 1. At effekten knytter sig til de mål og succeskriterier, der fremgår af udviklingsplanen for. 2. At effekter for forskellige grupper af interessenter belyses. 3. At vigtige effekter belyses fra flere sider i form af data- og metodetriangulering. 4. At dataindsamlingen forstyrrer mindst muligt og kræver få registreringsressourcer af vejledere og vejledningssøgende. Mål og succeskriterier fremgår af Udviklingsplanen. Nedenstående figur opsummerer og kobler mål og succeskriterier til de overordnede politiske målsætninger for området samt de mekanismer og indikatorer, som er i spil i. Den behandler mekanismer med en forholdsvis direkte effekt for de vejledningssøgende, hvorfor succeskriterier om s interne forhold ikke er berørt direkte. CONNECTING BUSINESS & TECHNOLOGY 7

8 Målhieraki for vejledning Uddannelsespolitiske mål Vejledningsmål 95% gennemfører en ungdomsuddannelse 50% gennemfører en videregående uddannelse Styrket vejledningsindsats Resultater Mere vejledning Høj kvalitet af Mekanismer og indikatorer Antal henvendelser Effektiviteten af medierne Tilgængelighed (geografi, åbningstid, anonymitet og medier) Ressourcer i vejledning, UU og Studievalg Præcise, konkrete og anvendelige svar Vejleder efter faglige standarder Vejleder gennem de rette medier Ressourcer i vejledning, UU og Studievalg Erfaringsopsamling og videndeling 2.4 Datagrundlag og datamængder Resultatet af målingerne skal som nævnt anvendes til at påvise den effekt, som forventes af få på vejledningsindsatsen samt en vurdering af om succeskriterierne indfries. Det kræver, at datamaterialet er af en sådan kvalitet, at det med stor sandsynlighed kan dokumenteres, hvorvidt gevinster er realiseret, og at de kan bruges til at udtale sig om mulige gevinster. Det betyder, at der er behov for, at der bliver arbejdet seriøst med dataindsamling, da fx en brudt dataserie på nogle måneder eller en dårlig stikprøve kan betyde, at der med rette kan rejses tvivl, om resultater er retvisende eller sammenlignelige. På den anden side er det også nødvendigt at operere efter det muliges kunst. Det kan fx være svært at opnå høje svarprocenter på spørgeskemaundersøgelser, hvor respondenterne ikke har en direkte fordel ud af at svare eller bliver kontaktet telefonisk eller ved besøg. CONNECTING BUSINESS & TECHNOLOGY 8

9 3 Målinger Som nævnt er der valgt en række effekter med indikatorer ud fra bruttokataloget. De er samlet tematisk i syv målinger: Måling 1: Flere vejledningskontakter og aflastning af andre vejledningstilbud Måling 2: Hvem anvender? Måling 3: Hvad henvender de vejledningssøgende sig om? Måling 4: Kvaliteten af s betjening af de vejledningssøgende Måling 5: Brugernes tilfredshed med kvaliteten af Måling 6: opsamler og formidler viden Måling 7: Medarbejdertrivsel Måling 1, 2 og 4 handler primært om at dokumentere effekten Mere vejledning fra målhierarkiet, mens måling 5 og 6 knytter sig til Høj kvalitet af. Måling 3 handler om begge resultater, mens måling 7 behandler s interne forhold. I de følgende afsnit er målingerne beskrevet nærmere med hypotese og gevinstpotentiale, værktøj og praktisk fremgangsmåde. 3.1 Måling 1: Flere vejledningskontakter og aflastning af andre vejledningstilbud Antallet af vejledningskontakter er en central indikator i forhold til at måle, om der er kommet mere vejledning, og om andre vejledningstilbud er blevet aflastet af. Hypotese og gevinstpotentiale Flere vejledningskontakter Hypotesen for målingen er, at flere vil modtage vejledning, fordi de kan kontakte uden for de andre vejledningstilbuds åbningstid og via nye medier, der fx giver mulighed for at være anonym. Gevinsten forventes at være, at flere modtager vejledning (og derfor påbegynder og gennemfører en uddannelse). Aflastning af andre vejledningstilbud En anden hypotese er, at andre vejledningstilbud og særligt UU erne, bliver aflastede fordi de ressourcestærke og deres forældre anvender, så vejlederne i andre vejledningstilbud kan koncentrere sig mere om dem, som har udvidede/særlige vejledningsbehov. Dette vil blandt andet ske ved, at vejlederne henviser de ressourcestærke unge og deres forældre til. CONNECTING BUSINESS & TECHNOLOGY 9

10 Gevinsten forventes at være, at andre vejledningstilbud og særlig UU får frigjort ressourcer til unge med udvidede/særlige vejledningsbehov, og at der derved vil komme en stigning i antallet af vejledningskontakter med denne gruppe. Andre vejledningstilbud kan spare ressourcer ved at henvise de ressourcestærke med behov for information til. Til gengæld er der en øget risiko for, at de vejledningssøgende falder fra i overgangene mellem vejledningstilbuddene. Indikatorer Antal vejledningskontakter o Antal vejledningskontakter per vejledningsform i - herunder hvor mange, der har haft udvidede/særlige vejledningsbehov o Antal vejledningskontakter per vejledningsform i Studievalg - herunder hvor mange, der har haft udvidede/særlige vejledningsbehov o Antal vejledningskontakter per vejledningsform i UU - herunder hvor mange, der har haft udvidede/særlige vejledningsbehov Antal henvisninger o Antal henvisninger fra UU og Studievalg til o Antal henvisninger fra til UU og Studievalg Evt. frafald ved henvisning til andre vejledningstilbud Værktøj og praktisk fremgangsmåde Antal vejledningskontakter I kan man trække statistikken fra kontaktcentret. I UU erne anvender vejlederne et it-system til at registrere kontakter. Det skal afklares med leverandøren, UV-data, og med UU erne, hvordan de kan trække data om vejledningskontakter ud af systemet. Hvis det ikke er muligt at få data om kontakterne for alle UU erne, kan man beregne et landsresultat ved at vægte data fra en stikprøve af kommuner. Det er vigtigt, at det i antallet af kontakter i UU erne er opgjort, hvor stor en andel, som er med unge, der har udvidede/særlige behov for vejledning, da flere ressourcer til af denne gruppe er en de effekter, som skal være med til at sikre. CONNECTING BUSINESS & TECHNOLOGY 10

11 Studievalgscentrene registrerer allerede vejledningskontakter i deres såkaldte pindestatistik, som er tilgængelig på Undervisningsministeriets hjemmeside ( udievalg/kontaktstatistikker/1_kvartal_2010.aspx). I den statistik indgår det, om den vejledningssøgende har haft et udvidet vejledningsbehov. Antal henvisninger Antallet af henvisninger til og fra registreres af vejlederne i kontaktcentersystemet efter hver vejledning. Hvis vejlederen har henvist den vejledningssøgende til fx UU eller Studievalg, så registreres det for kontakten inden den afsluttes. Hvis den vejledningssøgende giver udtryk for, at UU eller Studievalg har henvist denne til, registreres det ligeledes som meta-data for kontakten. For henvisningerne til er metoden usikker, og tallet vil være lavere end det reelle, da der vil være et mørketal af vejledningssøgende, som ikke fortæller, at de er blevet henvist fra et andet vejledningstilbud. På trods af denne klare mangel ved metoden er den valgt for ikke at belaste UU erne og Studievalg med at registrere, hvor ofte de henviser til. Ønsker man pga. usikkerheden at lave en mere præcis måling i en periode uden at belaste UU og Studievalg, kan man gøre følgende: I en periode lave et indgangsspørgsmål ved telefonisk kontakt, fx: Hvis du er blevet henvist fra UU tast 1, fra Studievalg tast 2 hvis du ikke er blevet henvist tast 3. Spørge den vejledningssøgende i en spørgeskemaundersøgelser efter. Frafald ved henvisning Det har ikke været muligt at finde en egnet metode til at måle frafald ved henvisninger fra, da det vil kræve en registrering af den enkelte vejledningssøgende på CPRnummer for at kunne finde ud af om denne har henvendt sig til fx UU. Hvis man ønsker at foretage en måling af dette, kan man kontakte den vejledningssøgende efter noget tid og spørge om denne har fået fulgt op på henvisningen. På nuværende tidspunkt er dette imidlertid vurderet som en metode, der kan skade tilliden mellem den vejledningssøgende og. Tidsplan Baseline for antal henvendelser skal etableres inden går i luften, da det vil ændre billedet. Dette gælder hovedsageligt i forhold til UU erne, da Studievalg allerede registrerer antallet af henvendelser. Efter starter op med vejledning bør man se på udviklingen i antal henvendelser på tværs af vejledningstilbuddene hver tredje måned. CONNECTING BUSINESS & TECHNOLOGY 11

12 Det er ikke nødvendigt at etablere en baseline for antallet af henvisninger eller frafald ved henvisninger mellem og de andre vejledningstilbud, da der ikke kan være henvisninger førend er etableret. 3.2 Måling 2: Hvem anvender? E- skal kunne dokumentere, hvem der anvender tilbuddet, så det er muligt at vurdere, dels om det er de ressourcestærke og deres forældre, og dels se om der er nogle grupper, der er over- eller underrepræsenterede. Hypotese og gevinstpotentiale Hypotesen for målingen er, at vil tiltale særligt de ressourcestærke unge og deres forældre, fordi medierne er gode til hurtig afklaring af spørgsmål, og fordi har udvidet åbningstid. Derudover kan det tiltale nogle grupper i højere grad end andre, fx drenge. Gevinsten, ved at de ressourcestærke anvender til at få information og svar på spørgsmål, er, at de derved ikke trækker så meget på ressourcerne fra de andre vejledningstilbud. At tilbyder vejledning via nye medier vil måske tiltrække grupper, som ikke anvender eller er underrepræsenterede i de nuværende vejledningstilbud. Indikatorer Alder Køn Geografi (fx postnummer) Nuværende uddannelse eller erhverv Udvidet/særligt vejledningsbehov (kan anvendes fra måling 1) Forælder til ung Kendskab til og dens tilbud, og eventuelt hvor de kender fra Værktøj og praktisk fremgangsmåde Fra de unge på ungdomsuddannelserne, som deltager i de årlige brugerundersøgelser om vejledning, kan man få et billede af hvem af dem, som har anvendt ved at tilføje spørgsmål om deres brug af og kendskab til. Derudover vil CONNECTING BUSINESS & TECHNOLOGY 12

13 vejlederne kunne registrere køn, og om en henvendelse er foretaget af en forælder, da de typisk vil angive, at der er tale om deres søn eller datter. Men hvis man vil have et mere præcist billede af, hvem brugerne er, bliver man nødt til at spørge dem, som er i kontakt med. Det kan gøres med spørgeskemaer efter. Der er imidlertid en risiko for sæsonudsving pga. ansøgningsfrister og vejledningsarrangementer på uddannelsesinstitutioner. Man undgår dette, hvis undersøgelsen kører over hele året, men at fx kun hver 10. får spørgsmålene, så det ikke er til så meget gene for de vejledningssøgende. De data, som kommer ind, kan sammenlignes med dels lignende tal fra UU, Studievalg og evt. uddannelsesinstitutioner samt demografiske opgørelser fra Danmarks Statistik. Dette vil give et billede af om brugerne af adskiller sig fra dem, som anvender andre vejledningstilbud og befolkningen. Tidsplan Undersøgelsen på ungdomsuddannelserne om vejledning kører hvert forår, hvorfor spørgsmål om vil kunne føjes til undersøgelsen i Registrering foretaget af vejlederne i systemet kan sættes op fra s start, ligesom brugerundersøgelser i forbindelse med også vil kunne køre fra den dato. 3.3 Måling 3: Hvad henvender de vejledningssøgende sig om? E- er primært tiltænkt at kunne bruges til information, vejvisning og til at få svar på konkrete spørgsmål. Denne måling skal dokumentere, hvad de vejledningssøgende henvender sig om, så det er muligt at opgøre, hvilke typer henvendelser behandler flest af. Hypotese og gevinstpotentiale Hypotesen er, at hovedparten af henvendelserne vil dreje sig om information og afklaring af forholdsvis simple spørgsmål i modsætning til den tungere procesvejledning. Gevinsten forventes at være, at medierne vil være effektive til information og at svare på konkrete spørgsmål her og nu, og at de vejledningssøgende derfor hovedsageligt vil anvende til dette. Indikatorer Registrering af vejledningsbehov (ren information vs. procesvejledning) Registrering af vejledningsemne (fx ungdomsuddannelser, videregående uddannelser, voksenuddannelser mv.) CONNECTING BUSINESS & TECHNOLOGY 13

14 Værktøj og praktisk fremgangsmåde Efter hver kontakt registrer vejlederne i kontaktcentersystemet om behovet primært var information eller procesvejledning samt hvilket emne, der er vejledt indenfor. Her er der en opgave for og eventuelt Undervisningsministeriet med at definere de kategorier, som de to indikatorer skal deles op i. Tidsplan Registreringen begynder, når starter op og foregår efter hver kontakt. 3.4 Måling 4: Kvaliteten af s betjening af de vejledningssøgende Kvaliteten af betjeningen af de vejledningssøgende er en måling, som indgår i s kvalitetssikring. Den er taget med i dette måleprogram, da den er vigtig parameter i forhold til, hvad vil blive kendt for, og dermed hvor meget den vil blive brugt. Hypotese og gevinstpotentiale Hypotesen er, at et højt serviceniveau på betjeningen af de vejledningssøgende i er med til at sikre, at bliver en succes, fordi flere får den vejledning, som de efterspørger. E- vil på grund af sin størrelse kunne dimensionere antallet af vejledere efter belastningen, så de vejledningssøgende undgår meget lange ventetider op til fx ansøgningsfrister. Derudover vil de vejledningssøgende kunne henvende sig, når de andre vejledningstilbud har lukket. Gevinsten forventes at være, at flere får vejledning, fordi de kan komme hurtigt igennem og derfor ikke opgiver at komme i kontakt med en vejleder. Over tid vil det bidrage til, at flere benytter. Indikatorer Indikatorerne til at måle kvaliteten af betjeningen af de vejledningssøgende i er de samme, som andre kontaktcentre typisk måler og justerer deres serviceniveau efter: Antal henvendelser i fordelt på kanaler og tidspunkter Andel af henvendelser som er straksafklaringer Teknisk oppetid på kanalerne i procent af åbningstiden Ventetid på de enkelte kanaler CONNECTING BUSINESS & TECHNOLOGY 14

15 Besvarede og ubesvarede henvendelser Længen af Ovenstående indikatorer krydses med bemandingen, så man kan vurdere om dimensioneringen er korrekt Brugernes tilfredshed med ovenstående Værktøj og praktisk fremgangsmåde I opsamler kontaktcentersystemet alle indikatorerne undtagen brugertilfredsheden. Systemet kan imidlertid bruges til at lave spørgeskemaundersøgelser på telefonen, så de vejledningssøgende efter at have givet samtykke besvarer et spørgeskema vha. knapperne på deres telefon efter. For kontakter via mail og chat bliver det efter alt at dømme nødvendigt at anvende et almindeligt program til at gennemføre spørgeskemaundersøgelser over internettet. Man kan ligeledes gennemføre mindre spørgeskemaundersøgelser over SMS, hvis man ønsker det, og det vil højest sandsynligt være nødvendigt at anskaffe specialsoftware eller outsource til en ekstern leverandør. Alternativt kan et udvalg af dem, der har søgt vejledning over SMS, ringes op til et telefoninterview. Der er ikke lagt op til, at der skal gennemføres en registrering af situationen før bliver etableret. Hvis der bliver behov for at sammenligne fx længden af vejledning, kan man indsamle data til benchmarking i UU og Studievalg ved fx at lave en eller flere tidsmålinger. Tidsplan Kvalitetssikringen af brugerbetjeningen skal gå i gang, når begynder at vejlede. Derfor vil denne måling også starte der. 3.5 Måling 5: Brugernes tilfredshed med kvaliteten af E- skal levere vejledning af høj kvalitet på nye medier for, at det bliver et godt alternativ til UU og Studievalg, ligesom det er en forudsætning for, at vejledningsindsatsen bliver styrket. Brugernes tilfredshed med kvaliteten af indgår sammen med supervision i kvalitetssikringen af. Hypotese og gevinstpotentiale Hypotesen for målingen er, at en god vejledning med præcise og anvendelige svar, der er personlige og vedkommende samt foregår gennem velfungerende medier har en positiv effekt i forhold til at få flere til at gå i gang med og gennemføre en uddannelse. Effekten forventes at være, at brugerne oplever, at de får en god vejledning med: CONNECTING BUSINESS & TECHNOLOGY 15

16 Præcise og anvendelige svar Personlig og vedkommende vejledning Vejledning gennem medier, der fungerer godt til vejledning Gevinsten er, at de vejledningssøgende bliver bedre rustede til at træffe valg om uddannelse og erhverv. Indikatorer Brugerundersøgelse om: o Tilfredshed med hvor præcise og anvendelige svarerne fra er o Tilfredshed med hvor personlig og vedkommende er o Tilfredshed med hvor godt medierne fungerer til vejledning o I hvor høj grad har hjulpet dem med at blive mere afklarede om valg af uddannelse og erhverv (kan sammenlignes med effektmålingen af Studievalg fra 2008) o Evt. også den overordnede tilfredshed med og dens kvalitet generelt Værktøj og praktisk fremgangsmåde Denne måling kan gennemføres som en almindelig brugertilfredsundersøgelse med et udvalg af de vejledingssøgende, som har været i kontakt med. Det har den fordel, at en eventuel utilfredshed pga. bristede forhåbninger om uddannelsesmuligheder ikke indvirker så meget på resultatet. Samtidig har det imidlertid den store ulempe, at de vejledningssøgende højest sandsynligt vil have svært, måske endda meget svært, ved at huske, hvordan den konkrete vejledning var. Det kan derfor være en fordel at gennemføre brugertilfredshedsundersøgelsen umiddelbart efter med automatiske undersøgelser i kontaktcentersystemet for henvendelser på telefon, webspørgeskemaer efter vejledning over chat og mail og eventuelt SMS- eller telefoninterviews af personer, der anvender SMS. Tidsplan Vælger man at gennemføre en klassisk brugertilfredshedsundersøgelse kan den gennemføres årligt, mens dataindsamling umiddelbart efter giver muligheder for at gennemføre målingen enten løbende eller med faste tidsintervaller, fx hver tredje måned. CONNECTING BUSINESS & TECHNOLOGY 16

17 Der er ikke behov for at gennemføre en før-måling, da målingen kun går på vejledning, men der kan etableres et godt sammenligningsgrundlag ved at stille vejledningssøgende i Studievalg og UU de samme spørgsmål. 3.6 Måling 6: opsamler og formidler viden Det er et succeskriterium for, at den agerer som videnscenter og formidler for vejledning og særligt vejledning via nye medier i forhold til det resterende vejledningsmiljø. Hypotese og gevinstpotentiale Hypotesen for målingen er, at som nationalt vejledningstilbud får en særlig mulighed for at samle og formidle viden i kraft af, at det samler en stor gruppe vejledere på tværs af UU og Studievalg, og fordi det er det sted, der bliver arbejdet med nye medier. Gevinsten ved, at opsamle og formidle viden om vejledning generelt og vejledning via nye medier, er, at det giver mulighed for at forbedre kvaliteten af i alle vejledningstilbuddene. Indikatorer Semi-strukturerede interviews med ledere fra andre vejledningstilbud om: o Overdragelse af viden gennem indstationerede medarbejdere o E-s samarbejde med andre vejledningstilbud o Andre oplevede effekter ved Evt. optælling af formidlingsaktiviteter (antal artikler, FAQ-opslag, erfa-møder o.l.) Værktøj og praktisk fremgangsmåde Der skal udarbejdes en interviewguide og aftales interviews, men ud over tid kræver denne måling ikke meget i forhold til værktøjer. Intervieweren bør være en trænet interviewer, og for at få ledernes ærlige mening bør man overveje om det skal være eksterne, som står for at gennemføre denne måling Tidsplan Interviewene kan foregå en enkelt gang, efter behov eller med et fast tidsinterval fx årligt. CONNECTING BUSINESS & TECHNOLOGY 17

18 3.7 Måling 7: Medarbejdertrivsel E- skal være en attraktiv arbejdsplads, som er i stand til at tiltrække dygtige og engagerede medarbejdere, fordi der er et fagligt udfordrende miljø, hvor medarbejderne trives. Hypotese og gevinstpotentiale Hypotesen for målingen er, at qua sin størrelse og position som nationalt vejledningscenter, med nye medier vil kunne tiltrække dygtige vejledere både som fuldtidsansatte og deltidsansatte, der udover at arbejde i også arbejder på deltid i UU og Studievalg. Gevinsten ved, at have ansatte der trives, er, at de løser deres opgaver bedre, er mindre syge og bliver på arbejdspladsen i længere tid. Indikatorer En klassisk medarbejdertilfredshedsundersøgelse, som bl.a. indeholder spørgsmål om: o Det fysiske arbejdsmiljø o Det psykiske arbejdsmiljø o Kulturen i o Udviklingsmuligheder o Faglig identitet som vejleder Evt. suppleret med sygefravær og medarbejderomsætning Værktøj og praktisk fremgangsmåde Der findes mange udbydere af undersøgelser af medarbejdertilfredshed, ligesom kunne indgå i Undervisningsministeriets undersøgelse eller vælge selv stå for den. Vælger ledelsen i det sidste, stiller Personalestyrelsen værktøjet Trivselmeter gratis til rådighed ( Sygefravær og medarbejderomsætning kan opgøres som en del af den daglige drift af. Tidsplan Undersøgelsen gennemføres årligt. Første gang efter et år, hvilket vil sige i ultimo 2011 eller primo CONNECTING BUSINESS & TECHNOLOGY 18

19 4 Organisering af effektmålingen Ledelsen i har ansvaret for at gennemføre målingerne. Enten på egen hånd eller med hjælp fra eksterne. Undervisningsministeriet skal som ansvarlig for orienteres om status for målingerne samt have tilsendt resultater. Frem til er etableret står Undervisningsministeriet for at etablere baseline/før-måling for de målinger, hvor det er nødvendigt. 4.1 Metoder og bemanding Følgende dataregistreringsmetoder indgår i målingerne: Dataregistrering i kontaktcentersystemet Dataudtræk fra kontaktcentersystemet og UU s system Spørgeskemaundersøgelse Interview Antallet og omfanget af målingerne taler for, at der i er ansat en person med flair for dataindsamling og behandling, og som eventuelt har erfaringer med at gennemføre spørgeskemaundersøgelser, effektmåling og evaluering. Selv hvis en del af arbejdet overlades til eksterne, vil skulle stå for en del koordinering og opfølgning. Derudover er der en særlig opgave med at koordinere spørgeskemaundersøgelserne mellem målingerne og mellem de spørgeskemaundersøgelser, som Undervisningsministeriet allerede gennemfører eller har planer om at gennemføre. 4.2 Måleperiode Måleperioden er fastsat til at være: Før-måling/baseline etableres i september og oktober Efter-måling gennemføres fra s start og frem E- skal i forbindelse med etableringen lave en detailplanlægning af eftermålingen. Undervisningsministeriet skal som ansvarlig godkende denne plan. CONNECTING BUSINESS & TECHNOLOGY 19

20 Bilag 1. Bruttoliste Følgende er bruttolisten over identificerede effekter/målinger ID Navn Beskrivelse Primær interessent 1 Svartider Den tid der går fra brugeren tager kontakt og til denne kommer igennem/får svar afhængigt kanal kan brugere til at opgive, hvis den er for lang. 2 Kanalernes effektivitet Uanset valg af kanal oplever brugere og medarbejdere, at kanalen har fungeret. 3 Oppetid på kanalerne Kanalerne skal være åbne på de tidspunkter, man har defineret. 4 Præcise og anvendelige svar 5 Personlig og vedkommende vejledning Brugerne skal have svar på deres spørgsmål. Brugerne oplever at er personlig og vedkommende, så de efter er bedre rustet til valgsituationen. kvalitetssikring Vejledningssøgende Vejledningssøgende Vejledningssøgende Vejledningssøgende Vejledningssøgende effektmåling Indikator Ja Ja Svartider fra kontaktcenter systemet Antal tabte kald i køen krydset med ventetid Ja Tilfredshed med teknikken Vurdering af anvendeligheden af kanalen i den givne situation Ja Ja Teknisk oppetid på de enkelte kanaler inden for defineret åbningstid Ja Ja Tilfredshed med anvendeligheden af s svar - fik du svar på det du spurgte om? Ja Tilfredsheden med hvor personlig er - evt. krydset med overordnet tilfredshed for at vurdere vigtigheden af den personlige dimension i Målemetode Dataudtræk fra kontaktcentersystemet Spørgeskema til medarbejdere og brugere Udtræk fra systemet Spørgeskema til brugerne lige efter Spørgeskema til brugerne lige efter - evt. efter tre måneder for at undgå negativ bias pga. fx bristede forhåbninger om uddannelsesmuligheder CONNECTING BUSINESS & TECHNOLOGY 20

21 ID Navn Beskrivelse Primær interessent 6 Anonymitet og distance De brugere som lægger vægt på anonymitet og distance får mulighed gennem valg af kanaler kvalitetssikring Vejledningssøgende effektmåling Indikator Måske Brugernes behov for at være anonyme Brugernes valg af kanal ud fra ønsket om at være anonym Målemetode Spørgeskema til brugerne lige efter 7 Hvilke grupper anvender? Flere grupper som normalt ikke anvender de nuværende vejledningstilbud bruger s tilbud - fx pga. medier, anonymitet og tidspunkt Vejledningssøgende Ja Hvem bruger hvilke vejledningstilbud? Hvornår og med hvilket vejledningsbehov? Optælling i UU og Studievalg (før-måling) Optælling i UU, Studievalg og 8 Længden af På de enkelte kanaler skal man kunne afklare brugerne inden for et standard mål - fx tid, antal linjer i en chat, antal Sms'er i en dialog. 9 Allokering af medarbejdere og kanalflyt ved travlhed Medarbejderne allokeres til de kanaler, hvor der er stor efterspørgsel, og brugere med simple spørgsmål ledes mod kanaler, hvor disse hurtigt kan afklares 10 Andel af straksafklaringer Brugerne skal ikke havne i en omstillingskarrusel, hvor de hele tiden skal overdrages til andre, derfor skal der være en høj andel af straksafklaringer. Straksafklaringer sparrer ressourcer i, færre falder fra ved omstillinger og brugerne oplever samlet set, at de får en god service. 11 Samarbejdet med andre vejledningsenheder samarbejder med andre vejledningsenheder om at levere den bedste vejledning til målgruppen Vejledningssøgende UU og Studievalg Ja Ja Antal kontaktminutter, - linjer, Sms'er, kontakter i en mailkorrespondance m.v. Ja Ja Statistik på anvendelse af kanaler i perioder med høj belastning Ja Ja Statistik fra systemet på antallet af straksafklaringer Ja Vejlederne/lederne af vejledningsenhedernes oplevelse af samarbejdet med Udtræk fra system Udtræk fra system og besøgsstatistik for UG.dk vejlederne registrer i system Semistrukturerede interviews CONNECTING BUSINESS & TECHNOLOGY 21

22 ID Navn Beskrivelse Primær interessent 12 Forankring i vejledningsmiljøet 13 Brugerne anvender den mest egnede kanal skal ikke blot være kendt blandt vejlederne. De skal også informere om den og henvise til den. Nogle medier egner sig bedre til en bestemt type end andre, fx kan vejledning med et mere refleksivt indhold være svært over SMS effektmåling kvalitetssikring Indikator Måske Andel af brugere, som er blevet informeret fra UU eller Studievalg Nej vejledernes vurdering af den valgte kanals egnethed til den vejledning, som sessionen krævede. Brugernes vurdering af kanalernes egnethed Målemetode De årlige generelle brugerundersøgelser om vejledning Registrering i system (evejlederne) Brugerundersøgelse 14 bliver et permanent tilbud efter to år Efter to år beslutter man gøre til et permanent vejledningstilbud. Nej Beslutning om at bliver permanent Følge op på beslutningen 15 Antal henvendelser For at kunne sikre at kunne levere en både god og effektiv vejledning er det nødvendigt, at tilbuddet bliver brugt. Dels for at flytte vejledningsopgaver fra UU og Studievalg dels for at der er vejledningsopgaver nok i til at vejlederne får erfaring med de enkelte medier 16 Brugerne kender og ved hvad den tilbyder 17 At xx % er brugerne er årige og deres forældre 18 At xx % af brugerne er voksne For at brugerne kan anvende efter hensigten er det en fordel, at de udover at kende også ved, hvilken type vejledning de kan få For at kunne dokumentere, at man vejleder målgruppen er det nødvendigt med et overblik over hvem som anvender For at kunne dokumentere, at man vejleder målgruppen er det nødvendigt med et overblik over hvem som anvender Ja Antal henvendelser fordelt på de enkelte kanaler Ja Brugernes kendskab til Brugernes kendskab til s tilbud Ja Andel af brugerne, som er årandel af brugerne som er forældre til årige Ja Andel af brugerne, som er over 19-år eller derover, og ikke er forældre til en ung Udtræk fra system Brugerundersøgelse Registrering af brugerne i en periode Registrering af brugerne i en periode CONNECTING BUSINESS & TECHNOLOGY 22

23 ID Navn Beskrivelse Primær interessent 19 Bidrag til 95%- målsætningen skal være med til at sikre, at man når 95%- målsætningen effektmåling kvalitetssikring Indikator Nej Andel af unge, som er i gang med/gennemfører en ungdomsuddannelse efter vejledning i (segmenteres og sammenlignes med tilsvarende tal for UU) Målemetode Registrering og opfølgning på (fx 3 måneder og 3 år efter ) 20 Vejledningen lever op til de fastlagte standarder Vejledning lever op til de standarder for god vejledning, som har fastlagt. Vejledningssøgende Ja Gennemsnitskarakter for på de enkelte kanaler Kan suppleres med eksempler/cases Gennemgang og karaktergivning til et tilfældigt udvalg af vejledninger fra hver kanal (kilder: optagne samtaler, udskrifter af mails, sms og chat) 21 Udbuddet er afstemt med efterspørgsel skal anvende ressourcerne bedst muligt, derfor skal udbuddet af vejledning være afstemt med efterspørgselen således at der ikke er for lang vente tid nogle gange, mens der er mange ledige ressourcer på andre. 22 Medarbejdertrivsel skal være et godt sted at arbejde for vejlederne Ja Ja Ventetider krydset med bemanding/antal påloggede agenter Ja Ja Tilfredshed med hhv. de fysiske og psykiske arbejdsmiljø Tilfredshed med udviklingsmulighederne Tilfredshed med kulturen i Oplevelsen af at have en faglig identitet som vejleder Udtræk fra systemet Trivselsmåling - fx Trivselmeter CONNECTING BUSINESS & TECHNOLOGY 23

24 ID Navn Beskrivelse Primær interessent 23 Vejledningen indeholder alle elementer af (information til procesvejledning) 24 Frigøre vejledningsressourcer i UU og Studievalg Nogle brugere vil have behov for information mens andre vil have behov for procesvejledning. Det er imidlertid ikke altid erkendt hos brugeren om de har behov for det ene eller det andet, så vejlederne skal kunne afdække behovet og levere den nødvendige form for vejledning. Særligt i forhold til de skrevne medier kan det være svært at komme i dybden med, så det ikke kun bliver information. skal tage nogle af de ressourcestærke unge og forældre, hvorfor der frigøres ressourcer i UU og Studievalg - hvis de ressourcestærke ikke blot benytter som supplement UVM, UU og Studievalg effektmåling kvalitetssikring Indikator Målemetode Måske Ja Vejledningens indhold vejlederne registrerer i systemet, eller gennemgang og kodning af vejledninger (kilder: optagne samtaler, udskrifter af mails, sms og chat) Ja Antal henvendelser Ændring i fordelingen i UU og Studievalg Før-måling: Studievalgs nuværende registreringer, udtræk fra UU's system Efter-måling: Før-måling: Studievalgs nuværende registreringer, udtræk fra UU's system, registrering i og udtræk fra s system 25 Positiv medieomtale Positiv omtale formodes at give bedre kendskab og dermed mere vejledning. Derudover er positiv omtale også en temperaturmåling af, hvordan klarer sig. UVM Nej Skrevne artikler, indslag i radio og tv, o.l. CONNECTING BUSINESS & TECHNOLOGY 24

25 ID Navn Beskrivelse Primær interessent 26 Henvisninger mellem vejledningerne De brugere, som har et større behov for vejledning end kan håndtere skal henvises til UU eller Studievalg, så de kan få den vejledning, som de har behov for 27 Frafald ved henvisninger Det er i overgangene mellem vejledningstilbuddene, at mange unge falder fra. Derfor er det vigtigt at så få som muligt falder fra. Vejledningss øgende kvalitetssikring Vejledningssøgende effektmåling Indikator Ja Henvisningerne fra UU og Studievalg til og fra til UU og Studievalg Måske Opfølgning på om de henviste henvender sig Målemetode Registrering i vejledning eller ved at spørge brugerne mens de venter i kø UU: Er der registreret en henvendelse på den unge i perioden efter henvisningen?studievalg: Opfølgning på den henviste efter fx 3 månederalternativt: UU og Studievalg spørger om brugerne er blevet henvist fra, når de henvender sig. 28 Brugerne anvender, når de andre vejledningstilbud har lukket har åbent, når de andre har lukket, hvorfor man forventer, at brugerne vil anvende på fx ydertidspunkter og i weekenden 29 Opsamling af erfaring opsamler og formidler viden til andre vejledningstilbud. Det kan fx være om vejledning gennem de forskellige medier. Vejledningssøgende UU og Studievalg Ja Belastningen henover dagen Måske Antal artikler (fx FAQ eller nyhedsbreve) Antal erfa-møder Udtræk fra system Optælling CONNECTING BUSINESS & TECHNOLOGY 25

26 ID Navn Beskrivelse Primær interessent 30 Overdragelse af viden gennem medarbejdere, der arbejder på deltid i Ved at en del af medarbejderne i er deltidsansatte fra UU og Studievalg overfører disse medarbejdere viden til UU og Studievalg. UU og Studievalg effektmåling kvalitetssikring Indikator Ja Ledernes erfaringer med at have medarbejdere, der også arbejder i Målemetode Kvalitative interviews med ledere, som har medarbejdere ansat, som også arbejder i 31 Brugernes geografiske placering kan være et tilbud til borgere, som bor et stykke fra vejledningernes fysiske placering Vejledningssøgende Måske Postnumre Brugertilfredshedsundersøge lser lige efter. Kan holdes op imod populationen 32 Indholdet af henvendelserne Hvad er det de vejledningssøgende henvender sig til for at få svar på Ja Antal vejledninger fordelt på indholdskategorier vejlederne registrerer i systemet CONNECTING BUSINESS & TECHNOLOGY 26