Evalueringsplan NIRAS Konsulenterne A/S Åboulevarden 80 Postboks 615 DK-8100 Århus C Haderslev Kommune EVALUERING AF UNGE I VÆKST Telefon 8732 3334 Fax 8732 3333 E-mail niraskon@niraskon.dk CVR-nr. 20940395 Evalueringsplan 14. juli 2009 1. Evalueringens formål Evalueringen, som gennemføres sideløbende med den tværgående evaluering på puljeniveau, har følgende formål: at dokumentere projektets målopfyldelse og effekten af forløbene, og hvordan de udviklede redskaber virker i praksis at få sparring til justering af metoder og aktiviteter undervejs i projektet, og at kvalitetsudvikle projektet løbende at projektet og projektets aktører / fagpersoner udvikler redskaber til egen evaluering og egen læring at indgå i den tværgående evaluering at beskrive metoder anvendt i projektet at få dokumentation for implementering af de bedste afprøvede metoder for projektet Unge i Vækst, sundhedsfremme for unge uden for uddannelsessystemet
2 2. Evalueringsplan Der henvises i dette dokument til den samlede evalueringsplan for projekt Unge i Vækst, der er blevet udarbejdet med udgangspunkt i Haderslev Kommunes egen evalueringsplan for projektet og opstartsmødet den 25. maj 2009 (se medfølgende pdf). 2.1 Overblik over evalueringsplanens opbygning Evalueringsplanen er inddelt i tre dele, der hver repræsenterer et delmål for projektet Unge i Vækst. De tre delmål er: At skabe overblik over og dialog med eksisterende sundhedsfremmende foranstaltninger for unge i Haderslev Kommune og formalisere samarbejdet At gennemføre sundhedsfremmende projekter i de socialpædagogiske bomiljøer og sammen med ungdomsuddannelserne og ungevejlederne At gennemføre kompetenceløft for nøglepersoner, der arbejder med udsatte unge og sundhedsfremme samt inddrage foreningslivet i Haderslev For hvert af disse delmål er der opstillet en række aktiviteter/processer som forventeligt vil føre til et bestemt output. Det forventede output dækker over, hvad man på forhånd vil kunne sige er de umiddelbare succeskriterier for den ydede indsats. Succeskriterierne er opstillet på en måde, der gør outputtet af indsatsen målbart, men det vil ikke være tilrådeligt at bedømme projektets succes alene ud fra, om alle kriterier er blevet indfriet eller ikke indfriet. Rammebetingelserne har også en stor betydning for evnen til at indfri succeskriterierne, og det kan derfor være nødvendigt at justere dem undervejs i projektforløbet. 2.1.1 Delmål 1: Overblik, dialog og formalisering Outputtet for det første delmål, der omhandler kortlæggelse af og dialog med potentielt netværk samt en formalisering af samarbejdet, er bl.a., at alle opholdssteder og ¾ af uddannelsesinstitutionerne indgår helt eller delvist i et samarbejde med projektet. Derudover er det, at der gennem dialog skabes en række samarbejdsrelationer, så netværket omkring projektet får øget viden om projektet. Endeligt forventes outputtet at blive en oprettelse af styre- og koordinationsgrupper og efterfølgende regelmæssig mødeaktivitet. Resultatet på kort sigt vil være, at der kommer mere viden og opmærksomhed om projektet, at der udvikles en kultur for erfaringsud-
3 veksling i det brede netværk, at der sikres en fornuftig styring på det organisatoriske niveau, og at der sikres opbakning på det politiske niveau. På lidt længere sigt vil indsatsen forventeligt give mulighed for at flere aktører deltager i politikformuleringen indenfor sundhedsområdet i kommunen, at der generelt er en større vilje til at iværksætte sundhedsfremmende initiativer og at der skabes større kontinuitet og helhedstænkning i indsatsen. På lang sigt forventes det dels, at resultatet af indsatsen bliver, at flere unge kommer i kontakt med projektet og får mulighed for at forbedre handlekompetencer, sundhedstilstand og evt. tilknytning til uddannelsessystem eller arbejdsmarked. Og dels at den kommunale indsats over for unge på kanten af uddannelsessystemet kvalificeres og understøttes også organisatorisk. 2.1.2 Delmål 2: Sundhedsfremmende aktiviteter Aktiviteterne for dette delmål om sundhedsfremmende aktiviteter er inddelt i tre grupper: KRAM-aktiviteter (eller KRAM-relaterede aktiviteter), vækstsamtaler efter Vækstmodellen og coachingforløb. Det forventede output af disse aktiviteter omhandler dels deltagelse og dels positivt udbytte hos de unge, som har deltaget. Det er projektets forhåbning, at mindst 3 opholdssteder for unge og ¾ af uddannelsesinstitutionerne har gennemført mindst en aktivitet. Det forventede output for vækstsamtalerne på de udvalgte skole og indskolingsforløb er deltagelse af mellem 50 og 100 elever, og positivt udbytte for mere end halvdelen af disse elever. Endelig er det forventede output for coachingforløbet, at ¾ af de adspurgte elever deltager og fastholdes i deres forløb. På kort sigt vil resultatet forventeligt være større viden om og engagement for sundhedsfremme blandt unge i målgruppen. Derudover vil flere unge forbedre deres livs- og handlekompetencer, få større selvtillid og få flere positive sundhedsoplevelser. På lidt længere sigt vil de unge forventeligt efterspørge flere sundhedsfremmende aktiviteter, og der vil være øget trivsel, refleksion, selvværd og sundhed blandt de unge i målgruppen. Endelig vil de mange aktiviteter og gode erfaringer kunne indarbejdes i daglig praksis på steder, der har med de unge at gøre til dagligt. På lang sigt er det forventede resultat naturligvis også her, at flere unge kommer i kontakt med projektet og får mulighed for at forbedre handlekompetencer, sundhedstilstand og evt. tilknytning til uddannelsessystem eller arbejdsmarked. Men derudover er det også håbet, at
4 der udvikles metoder, som kan sikre forankring og spredning af gode erfaringer i den kommunale indsats over for unge på kanten af uddannelsessystemet. 2.1.3 Delmål 3: Gennemførelse af kompetenceløft og inddragelse af foreningsliv De aktiviteter, der er knyttet til dette delmål, er bl.a. kursusaktivitet, foredrag, og dialogmøder med de fagpersoner, som har at gøre med de unge i målgruppen til dagligt. Derudover er det inddragelse af og oplysning til repræsentanter fra kommunes foreningsliv. Det forventede output handler dels om deltagelse af fagpersoner fra de sociale opholdssteder og uddannelsesinstitutioner og dels om, at de nye tillærte kompetencer efterfølgende implementeres. Derudover er det et succeskriterium, at mindst fem relevante foreninger iværksætter aktiviteter, der inddrager de unge i målgruppen. På kort sigt vil resultatet bl.a. være, at uddannelsesinstitutioner og opholdssteder får øget interesse for kompetenceudvikling. Derudover vil der kunne skabes varige samarbejdsrelationer om kompetenceudvikling. På mellemlang sigt vil resultatet forventeligt være en styrkelse af det tværfaglige samarbejde og en bedre sammenhæng i indsatsen overfor målgruppen. Derudover vil de unge forventeligt få større interesse i at deltage i foreningslivet. På langs sigt vil resultatet være, at sundhedsfremme etableres i den daglige drift hos nøglepersoner, der arbejder med sundhedsfremme i kommunen og de gode metoder i arbejdet med de unge forankres ved at foreningslivet tager initiativ til at iværksætte aktiviteter.
5 2.2 Overblik over evalueringsaktiviteter Til at afdække om projektets indsats har haft de forventede outputs og umiddelbare resultater, som det er skitseret ovenfor, så gennemføres en række evalueringsaktiviteter. Aktiviteterne gennemføres i to omgange hhv. ultimo 2009 og ultimo 2010. Nedenfor ses en oversigt over, hvilke evalueringsaktiviteter, der er tiltænkt de forskellige målgrupper for projektet. I det omfang evalueringsaktiviteten foregår i puljeevalueringsregi, er det også angivet i skemaet. Målgruppe Aktiviteter Midtvejsevaluering Ultimo 2009 Slutevaluering Ultimo 2010 De unge Fokusgrupper/personlige interviews Projektspecifik brugermonitorering n X n X n X n X Fokusgruppeinterviews n n Medarbejderspørgeskemaundersøgelse n n Medarbejdere Registrering af fx deltagelse og kontakter n n Logbog n n Personer i netværk Fokusgruppeinterviews n n X = Evalueringsaktiviteter i puljeevalueringsregi; n = Selvstændig evalueringsaktivitet i UNGE I VÆKST 2.2.1 Fokusgruppeinterviews samt personlige interviews med de unge Der foretages som supplement til evalueringen på puljeniveau fokusgruppeinterviews med fem til syv af de unge, som har deltaget i en eller flere af aktiviteter i forbindelse med Unge i Vækst. Fokusgruppeinterviews har den fordel, at deltagerne kan blive inspireret af hinandens udtalelser. Derudover er metoden god, hvis interviewpersonerne er svære at få i tale, og der skal reflekteres over emnet. Derudover gennemføres række personlige interviews med unge fra målgruppen. Fordelen ved at have de unge alene er, at de ikke i så høj grad bliver præget af holdninger fra gruppen.
6 De unge, der udvælges til at deltage i evalueringen, skal gerne have deltaget i flere aktiviteter, men emnet kan også være en specifik aktivitet som fx vækstsamtaler i udvalgte skolers 9. og 10. klasser. Selv om det er NIRAS Konsulenterne, som står for interviewene, er det vigtigt at fx lærere og vejlederteam indgår i dialog med de unge om formålet med interviewet og herigennem understreger vigtigheden af, at de bidrager med deres erfaring og oplevelser. Denne evalueringsaktivitet vil i særlig grad være velegnet til at afdække indfrielse af succeskriterier og umiddelbare resultater for delmål 2, der omhandler KRAM-(relaterede-)aktiviteter, vækstsamtaler og coachingforløb. I den forbindelse vil følgende temaer vil kunne belyses: De unges vurderinger af sundhedsfremmende KRAMaktiviteter under Unge i vækst De unges refleksioner over udbytte af / positive erfaringer med fx. sundhedsfremmende aktiviteter under Unge i Vækst, ung-til-ung kommunikation, foredrag, vækstsamtaler og udarbejdelse af sundhedsprofil De unges oplevelse af, hvordan medarbejderne i Unge i Vækst opfører sig som rollemodeller, kender de unge og henviser de unge til de relevante sundhedstilbud Om projektets tiltag har gjort de unge mere aktive i deres fritid, eller om de har fået kendskab til ting gennem projektet, som de fremadrettet vil fortsætte med uafhængigt af projektet Afdækning af ny viden, de unge har opnået om sundhedsfremmende tiltag NIRAS Konsulenterne laver interviewguides og gennemfører fokusgruppeinterviews. 2.3 Projektspecifik brugermonitorering Der vil i puljeevalueringsregi løbende blive indberettet og registreret data om de unge i NIRAS Konsulenternes monitoreringssystem. Lige som ved aktiviteten beskrevet ovenfor, vil denne evalueringsaktivitet i særlig grad være velegnet til at afdække indfrielse af succeskriterier og umiddelbare resultater for delmål 2 om sundhedsfremmende aktiviteter. Følgende temaer belyses: Antallet af deltagere i sundhedsfremmende projekt Beskrivelse af deltagernes problemstillinger
7 Opnåede resultater i forhold til overordnede indikatorer (fx viden om sundhed, evt. bedre tilknytning til uddannelsessystem/arbejdsmarked) I tilknytning til denne monitorering, som kører efter et fast tidsskema, vil det være muligt at tilknytte nogle ekstra mere projektspecifikke spørgsmål, der så vil ligge i forlængelse af de mere generelle spørgsmål. På den måde vil der være mulighed for med fast interval, at indtaste oplysninger, der omhandler helt konkrete aktiviteter, som den unge har deltaget i. Alternativt vil denne aktivitet kunne kobles direkte til vækstsamtalerne, hvilket dog vil betyde en selvstændig registrering gennemført af de lærere, som står for samtalerne, hvilket kan være en større arbejdsbyrde De konkrete projektspecifikke spørgsmål udarbejdes af Unge i Vækst i samarbejde med NIRAS Konsulenterne, der også sikre validiteten af spørgsmålene og indarbejder dem i den igangværende monitorering. 2.4 Fokusgruppeinterviews med de professionelle (medarbejdere tilknyttet projektet) Der foretages ligeledes et fokusgruppeinterview med de professionelle (medarbejdere tilknyttet projektet). Medarbejderne har både en udførende funktion i forhold til at gennemføre sundhedsfremmende aktiviteter for de unge, og de udgør selv målgruppen for nogle af projektets aktiviteter. Interviewene vil derfor både fokusere på, hvordan medarbejderne oplever arbejdet med de unge samt fokusere på det udbytte, medarbejderne selv fået ud af at arbejde med projektet. Det er naturligt, at denne aktivitet primært vil belyse delmål 3 omkring kompetenceløft for fagprofessionelle, men der vil også være elementer fra delmål 1 og 2, som denne aktivitet vil kunne bidrage til at afdække. Følgende temaer vil således blive belyst: Arbejdet med de unge: hvordan medarbejderne anvender de tillærte kompetencer i hverdagen, medarbejdernes bevidsthed om, at de er rollemodeller for de unge Generel erfaringsopsamling: Hvilke aktiviteter og processer er lykkedes, og hvorfor er de det Er den udviklede metode anvendt i sundhedsvejledningen Er den rigtige viden blevet spredt ud til målgruppen Er organiseringen af projektets opgaver samt rollefordelingen hensigtsmæssig
8 Medarbejdernes eget udbytte: øget viden om sundhedsfremme og aktiviteter, ændret grundsyn på sundhed og tilegnelse af redskaber, som kan bruges i arbejdet med de unge. NIRAS Konsulenterne laver interviewguides med inputs fra projektledelse og gennemfører fokusgruppeinterviews. 2.5 Survey blandt medarbejdere Det vil være relevant, at gennemføre en internetbaseret survey blandt projektets involverede professionelle aktører. Lige som aktiviteten beskrevet ovenfor, vil denne aktivitet primært belyse delmål 3 omkring kompetenceløft for fagprofessionelle. Her vil dog også være elementer fra delmål 1 og 2, som denne aktivitet vil kunne bidrage til at afdække - bl.a. kontakt til og erfaringsudveksling med potentielt netværk samt erfaringer med metoder til at motivere unge i forbindelse med sundhedsfremmende aktiviteter. Følgende temaer vil kunne indgå: Arbejdet med de unge: hvordan medarbejderne anvender de tillærte kompetencer i hverdagen, medarbejdernes bevidsthed om, at de er rollemodeller for de unge Medarbejdernes eget udbytte: øget viden om sundhedsfremme og KRAMS-aktiviteter, ændret grundsyn på sundhed og tilegnelse af redskaber, som kan bruges i arbejdet med de unge. NIRAS Konsulenterne udarbejder skemaet i dialog med projektledelsen. NIRAS Konsulenterne står for dataindsamling, såfremt projektledelsen er behjælpelig med at fremskaffe kontaktoplysninger på relevante personer. 2.6 Registrering af deltagelse Der fortages simple optællinger af hvor mange unge, der har deltaget i de forskellige aktiviteter. Deltagelse indgår som succeskriterium for flere af aktiviteterne under delmål 2 lige som, det er en nem måde at afdække aktiviteternes umiddelbare succes. Medarbejdere eller vejledere står for optællingen. NIRAS Konsulenterne laver et simpelt skema til optælling. 2.7 Logbog blandt medarbejdere Med henblik på at evaluere, hvad der virker og ikke virker, samt hvilke faktorer, der har betydning for dette, skal udvalgte medarbejdere føre en logbog undervejs i projektforløbet. I logbogen skal centrale erfaringer og udviklingstendenser nedskrives. Der udarbejdes indledningsvist en standardiseret opgørelsesmåde, således man kan sammenligne erfaringer over tid. Logbogen vil skulle
9 opdateres med et passende interval, da den skal kunne dokumentere mål, processer og resultater uden dog at besvære vejlederteamet unødigt med papirarbejde. Logbogen vil kunne afdække erfaringer og refleksioner, der hører til alle tre overordnede delmål. Beskriver fx hvilken i kontekst projektets aktiviteter og processer indgår i (fx betydningen af lærergruppens opbakning samt rollefordeling klarhed for succesfuldt rygestopprogram) Logbogsskabelon for planlægning og gennemførelse af aktiviteter i UNGE I VÆKST Navn på aktivitet/proces FØR: planlægningsfasen Dato og Initialer Mål og evt. delmål med aktiviteten Hvordan forestiller vi os målet opnået (jf. bl.a. programteori)? UNDERVEJS: Beskrivelsesfasen Beskrivelse af processen/ aktivitetens gennemførelse, herunder bl.a.: Inddragelse af de unge Samarbejde med undervisere og i projektteamet Hvad er gået godt i processen (set i forhold til delmål/målet)? EFTER: Refleksionsprocessen Hvilke udfordringer har der været i processen? Overkom I disse udfordringer undervejs? Hvis ja, hvordan? Hvad har I lært? Hvad skal I gøre bedre næste gang? NIRAS Konsulenterne laver logbogsskabelon i samarbejde med projektgruppen og vejleder undervejs i anvendelsen af denne. Det forventes, at brugen af logbøgerne løbende tages op i projektgruppen og at det nedskrevne materiale anvendes i løbet af hele processen. 2.8 Fokusgruppeinterviews med deltagere fra projektets netværk Det er relevant, at gennemføre et fokusgruppeinterview med repræsentanter for projektets netværk. Denne gruppe der fx kunne bestå af UU-vejledere, repræsentanter fra foreningslivet, ungdomsskolelærere, pædagoger på væresteder for unge, ledere af uddannelsesinstitutioner,
10 studievejledere og skoleinspektører - vil have nogle alternative tilgange til projektets aktiviteter. Denne evalueringsaktivitet vil primært kunne afdække i hvilken grad succeskriterier under delmål 1 er indfriet, men det vil også være oplagt at afdække den del af delmål 3, som omhandler inddragelsen af foreningslivet i kommunen. Temaer som her kunne belyses: Udarbejdelse af sundhedspolitik Inddragelse af foreningsliv Udbytte af dialog med projektet Grad af erfaringsudveksling Giver aktiviteterne de unge større overskud til uddannelseseller erhvervsrettede tiltag (UU-vejledning og forvaltning) Ændringer i medarbejdertrivsel som følge af sundhedsfremmende tiltag for medarbejdere NIRAS Konsulenterne laver interviewguides med inputs fra projektledelse og gennemfører fokusgruppeinterviews. 3. Kommende gøremål Sidst på efteråret (ultimo oktober-november) gennemføres dataindsamling, der skal udgøre midtvejsevaluering af projektet. Fokusgrupper og interviews gennemføres på en dag af NIRAS Konsulenterne. Derudover skal det endeligt fastlægges i hvilken form vækstsamtalerne kan indgå i evalueringen. Såfremt der gennemføres op imod 100 samtaler, vil en kvantitativ dataindsamling være at foretrække, men alternativt vil erfaringer med denne aktivitet kunne afdækkes i fokusgrupper og interviews. Resultaterne fra dataindsamlingen fremlægges på et møde i Haderslev, hvor indsatsområder for anden halvdel af projektet også diskuteres.