Effektmåling i Integrationsministeriets puljestyring

Integrationsministeriet Effektmåling i Integrationsministeriets puljestyring Vejledning Oktober 2006 Rambøll Management Nørregade 7A DK-1165 København K Denmark Tlf: 3397 8200 www.ramboll-management.dk

Indholdsfortegnelse 1. Baggrund og læsevejledning 1 2. Formålet med effektmåling på puljeområdet 2 3. Fire centrale skridt i effektmåling 3 4. Formulering af præcise mål 4 4.1 Præcise mål for puljer og projekter er nødvendige for at kunne måle effekt 4 4.2 Kvalitetssikring af mål med SMART-metoden 4 5. Udarbejdelse af forandringsteori 8 5.1 Hvad er forandringsteori 8 5.2 Hvordan udarbejder man en forandringsteori 8 5.3 Beskriv de kritiske antagelser i forandringsteorien 10 5.4 Forandringsteorien er ansøgerens ansvar 10 5.5 Andre faktorer end projektet har betydning for, om effekten nås 10 5.6 Forandringsteori som strategisk redskab til målfastlæggelse og operationelt styringsredskab i implementering 11 6. Udvikling af indikatorer 13 6.1 Få præcise indikatorer på alle niveauer i forandringsteorien 13 6.2 Definition af en indikator 13 6.3 Forandringsteori som trafiklys: Et eksempel på hvordan skal vi reagere på forskellige udfald af indikatorer 14 6.4 At arbejde med indikatorer: Lette og svære indikatorer 14 6.5 Kvalitetssikring af indikatorer 16 7. Monitorering og dataindsamling 18 7.1 Monitoreringssystem til løbende og afsluttende måling 18 7.2 Hvordan måles effekt? 19 7.3 Valg af metode til effektmåling 21 7.4 Valg af metode til dataindsamling 22 Bilag 24 Eksempler på forandringsteorier 25 Eksempel til udarbejdelse af forandringsteori 29 Oversigt over metoder til dataindsamling 30 Eksempler på hvordan man måler bløde forhold 31 Skema til planlægning af evaluering Litteratur 33 35 I

1. Baggrund og læsevejledning I 2005 besluttede Integrationsministeriet, at puljeområdet skulle styres mere effektivt og med større fokus på effekt af bevillingerne. Ministeriet udarbejdede derfor en handlingsplan med henblik på at sikre en effektiv og strategisk styring af puljeområdet. Formålet med handlingsplanen er at få klare mål for alle puljer og sikre en systematisk evaluering. Ministeriet har desuden for at sikre ensartede retningslinjer for ministeriets puljeadministration udarbejdet en praktisk puljehåndbog med konkrete retningslinjer for god administration af ministeriets puljer og en tilskudsvejledning. Som et led i disse tiltag besluttede ministeriet desuden at starte et pilotprojekt i samarbejde med Rambøll Management, hvor fire støttede organisationer i 2006 forsøgte sig med effektmåling. Formålet med pilotprojektet var at opsamle erfaring med effektmåling blandt projektholdere. Nærværende vejledning er et praktisk redskab, der kan bruges som opslagsværk eller en trin-for-trin guide for to målgrupper: Ministeriets medarbejdere, der arbejder med at udmønte puljer. Vejledningen er tænkt som et supplement til ministeriets puljehåndbog og tilskudsvejledning. Projekter og ansøgere for at styrke deres arbejde med effektmåling. Projekternes effektmålinger skal således både sikre ministeriets viden om, hvad der virker, og anvendes til projekternes egen styring med fokus på effekt. Vejledningen er et første skridt i en proces med at gennemføre effektmåling i Integrationsministeriets puljeadministration. Den er tænkt som et levende instrument, der udvikles i takt med implementeringen af effektmåling i ministeriet. 1

2. Formålet med effektmåling på puljeområdet Puljeadministration og projektgennemførelse har hidtil været fokuseret på at opstille mål for, hvilke aktiviteter der ønskes gennemført og det omfang af ressourcer, der er nødvendige for at kunne gennemføre aktiviteterne. Puljer og projekter har været for lidt fokuserede på at opstille klare mål for indsatsen og præcise indikatorer for, hvordan succesfuld målopfyldelse kan dokumenteres. Ved at anvende effektmåling kan Integrationsministeriet sikre, at der skabes sammenhæng mellem aktiviteter i en pulje og de ønskede effekter for puljen. Tilsvarende kan Integrationsministeriet sikre, at støttede projekter opstiller klare mål for effekt og styrer efter at realisere disse. Fokus på effektmåling medfører altså, at målene for indsatsen bliver klare, og der etableres præcise mål for, hvad succes er for alle puljer og støttede projekter. Dermed bliver det også lettere at dokumentere effekterne af en pulje og et projekt, ligesom både puljer og projekter kan målrettes mod at opnå de opstillede mål. Effektmåling er altså også et redskab til at prioritere, hvilke typer projekter Integrationsministeriet skal støtte med henblik på at nå de overordnede mål for ministeriets puljer. Endvidere er effektmåling et redskab til at prioritere projekters fokus og indsats. Med effektmåling opnår både projekter og ministeriet altså en øget styringskapacitet, hvor projekter kan vurdere fremdrift og resultater, mens ministeriet kan vurdere fremdrift og resultater for puljerne. I ministeriet opbygges herved også en intern evalueringskapacitet, der giver mulighed for at opsamle gode erfaringer om, hvad der virker eller ikke virker. 2

3. Fire centrale skridt i effektmåling Opbygning af en effektiv effektmåling af puljer og projekter har fire centrale skridt. Disse skridt præsenteres nærmere i de følgende fire afsnit: 1. Formulering af præcise mål, som er styrende for indsatsen (afsnit 4) 2. Udarbejdelse af forandringsteori for, hvordan de tilstræbte effekter skal nås (afsnit 5) 3. Udvikling af præcise indikatorer for, hvad succesfuld målindfrielse er (afsnit 6) 4. Løbende monitorering med dataindsamling og vurdering af præstationer (afsnit 7). 3

4. Formulering af præcise mål 4.1 Præcise mål for puljer og projekter er nødvendige for at kunne måle effekt Formulering af mål, som er styrende for indsatsen, er en helt grundlæggende forudsætning for effektmåling. Der skal være klarhed over, hvad man ønsker at opnå med en indsats, hvad enten det er en pulje eller et projekt. Kun herved kan man definere den indsats, der skal lede til målopfyldelse og sikre, at effekten af indsatsen kan måles. Puljeniveau På det overordnede niveau har ministeriets puljeadministration formuleret præcise mål for puljerne. Herved sikres klarhed for puljeadministrationen over, hvilke projekter der bør prioriteres støttet. Med puljens succeskriterier klart defineret kan Integrationsministeriet foretage en systematisk vurdering af, hvorledes de enkelte projekter bidrager til programmets overordnede formål. Derved sikres det, at de projekter, som tildeles støtte, bidrager til at opfylde puljens mål og den politiske vision for området. Projektniveau På projektniveau stiller Integrationsministeriet krav om, at projekterne formulerer klare mål for deres effekt. Dette skaber klarhed for projekterne over, hvilke mål de bør efterstræbe, så disse passer ind i puljens formål. Når ministeriet vurderer ansøgninger, er det diskvalificerende for ansøger, hvis der ikke er klare mål for projektet. 4.2 Kvalitetssikring af mål med SMART-metoden En metode til at sikre sig, at målene er klare, er SMART-sikring af mål. SMART betyder: Specifikke Målbare Accepterede Realistiske Tidsafgrænsede Specifikke Målsætningen skal være konkret og utvetydigt formuleret, fokuseret og klart defineret. Specifik betyder også, at målsætningen eller målet skal være ligefremt, handlingsorienteret og klart udtrykke det forventede mål. Hvem-, hvad-, hvornår-, hvorfor- og hvordan-spørgsmål kan hjælpe til at afklare, om et mål er tilstrækkeligt specifikt. Hvem skal gennemføre målet? Hvordan skal det gennemføres? Hvorfor er det vigtigt? Endvidere kan det være hjælpsomt at afklare, om målet er beskrevet med handlingsorienterede verber, om det er klart, hvem der er involveret, og om det er klart, hvad der skal ske. 4

Eksempel: En målsætning om, at det skal være sjovt at læse, er ikke specifik. Her står det ikke klart, hvem der skal synes det er sjovt at læse, og hvad der skal ske. Et eksempel på et specifikt mål er: I læseundervisningen skal børnene tilføres motivation for at læse, der medfører, at alle børnene deltager aktivt og engageret i undervisningen med svar og diskussionslyst på basis af færdiggjorte lektier. Målbare Et mål skal kunne måles. Det kræver, at målemetoden er klar. Man kan eksempelvis stille tjekspørgsmålet: Hvordan kan jeg vide, om ændringen er indtrådt? Endvidere skal det stå klart, om denne måling kan gennemføres. Eksempel: En målsætning om, at målgruppen skal blive gode læsere, er ikke målbar, da vi ikke kan vide, hvornår eller om ændringen indtræder (hvordan defineres det at være en god læser?). En målsætning om, at målgruppen skal kunne læse lige så godt som en defineret sammenlignelig gruppe (evt. korrigeret for social baggrund), er derimod målbart. Accepterede Mål skal være accepterede af relevante interessenter. Hvis centrale målgrupper eller interessenter for målopfyldelse er uenige i målene og deres relevans, vil det være vanskeligt at opnå målene og måle fornuftigt på fremdriften undervejs. Parter, der skal acceptere målene, er vigtige aktører, for at målopfyldelse kan sikres. Det kan være projektlederen, projektmedarbejdere, samarbejdspartnere, forandringsagenter (for eksempel frontmedarbejdere som lærere, socialrådgivere, sygeplejersker). For at tjekke om et mål er accepteret, kan man eksempelvis stille spørgsmål som: Er der enighed om, at det er et godt mål for, hvad der vil blive opfattet som en succes? Er der væsentlige interessegrupper, der vil modarbejde mål opfyldelse? Er der væsentlige interessegrupper, der vil modarbejde måling af fremdrift, fordi de er uenige i målene? Målet skal være accepteret af både projektets medarbejdere og dets samarbejdspartnere. Eksempler på samarbejdspartnere er: De aktører, der henviser deltagere til projektet (for eksempel socialrådgivere, lærere, SSP-medarbejdere) Virksomheder, som skal stille praktikpladser, jobtræningspladser og job til rådighed for projektets deltagere Samarbejdspartnere som uddannelsesinstitutioner, SSP, sundhedssektoren, politiet m.fl. Frontpersonale som lærere, socialrådgivere, pædagoger, jobvejledere, sygeplejersker m.fl. 5

Realistiske Mål, der er accepterede, er ikke nødvendigvis realistiske. Realistisk betyder ikke, at det skal være nemt, men at man skal have ressourcerne til rådighed for at kunne opnå dem, som for eksempel evner, penge, udstyr til at udføre opgaven, der er nødvendige for at nå målet. Man kan stille sig selv følgende spørgsmål for at konstatere, om målet er realistisk: Er de nødvendige ressourcer til stede? Er det muligt at opnå dette mål inden for den angivne tidsramme? Er der en klar og logisk sammenhæng mellem mål og midler? Er der en god, gennemtænkt implementeringsplan? Er der sammenhæng mellem budget og projektplan? Tidsafgrænsede Tidsafgrænsning betyder, at der skal være en tidsfrist for, hvornår målet skal nås. Tidsfristen skal være både opnåelig og realistisk. Hvis ikke målet indeholder en tidsfrist, ved vi ikke, hvornår vi skal måle, om det er nået. Følgende spørgsmål kan afklare om målet er tidsafgrænset: Hvornår vil målet være opnået? Er der angivet en tidsfrist? Eksempel: Senest i 2010 skal 75 % af alle børn på skolen med anden etnisk herkomst end dansk have danskkundskaber på et niveau, hvor de opnår mindst 8 i gennemsnit af skriftlig og mundtlig dansk eksaminerne i folkeskolens afgangsprøve efter 9. klasse. Det er ikke nødvendigt, at alle kravene er opfyldt, men jo flere krav der er opfyldt, jo nemmere bliver det at arbejde med målsætningen. SMARTe mål nogle gode råd Målene skal passe ind i puljens overordnede mål Husk, at SMART sikrer dine mål så kan du senere måle på dem Udvælg et overordnet mål og nogle delmål, der siger noget om, hvordan du når frem til det overordnede mål Målsætninger, der er tilstrækkeligt klare, indeholder ikke særlige nødudgange som for eksempel: o i den udstrækning det er muligt o i fornødent omfang o det undersøges for tiden, om der er mulighed for o effekten af indsatsen kan ikke måles direkte Vær opmærksom på, hvilken type mål eller målsætninger der arbejdes med. Helt overordnede, politiske mål må gerne være blødt formulerede og visionsprægede (for eksempel bedre integration, bedre sameksistens, højere livskvalitet). Men der bør samtidig være præcise mål, der beskriver de tilstræbte langsigtede effekter i en målbar form. 6

Puljeniveau Effekt kan defineres som en ændring af målgruppens situation som følge af projektet (interventionen). Fastlæggelse af succeskriterierne eller målsætningerne for en pulje er vigtigt for at kunne vurdere, hvilke projekter der skal bevilges støtte. Med puljens succeskriterier klart defineret kan Integrationsministeriet foretage en systematisk vurdering af, hvorledes de enkelte projekter bidrager til programmets overordnede formål. Derved sikres det, at de projekter, som tildeles støtte, bidrager til at opfylde puljens mål og den politiske vision for området. 7

5. Udarbejdelse af forandringsteori 5.1 Hvad er forandringsteori Forandringsteori er en teori om, hvordan den tilstræbte forandring for målgruppen skal nås. Forandringsteori betyder, at man opstiller en teori for eller en metode til, hvordan man opnår den ønskede forandring. Det vil sige, at hvis en bestemt forandring eller effekt af en indsats ønskes, opstilles der en teori for, hvordan puljen eller projektet kan nå denne forandring. Forandringsteorien er altså en måde at opstille en årsag-virkning-kæde for, hvordan et mål nås, hvilke resultater der kræves, hvilke aktiviteter skal der til for at opnå resultaterne, og hvilke ressourcer disse aktiviteter kræver. Andre ord for forandringsteori er programteori eller interventionslogik. 5.2 Hvordan udarbejder man en forandringsteori Når man skal udarbejde en forandringsteori, er det en god idé at tage udgangspunkt i en problemformulering. Man skal altså forsøge at ridse det problem op, som man ønsker at løse gennem projektet. Eksempel: Mange flygtninge- og indvandrerbørn er ringere stillet end danske børn, når det gælder muligheden for i trygge rammer at få hjælp til at lave lektier, og børnene har derfor ikke samme muligheder som danske børn for at søge ind på en ungdomsuddannelse, og der er dermed en øget risiko for, at de får et lavere uddannelsesniveau end danske børn. Når man har gjort klart, hvad det er for et problem, man ønsker at løse igennem projektet, arbejder man sig baglæns gennem en årsag-virkningkæde. Først definerer man det resultat eller den effekt, man vil opnå med projektet på langt sigt for at kunne løse problemet. I eksemplet ovenfor vil det langsigtede mål være at mindske frafaldet blandt etniske minoriteter på ungdomsuddannelserne. Ideen er, at man ved at begynde med at definere de langsigtede mål og dernæst de mål, der skal nås i stadig mere konkret form, sikrer fokus på effekter. Normalt når man stater en planlægningsproces, starter man typisk med de ressourcer, man har til rådighed, og de aktiviteter, man gerne vil gennemføre. Det betyder, at man ofte kommer til at gentage allerede afprøvede metoder og tilgange, eller at man blot kopierer sidste års budgetter og aktiviteter. Arbejdet med at udarbejde en forandringsteori med udgangspunkt i effekt er illustreret i nedenstående figur med et eksempel om en indsats for at få flere unge af anden etnisk baggrund end dansk integreret på arbejdsmarkedet. Forandringsteorien er overordnet, at arbejdsmarkedsintegration kan sikres ved, at flere unge i målgruppen får job inden for områder, de traditionelt ikke er i beskæftigelse i. Problem: Unge med anden etnisk baggrund end dansk er ikke i tilstrækkeligt omfang integreret på arbejdsmarkedet. På grund af manglende viden om alle dele af arbejdsmarkedet har mange en tendens til at begrænse deres beskæftigelses- og uddannelsesvalg til for få brancher. 8

Effekter Input Aktiviteter Output Resultater - umiddelbare Virkninger - mellemlangt sigt Virkninger - langt sigt DKK Human kapital Vejlede unge og forældre Antal unge og forældre med mere viden om arbejdsmarked (uddannelse og vilkår og muligheder) Antal unge søger uddannelse inden for nye områder Antal unge får uddannelse inden for nye områder Antal unge får job inden for nye områder Flere integreres på arbejdsmarkedet Større livskvalitet Forklaring af figuren skridt for skridt Virkninger på langt sigt: Som det fremgår, er det langsigtede mål at få flere unge i målgruppen i arbejde (for at opnå de mere politiske visioner om større livskvalitet og integration). Hjælpespørgsmål: Hvad er det for et resultat eller mål, vi skal opnå på langt sigt for at løse det opstillede problem? Virkninger på mellemlangt sigt: For at opnå det langsigtede mål er det forandringsteoriens idé, at de unge i målgruppen skal sluses over i nye jobområder end dem, hvor de primært er i dag. Hertil kræves, at de får en uddannelse, der kvalificerer til disse nye jobområder. Hjælpespørgsmål: Hvilke delmål skal vi nå, som vil føre til, at vi når det langsigtede mål? Umiddelbare resultater: For at nå dette mellemlange mål skal et større antal unge motiveres til og faktisk søge sådanne uddannelser, som mange ikke i dag søger. Hjælpespørgsmål: Hvad skal der til for at opnå det mellemlange mål? Hvad skal det umiddelbare produkt af aktiviteterne føre til? Output: Et påkrævet output er således, at de unge og deres forældre vejledes om indhold og muligheder i denne type for målgruppen utraditionelle uddannelser. Hjælpespørgsmål: Hvilket output kræves, førend de umiddelbare resultater kan opnås? Hvad skal der direkte komme ud af aktiviteterne? Hvad sker der umiddelbart, når vores aktiviteter slutter? Hvem kan mere end før aktiviteterne? Aktiviteter: Såfremt et sådant output er målet, skal der gennemføres aktiviteter, der sikrer dette output: Vejledning af unge og deres forældre i en form og et rum, der har et sandsynligt udkomme som ønsket. 9

Hjælpespørgsmål: Hvilke aktiviteter skal projektet gennemføre for at få det ønskede output, der er nødvendigt for at opnå de ønskede resultater? Ressourcer: Nu kan nødvendige ressourcer fastlægges. Hvilke ressourcer skal der til for at gennemføre de relevante aktiviteter? Penge? Antal medarbejdere? Deres uddannelse? Projektstørrelse? Se flere eksempler på forandringsteorier i bilagene, se afsnit 0. 5.3 Beskriv de kritiske antagelser i forandringsteorien Det er vigtigt, at forandringsteorien er gennemarbejdet. For at sikre sig dette skal man kunne beskrive de kritiske antagelser i teorien mellem aktivitetresultat-virkning-kæderne ved hjælp af hvis så... fordi -sætninger: Eksempel: Hvis vi iværksætter denne aktivitet, så initieres denne effekt, fordi målgruppen påvirkes sådan og sådan. 5.4 Forandringsteorien er ansøgerens ansvar Når projekter i deres ansøgning eller som led i et tilsagn om støtte skal defi- ansøgeren, der skal kunne godtgøre forandringsteorien. Integrationsministe- riet har ansvaret for at opstille forandringsteorier på puljeniveau og opstille nere deres mål og opstille en forandringsteori, er det vigtigt at være opmærksom på, at det er ansøgeren, der har ekspertviden, og det er derfor klare succeskriterier. 5.5 Andre faktorer end projektet har betydning for, om effekten nås Når man udvikler en forandringsteori, findes der ofte ikke simple årsagvirkning-kæder. Mange faktorer spiller ind på, om målet i sidste ende kan nås. Det må ikke afholde os fra at måle effekt. Forandringsteorien kan medvirke til at skabe bevidsthed om, hvad et projekt eller en pulje er en del af, hvilke processer og relationer de er en del af, og hvilken rolle de skal udfylde, for at det samlede mål nås. En vigtig del af en forandringsteori er således at etablere bevidsthed om, hvilke andre aktører og organisationer der har stor betydning som mellemkommende variable for, om effekten opnås via projektet. En god forandringsteori søger at inddrage de andre faktorer, som har betyd- kan være et vigtigt succeskriterium for projektet, at der etableres effektivt ning for, om målet nås, for eksempel faktorer som påvirkes af andre personer, som familie, lærere, virksomheder, eller fra udviklingstendenser, som beskæftigelse og ledighed. Pointen er, at projektet naturligvis skal søge at samarbejde eller skabe synergi med sådanne andre faktorer, der også har betydning for den effekt, som projektet gerne vil skabe for målgruppen. Det samarbejde og synergi. Det kan derfor være en god idé at opstille mål for, om projektet faktisk får etableret et sådant samarbejde eller en sådan synergi. Om projektet forholder sig til og aktivt understøtter, at der skabes en sådan synergi. 10

5.6 Forandringsteori som strategisk redskab til målfastlæggelse og operationelt styringsredskab i implementeringen Forandringsteori kan bruges til to vigtige indsatser: 1) Som et strategisk redskab til at præcisere mål og den årsag-virkning-kæde, der skal etableres for at nå målene. 2) Som et operationelt styringsredskab i implementeringen af indsatsen (styring af en pulje eller styring et projekt). Dette er illustreret i figuren nedenfor. Vi starter i højre side af figuren, der illustrerer et givet projekts forandringsteori fra effekter til ressourcer. Læst nederst fra højre kan figuren anvendes til at gennemgå projektets foran- anførte spørgsmål som dringsteori for, om der er tilstrækkeligt fokus på effekt, og om forandringsteorien hænger sammen. Man kan så at sige arbejde sig opad ved at stille de tjekliste. Venstre side af figuren tager derimod udgangspunkt i projektets ressourcer. Læst øverst fra venstre kan figuren anvendes til at sætte fokus på projektets gennemførelse, om det er på rette spor, og om de tilstræbte mål i hvert led i forandringsteorien nås. På den måde er figuren et støtteredskab til at gennemføre en løbende selvevaluering eller milepælsstyring. Med de anførte spørgsmål som tjekliste kan man som puljeadministrator eller projektholder tjekke, om man opnår de opstillede mål i hvert led: bruger vi vores ressourcer som planlagt? har vi afholdt de planlagte aktiviteter? har vi nået de planlagte output? har vi nået de tilstræbte resultater? har vi nået de tilstræbte effekter? Desuden ka n man spørge sig selv, om man udnytter sine ressourcer tilstrækkeligt effektivt: er forandringsteorien effektiv? er projektet effektivt organiseret? kunne vi få noget mere ud af ressourcerne? 11

Udgangspunkt i projektets ressourcer Ressourcer Hvilke ressourcer har vi til rådighed? Ressourcer Bruger vi de ressourcer, vi har? Udgangspunkt i projektets effekter Er det realistisk, at de planlagte ressourcer er tilstrækkelige til at gennemføre de ønskede aktiviteter? Kunne vi få flere eller bedre aktiviteter for de samme ressourcer? Får vi afholdt de planlagte aktiviteter? Aktivitet Er det realistisk, at de planlagte aktiviteter vil føre til de ønskede output? Kunne vi få flere eller bedre output på baggrund af de samme aktiviteter? Er målgruppen fx tilfreds? Motiveret? Parat? Output Er det realistisk, at de planlagte output vil føre til de ønskede resultater? Kunne vi få bedre resultater på kort sigt? Bruger fagfolk fx de redskaber, de har lært? Sker der en adfærdsændring i målgruppen? Resultat Er det realistisk, at de planlagte resultater fil føre til de ønskede effekter? Kunne vi få bedre effekter på langt sigt? Skaber vi den forandring, vi gerne vil? Effekt Løser de planlagte effekter problemet identificeret i forandringsteorien? Gode råd til forandringsteori: Start med en problemformulering Opstil derefter et præcist mål for effekt for målgruppen hvad er det vi på langt sigt vil skabe for målgruppen? Arbejd dig baglæns i årsag-virkning-kæden Kvalitetstjek forandringsteorien: beskriv de kritiske antagelser: Hvis vi gør sådan så fører det til sådan, fordi indsats x vil få person y til at reagere sådan og sådan 12

6. Udvikling af indikatorer 6.1 Få præcise indikatorer på alle niveauer i forandringsteorien Når forandringsteorien er udarbejdet, skal der udvikles præcise indikatorer for, hvad succesfuld målopfyldelse er. Det er en forudsætning for at kunne måle og evaluere en pulje eller et projekt, at man har opstillet præcise indikatorer, der viser om målene er nået. Indikatorer er et arbejdsredskab til at måle projektets effekt undervejs, såvel som når projektet er gennemført: Om projektet undervejs har en succesfuld fremdrift Om projektet til slut har opnået de opstillede mål. Sådanne indikatorer skal udvikles på alle niveauer i forandringsteorien. Det vil sige både for de effekter og virkninger, man gerne vil opnå, og for de processer, der som årsag-virkning-kæde skal føre frem til effekterne. Man bør ikke have for mange indikatorer, da det så bliver meget komplekst at måle puljens eller projektets fremdrift og succes. Udvælg derfor de vigtigste ca. fem indikatorer. Men der bør være mindst én indikator på hvert niveau for at kunne følge fremdrift og målopfyldelse i kæden som en helhed. 6.2 Definition af en indikator En indikator er en kvantitativ måleenhed som indikerer, hvorvidt de forventede aktiviteter er gennemført. En god indikator angiver en kvantitativ størrelse for, hvad målet er, der bør nås. For eksempel: Antal deltagere der bør gennemføre en aktivitet Antal aktiviteter der bør gennemføres Antal deltagere der er tilfredse eller motiverede for en given handling Antal deltagere der bruger de tillærte redskaber Antal i målgruppen der skal komme i uddannelse, blive mere tolerante, mv. 13

I nedenstående figur gengives eksempler på indikatorer, som kunne anvendes for lektiehjælpscaféer: Input Output Resultater Virkninger Frivillige Frivilligkonsulenter Sekretariatsbistand Økonomi (resultatkontrakt) 5.000 børn og unge kommer regelmæssigt i lektiehjælpscafé 5.000 børn og unge får lektiehjælp 4.000 børn og unge får lavet deres lektier 4.000 børn og unge får mere selvtillid 4.000 børn og unge får større motivation til at gå i skole 4.000 børn og unge deltager mere aktivt i timerne 3.000 børn og unge får mere viden om ungdomsuddannelse 3.000 børn og unge bliver mere motiverede for at søge ind på ungdomsuddannelse -------------- 2.000 af disse gennemfører ungdomsuddannelse 6.3 Forandringsteori som trafiklys: Et eksempel på hvordan skal vi reagere på forskellige udfald af indikatorer Forandringsteoriens kæde af årsag-virkning fra et led til det næste kan således indikere, om puljen eller projektet er på rette spor. Hvis man betragter succes eller mangel på succes som et trafiklys: Rød lys: Indikator viser manglende målopfyldelse Gul lys: Indikator viser risiko for manglende målopfyldelse mål ikke helt nået, eller usikkerhed om mål er nået Grønt lyst: Indikator viser målopfyldelse Når man arbejder med selvevaluering eller milepælsstyring af puljer eller projekter, kan man bruge indikatorerne som trafiklyset. Den grønne farve skal gerne komme fra venstre mod højre i forandringsteorien, da det jo er en årsag-virkning-kæde, der sættes i gang. Der skal altså skabes succes først i aktiviteter og output, dernæst i resultater og effekter. Man kan tjekke sin forandringsteori ud fra målinger: Er den rigtig? Er der den sammenhæng mellem årsag og virkning, som var planen? Er vi på rette spor? 6.4 At arbejde med indikatorer: Lette og svære indikatorer Indikatorer på output-niveau vil ofte være relativt nemme at udvikle, fordi det ofte er mere simple optællinger af, hvor mange deltagere der har været i en bestemt aktivitet, om deltagere er tilfredse mv. Se eksempelvis afsnit 6.2 Indikatorer på resultatniveau kan være svære at udvikle. Det kan være en hjælp at tænke i, at resultatindikatorer ofte vil være om adfærdsændringer 14

hos målgruppen af slutbrugere eller hos forandringsagenter, der skal medvirke til at skabe effekt (det kan for eksempel være socialarbejdere, undervisere, mentorer, ressourcepersoner osv.). Indikatorer på effektniveau er ofte vanskelige at udvikle, fordi de handler om mere langsigtede effekter, som puljen eller projektet ikke alene har en direkte én-til-én indvirkning på en række andre faktorer vil også have betydning for, om den tilstræbte effekt nås. Ligeledes kan overvejelser om vanskeligheden af at indsamle data til belysning af indikatoren, besværliggør arbejdet. I arbejdet med at udvikle indikatorer for effekt kan det derfor være givtigt at skelne mellem: 1. Den effekt vi gerne vil opnå 2. Hvordan effekten skal tilvejebringes 3. Den måde vi kan måle om effekten er nået 1: Start med at udvikle en indikator for den effekt, vi gerne vil opnå. Undgå her at blive farvet af, hvor effekten skal komme fra, og hvordan den skal måles. 2: Når indikatoren er udviklet, kan vi dernæst overveje, hvordan effekten skal tilvejebringes. Her handler det om at få sat indikatorer på forandringsteoriens årsag-virkning-kæde, så vi kan måle, om der sker succesfuld målopfyldelse i alle led i kæden. Hvis det som oftest viser sig, at projektet ikke er den eneste drivkraft for at målet nås hvilket forhåbentlig så er afspejlet i forandringsteorien kan vi forsøge at indtænke en indikator for at måle, om de øvrige betydende aktører aktiveres som medspillere i projektet. 3: Herefter kan vi overveje, hvordan vi kan indsamle data, der kan belyse indikatoren. Findes eksisterende data i organisationen, der kan bruges? Skal vi få ansatte eller samarbejdspartnere til at registrere relevant information? Hvordan sikrer vi i givet fald, at data tilgår os? Skal vi bruge spørgeskema? Eller andet? Hvis det viser sig umuligt at indsamle data for den opstillede indikator, må vi starte forfra med at udvikle det, der vil være den næstbedste indikator for at måle, om den tilstræbte effekt er nået. Nogle effekter er dog lette at operationalisere, for eksempel beskæftigelseseffekt for målgruppen. Her handler det jo om at måle, om målgruppen er kommet i beskæftigelse. Andre effekter kan være vanskelige at måle, for eksempel større livskvalitet, bedre integration osv. I bilag er der eksempler fra pilotprojekterne på, hvordan sådanne mere bløde mål kan operationaliseres og gøres målbare. 15

6.5 Kvalitetssikring af indikatorer Det er vigtigt at kvalitetstjekke sine indikatorer. En metode til dette kaldes RACER: Relevans Accepterede Credible på dansk: troværdig Easy på dansk: let Robust Relevans: Er indikatoren relevant for projektets mål? Dvs. er der overensstemmelse mellem indikatoren og projektets mål? Accepterede: Er indikatoren almindelig accepteret af medarbejdere, andre, der skal arbejde med den? Credible troværdig: Hvor troværdig er indikatoren for ikke-eksperter, er den entydig og let at fortolke? Easy let: Er indikatoren let at indsamle data på, står omkostningerne ved dataindsamlingen mål med værdien af data? Robust: Kan indikatoren blive manipuleret med, misbrugt? En god indikator bør score højt på alle parametre, men det vil også ind imellem være nødvendigt at gå på kompromis med en eller flere parametre. I en vurdering af hvilke indikatorer man skal bruge, kan man give de indikatorer, man overvejer, point. Denne metode er illustreret i figuren nedenfor, hvor hver indikator gives point fra 1-3, hvorfor den samlede maksimale score er 15 point. Indikator Indikator Rele- Accep- Tro- Let Robust Samlet type vant teret værdig vurdering Virkning Resultat Output Andel der er kommet i ordinær uddannelse Andelen af kvinder der har brugt netværket til at søge job Antal uddannede mentorer 3 2 2 3 2 12 ud af 3 3 3 1 3 13 ud af 3 3 3 3 3 15 ud af 15 15 15 16

Gode råd når du arbejder med indikatorer: Udarbejd præcise indikatorer for, hvad succesfuld målopfyldelse er RACER sikrer dine indikatorer Der skal være indikatorer på alle niveauer i forandringsteorien, dvs. for både aktiviteter, output, umiddelbare resultater, virkninger på mellemlangt og på langt sigt Lav ikke for mange, men udvælg de vigtigste ellers bliver det for komplekst at indsamle og bearbejde data. 17

7. Monitorering og dataindsamling 7.1 Monitoreringssystem til løbende og afsluttende måling Måling af indsatsen i puljer og projekter bør etableres som et monitoreringssystem, der sikrer løbende dataindsamling, som kan danne grundlag for en overvågning af fremdriften og på baggrund heraf en vurdering af præstationer. Måling på de udvalgte indikatorer kan altså foretages løbende med nogle nedslag, for eksempel hvert halve år eller i en milepælsstyring hver gang en ny milepæl i projektet er rundet. Der skal naturligvis også foretages en samlet afsluttende måling ved afslutning af puljen eller projektet. Et monitoreringssystem skal altså tilvejebringe løbende viden om fremdriften samt etablere viden til en afsluttende evaluering. Husk, at målingerne skal foretages med samme spørgsmål og svarkategorier hver gang, så det sikres, at data er sammenlignelige. I nogle tilfælde vil der endvidere blive iværksat en ekstern evaluering af puljen eller projektet. Det vil typisk være relevant for følgende projekter: Bevillingsmæssigt store projekter Et krav i forbindelse med satspuljeforhandlingerne Politisk strategisk vigtigt projekt Projekt med stort læringspotentiale/metodeudvikling. Et monitoreringssystem skal opsamle data om de indikatorer, der er blevet udvalgt. Det kan for eksempel ske i et regneark i Excel, en database i Access for at nævne to af de mest populære eller det kan ske i et andet program. Figuren herunder illustrerer, hvordan man på en simpel måde kan opstille og afrapportere sine indikatorer, baseline-måling og effektmålinger Baseline/før- Tema Indikator Måling 1 Måling 2 måling Effekt/resultat Output Aktiviteter Ressourcer Indikatorerne skrives ind i anden kolonne (Indikator) for de forskellige led i forandringsteorien. Skriv tal/målinger for situationen ved projektets start (baseline). Udfyld resultaterne for målinger undervejs og i og ved afslutningen af projektet (måling 1 og måling 2 og evt. flere målinger). 18

7.2 Hvordan måles effekt? Effekt kan defineres som en ændring af en situation som følge af en intervention (som en pulje eller et projekt iværksætter). Som angivet i denne vejledning, er det vigtigt at skelne mellem effekter på forskellige niveauer: Umiddelbare resultater kan være motivation, parathed, kvalificering altså det der kommer ud af et konkret output (deltagelse i en aktivitet, tilfredshed med en aktivitet, viden erhvervet fra en aktivitet). Umiddelbare resultater kan også være hos forandringsagenter eller samarbejdspartnere, der skal medvirke til at den egentlige målgruppe opnår en adfærdsændring og en ændret livssituation. Forandringsagenter kan være professionelle og frontmedarbejdere (for eksempel undervisere, socialarbejdere, pædagoger, læger, mentorer osv.). Effekter på mellemlangt sigt er ofte ændring af målgruppes adfærd. Mere langsigtede virkninger er ofte ændring af målgruppes situation. Når man skal måle effekt, er det vigtigt at være opmærksom på, hvad der har betydning for effekt. Den indsats man sætter i værk har naturligvis betydning for effekt. Men det har også den udvælgelse, man foretager af deltagere. Ligeledes har andre faktorer en betydning for effekt. Dette er illustreret i nedenstående figur, der er en effektmodel for en analyse af effekten ved kost- og efterskoler i anbringelsesindsatsen anvendt af Rambøll Management: Udvælgelse af deltagerne Kommunens organisering, procedurer, godkendelse, aftaler, visitation Elevens motivation/parathed Elevens viden om foranstaltning Eksterne forhold der indvirker på effekt BASELINE Karakteristika ved den unge Karakteristika i den unges nærmiljø Indsat Metode Aktiviteter Arbejde m. kvalitetsudvikling Samarbejde mellem leverandør og myndighed EFFEKT Den unges nye situation 19

Figuren illustrerer, at der er en udgangssituation (baseline), herefter sker der en indsats, der så fører til en effekt. To forhold kan påvirke effekten: 1) Den udvælgelse af deltagere til projektet, der finder sted. Hvis de udvalgte deltagere ikke er inden for målgruppen, kan det forstyrre effekten i positiv eller negativ retning. Der kan for eksempel ske creaming at skumme fløden. Det betyder, at projektet får de bedste personer, hvor det er nemmest at skabe effekt. En effektmåling får altså formentlig bedre resultater, end hvis deltagerne havde været mere repræsentative for den samlede målgruppe. Omvendt kan projektet også få visiteret personer med ringere forudsætninger end tiltænkt, hvilket kan skabe dårligere effekt, end hvis deltagerne havde været mere repræsentative for den samlede målgruppe. 2) Eksterne forhold kan påvirke den effekt, der kommer ud af projektet. Det kan for eksempel være udviklingen i beskæftigelsen. Hvis der er vækst i økonomien og skabes mange nye job, kan et beskæftigelsesprojekt have medvind, der øger chancen for, at deltagerne får et job. I måling af effekt skal man være opmærksom på, hvad der er reel effekt, der kan tilskrives den intervention, man har iværksat for eksempel en pulje eller et projekt. Udfordringen er illustreret i nedenstående figur. På den lodrette X-akse angives effekt. På den vandrette Y-akse angives tid. Den fuldt optrukne streg, der stiger støt gennem hele tidsforløbet, illustrerer, hvordan udviklingen for en målgruppe har været uden en intervention. Den anden fuldt optrukne linje med et knæk og en højere stigning illustrerer, hvordan udviklingen for en målgruppe har været med en intervention. Hvis vi bare målte effekten ved at opgøre forskellen mellem det niveau, der er med og uden interventionen (fra E1 til E3), ville vi komme til at tælle for meget effekt med. Vi skal nemlig fraregne den udvikling, der også uden interventionen alligevel ville have fundet sted (den fuldt optrukne linje med støt stigning gennem hele tidsforløbet) (fra E1 til E2). Effekt E 3 E 2 EFFEKT kvinder kommet i beskæftigelse pga. af projektet E 1 T 1 T 2 Tid 20

Et eksempel: Vi skal måle effekten af et projekt med det formål at bringe kvinder af anden etnisk baggrund end dansk i arbejde. Vi skal så opgøre antal kvinder i målgruppen, der ved projektets start er i job, og sammenligne det med antal kvinder i målgruppen, der ved projektets afslutning er i job. Men vi kan ikke tillade os uden videre at opgøre antal kvinder, der er kommet i job, som effekten af projektet (forskellen mellem E1 og E3 i figuren). Vi skal forsøge at korrigere for, at et antal kvinder i målgruppen formentlig ville have fundet et job, også selv om de ikke havde deltaget i projektet. Vi skal altså prøve at identificere, hvordan det normalt ville have gået for målgruppen (den støt stigende linje i figuren) og fraregne dette tal (forskellen mellem E1 og E2 i figuren). Først herefter kan vi fastslå effekten af projektet (forskellen mellem E2 og E3). Det er svært at opgøre effekt med korrektioner som i ovenstående eksempel. Effektmåling i konkrete projekter vil ofte ikke være store forskningsprojekter, men det kan være relevant at gøre sig nogle overvejelser som her. Prøv for eksempel at læse undersøgelser om lignende projekter, og hvordan man her har arbejdet med at forstå effekt Eller prøv at få tal for udviklingstendenser fra Danmarks Statistik eller anden kilde, som projektets effekter kan sammenlignes med. 7.3 Valg af metode til effektmåling Når vi skal vælge metode til at måle effekt, kan vi vælge mellem disse typer af metoder: Før-/eftermåling, hvor man både måler udgangs- og eftersituationen Kontrolgruppedesign i kombination med simpel eftermåling eller før-/eftermåling, hvor man sammenligner udviklingen hos målgruppen med en tilsvarende gruppe, der ikke har været udsat for interventionen Simpel eftermåling, hvor man kun måler efter eller ved afslutningen af interventionen. Den anden metode, kontrolgruppedesign, er den bedste, fordi man får nogle klare data om effekter. Men den er meget vanskelig at gennemføre, da det kræver, at man har to grupper personer, der er fuldstændig ens, og som kun er forskellige ved det, at den ene gruppe udsættes for interventionen, mens den anden ikke gør. Man bruger kontrolgruppedesign i sundhedssektoren, når man skal afprøve et nyt præparat og måle dets effekt. Problemet med simpel eftermåling er, at man her ved projektets afslutning skal rekonstruere udgangssituationen. Her kan vurderingen påvirkes af manglende hukommelse, et ønske om at gøre tingene dårligere, end de var (og dermed effekten bedre end den reelt har været), efterrationaliseringer om, hvorfor det er gået som det er osv. 21

Det kan i særlige tilfælde være nødvendigt at benytte eftermåling. Men det anbefales så vidt muligt at etablere en førmåling, der kan fungere som en baseline, som man kan sammenligne med. Før-/eftermåling er den bedste, fordi vi her etablerer data ved projektets start, hvorved en sammenligning med data ved projektets afslutning (og ved nedslag undervejs) bliver mest valid. 7.4 Valg af metode til dataindsamling Når vi skal vælge metode til dataindsamling, kan vi vælge mellem kvantitativ eller kvalitativ metode: Kvantitativ metode er baseret på tal og store grupper af observationer (mange deltagere spørges) Kvalitativ metode fokuserer på indhold og dybde. Det kan være at bruge interview til at afdække respondenters forståelse af en situation, deres rationale for at handle, som de gør. Kvantitativ metode er oftest mest velegnet til at måle effekt, da effekt oftest handler om at opgøre effekten for mange personer. Hvor effektmålingen er fokuseret på meget kvalitative mål for få personer, kan det give mening at anvende kvalitativ metode, hvor man interviewer deltagerne om for eksempel deres holdninger og rationaler for adfærd, selvtillid eller andet. Men i det øjeblik effektmålingen handler om at identificere sådanne mere bløde effekter for mange personer, skal der benyttes kvantitativ metode. Det skyldes, at den kvalitative metode med for eksempel få interviews ikke vil være tilstrækkeligt dækkende for hele målgruppen til, at vi kan bruge den til at sige noget om effekten for de mange. Kvantitativ metode har således sin styrke i at kortlægge fænomeners udbredelse at sige noget om effekter for de mange. Kvalitativ metode har sin styrke i at sige noget tilbundsgående om nogle få forstå rationaler, holdninger, adfærd, sammenhænge. Kvantitativ og kvalitativ metode kan naturligvis benyttes i et frugtbart samspil, hvor man både kortlægger og forsøger at forstå ved at fordybe sig sammen med nogle personer. Metoder til dataindsamling kan være: Registerdata: Danmarks Statistik har en masse statistik om befolkningens beskæftigelse, uddannelse, benyttelse af læge, kriminalitet osv. Danmarks Statistiks registre opdateres ofte kun en gang årligt og har derfor en ret stor forsinkelse. Desuden kræves der cpr. nr. for målgruppen for at kunne få data ud. DREAM er et register, der har gode informationer om beskæftigelsesstatus. E-løn er et nyt register, der i de 22

kommende år vil kunne give data om beskæftigelsesstatus. Kommuner, uddannelsesinstitutioner mv. har også data. For at anvende disse data vil det oftest kræve, at myndigheden, der har data, er aktiv deltager i projektet. Spørgeskemaundersøgelser kan for eksempel gennemføres med: Brugere Professionelle Pårørende Samarbejdspartnere (fx virksomheder) Interview: Personlige interview Telefoninterview Mail-interview / chat Fokusgrupper Logbog målgruppen skriver ned med jævne mellemrum om hvad de gør, hvilke overvejelser de gør sig, hvorfor de gør som de gør, hvad der bekymrer dem osv. Erfaringerne fra de fire pilotprojekter i 2006 viser, at det er meget vigtigt, at især dataindsamlingen er så simpel som muligt. Det er et stort arbejde at indsamle data, når man ikke er øvet i det og har apparatet til det. Ligeledes er det et stort arbejde at bearbejde og analysere data, når man ikke har apparatet til det. Pilotprojekterne viser endvidere, at for organisationer, der anvender meget frivillig arbejdskraft, kan det være svært at motivere de frivillige til at tage del i en dataindsamling, der kræver bare en smule tid, da de frivillige interesser sig for at lave aktiviteter ikke at indsamle data. Gode råd til monitorering og indsamling af data: Mål løbende, ikke kun til slut men mål ikke for tit, gør det på nogle få nedslagstidspunkter Indsaml data på få nedslagstidspunkter. I store projekter bør man eksempelvis ikke give spørgeskema til alle deltagere, men udvælge bestemte uger, hvor alle deltagere får spørgeskema Vælg simple dataindsamlingsmetoder, du nemt kan overskue Vær sikker på at du har ressourcer til at indsamle og behandle data Undersøg om der findes evidensbaseret viden på området, som du kan tage udgangspunkt i Det er ikke nemt at måle effekt, og det forlanges ikke, at du sætter et større forskningsprojekt i gang. 23

Bilag Fire eksempler på forandringsteorier og indikatorer Standard til udarbejdelse af en forandringsteori Oversigt over metoder til dataindsamling Eksempler på hvordan man måler bløde forhold Skema til planlægning af evaluering Litteraturliste: Gode eksempler, hvor du kan læse mere 24

Eksempler på forandringsteorier Problem Nydanskere Nydanskere har har ikke ikke samme samme forældreopbakning forældreopbakning som som danske danske børn børn til til at at deltage deltage i i frivilligt frivilligt idrætsliv, idrætsliv, og og de de opfatter opfatter typisk typisk foreningslivet foreningslivet på på linje linje med med institutionslivet. institutionslivet. Mange Mange idrætsklubber idrætsklubber afspejler afspejler ofte ofte ikke ikke det det omkringliggende omkringliggende lokalsamfund lokalsamfund (eller (eller gør gør det det i i for for udpræget udpræget grad). grad). Der Der stilles stilles høje høje krav krav til til ledernes ledernes inter-kulturelle inter-kulturellekompetencer, kompetencer, hvilket hvilket gør gør det det svært svært at at fastholde fastholde de de gode gode idrætsledere, idrætsledere, og og ofte ofte er er det det svært svært at at rekruttere rekruttere nye nye ledere, ledere, herunder herunder ledere ledere med med anden anden etnisk etnisk baggrund baggrundend end dansk. dansk. Mangel Mangel på pågode idrætsledere idrætsledere kan kan på pålængere sigt sigt føre føre til til lukning lukning af af foreningerne foreningerne med med store store tab tab for for det det lokale lokale liv liv til til følge. følge. Ressourcer Aktiviteter Output Resultater Virkning Frivillige Frivillige trænere trænere og og ledere ledere Lars Lars og og Preben Preben og og deres deres lokale lokale netværk netværk Lønnet Lønnet koordinatorer koordinatorer i i idrætsklubbernklubberne idræts- Satspulje Satspulje midler midler Opbygge Opbygge de de gode gode ledere ledere via via vejledning vejledning og og støtte støtte Sports Sports aktiviteter aktiviteter De De sjove sjove de de fede fede aktiviteter aktiviteter Væresteder Væresteder i i tilknytning tilknytning til til klubberne klubberne Ledere Ledere fungerer fungerer som som jobformidlere jobformidlere gennem gennem deres deres netværk netværk Forældre Forældre undervisning undervisning fx fx velkomst velkomst komite/gave komite/gave Flere Flere børn børn kommer kommer i i foreningen foreningen Lærer Lærer god god sportslig sportslig opførsel opførsel + foreningsliv foreningsliv at at kende kende Flere Flere deltager deltager i i sportsaktiviteter/får sportsaktiviteter/får motion motion Vinder Vinder medaljer medaljer blå - blå - stempler stempler de de unge unge Positivt Positivt samvær samvær m. m. andre andre børn børn + voksne voksne Holdes Holdes væk væk fra fra gaden gaden Bliver Bliver omgængelige omgængelige børn børn m. m. sociale sociale kompetencer kompetencer Bedre Bedre til til konflikt konflikt håndtering håndtering Får Får mere mere selvtillid selvtillid Skabes Skabes stjerner stjerner + rollemodelleler rollemodel- Øget Øget forældre forældre forståelse forståelse for for foreningsliv foreningsliv og og tankegang tankegang De De unge unge fastholdes fastholdes i i foreningen foreningen Muligt Muligt at at fastholde fastholde og og rekruttere rekruttere nye nye ledere ledere Tager Tager ansvar ansvar og og deltager deltager i i andre andre aktiviteter aktiviteter i i foreningen foreningen Fokuserer Fokuserer på på en en sundere sundere livsstil livsstil Øget Øget forældre forældre opbakning opbakning -- ressourcer ressourcer Får Får bredere bredere netværk netværk Opnår Opnår personlige personlige og og social social kompetencer kompetencer til til at at klare klare sig sig bedre bedre Dansk Dansk kompetencecerøges Fald Fald i i kompeten- kriminaliteten kriminaliteten Foreningen Foreningen i i lokal lokal området området bevares bevares følger følger med med tiden! tiden! Personlige Personlige relationer relationer opbygges opbygges til til at at opnå opnåjob job og og praktikpladser praktikpladser Fremme Fremme integrationen integrationen af af etniske etniske minoriteter minoriteter i i sportsaktiviteter sportsaktiviteter og og i i foreningslivet foreningslivet mhp mhpat at fremme fremme den den generelle generelle integration integration i i samfundet samfundet og og undgå undgå ghettorisering. ghettorisering.

Problem Burmesiske Burmesiske kvoteflygtninge kvoteflygtninge ankommer ankommer til til Danmark Danmark og og boligplaceres boligplaceresrundt rundt omkring omkring i i landet. landet. De De har har intet intet kendskab kendskab til til Danmark, Danmark, taler taler ikke ikke dansk, dansk, og og kender kender derfor derfor heller heller ikke ikke deres deres muligheder muligheder for for job job og og uddannelse. uddannelse. Kirken Kirken er er en en naturlig naturlig indgangsvinkel indgangsvinkel for for burmeserne burmeserne til til at at indgå indgå i i danske danske sammenhænge sammenhænge og og på pålængere sigt sigt blive blive fuldt fuldt ud ud integreret integreret i i det det danske danske samfund. samfund. Ressourcer Aktiviteter Output Resultater Virkning Hjælp Hjælp til til dansk dansk og og kontakt kontakt til til off. off. Myndigh. Myndigh. Øget Øget dansk dansk kompetencer kompetencer Frivillige Frivillige Kirkerne Kirkerne Frivillige Frivillige koordinatorer koordinatorer Kontaktfamilie Kontaktfamilie Sekretariatet Sekretariatet Satspulje Satspulje midler midler Undervisning Undervisning af af i i danske danske samfundsf samfundsf orhold orhold Sommerlejr Sommerlejr Udflugter Udflugter Hygge Hygge Frivillig Frivillig social social kontakt kontakt Skovture Skovture Gudstjenester Gudstjenester Kontakt Kontakt familier familier X antal antal deltager deltager i i øvrige øvrige aktivitet aktivitet er er i i kirkens kirkens regi regi X antal antal har har en en kontakt kontakt familie familie Delta Delta ger ger i i Guds Guds tjene tjene ster ster Øget Øget tillid tillid Afmystifice Afmystifice ring ring af af DK+ DK+ danskerne danskerne Øget Øget sociale sociale kompetenc kompetenc er er Tilfredsstill Tilfredsstill et et et et religiøst religiøst behov behov Øget Øget kendskab kendskab til til Danmark Danmark Øget Øget afklaring afklaring af af egen egen situation situation Udfordret Udfordret til til at at bruge bruge egne egne kompetencer/ kompetencer/ ressourcer ressourcer Opbyggelse Opbyggelse af af personlige personlige relationer relationer til til danskere danskere og og andre andre Øget Øget kendskab kendskab til til arbejdsmarkedet arbejdsmarkedet Øget Øget viden viden om om betydning betydning af af uddannelse uddannelse Forventninger Forventninger til til egen egen formåen formåen styrkes styrkes Øget Øget job job muligheder muligheder Indgår Indgår i i netværk netværk med med danskere danskere Indgå Indgåsom en en del del af af et et dansk dansk fællesskab fællesskab Forståelse Forståelse af af danske danske forhold/normer forhold/normer Taler Taler dansk dansk Øget Øget tilknytning tilknytning til til arbejdsmarkede arbejdsmarkede t t el el uddannelse. uddannelse. Uddannelse Uddannelse af af frivillige, frivillige, kontaktfamilier kontaktfamilier og og koordinatorer koordinatorer Kurser Kurser Materiale Materiale Øget Øget kompetencer kompetencer hos hos de de frivillige frivillige

Problem Mange Mange børn børn og og unge unge mellem mellem 12-18 12-18 år år med med anden anden etnisk etnisk baggrund baggrund mangler mangler viden viden om om samlivsformer, genopdragelse, forholdet forholdet mellem mellem kønnene kønnene og og har har brug brug for for at at drøfte drøfte bekymringer om om eventuelle eventuelle arrangerede arrangerede ægteskaber, opdragelse opdragelse og og deres deres livssituation livssituation for for at at kunne kunne træffe træffe informerede informerede valg valg om om deres deres fremtid fremtid og og undgå undgåtvangsægteskaber, genopdragelsesrejser og og generationskonflikter Ressourcer Aktiviteter Output Resultater kort ml.lang lang sigt Virkning Personale Personale ressourcer: ressourcer: 2 2 nye nye deltidsmedarbejd ere ere Projektmedarbej der der med med særlig særlig indsigt indsigt i i børn børn og og unge unge med med anden anden etnisk etnisk baggrund baggrund Eksisterende rådgivningsstrukt ur: ur: 130 130 frivillige frivillige Organisatoriske ressourcer: ressourcer: Skoletjenesten: 3 medarbejdere koordinatorer supervisorer sekretariatet Satspuljemidler Efteruddannelse af af frivillige frivillige rådgivere rådgivere Undervisning og og rådgivning rådgivning på på skolerne skolerne Telefonisk Telefonisk rådgivning rådgivning Netbaseret Netbaseret interaktivt interaktivt oplysningsmateri ale: ale: www.spejletbv.dbv.dk oplysningsfolder Kurser Kurser for for frivillige frivillige rådgivere rådgivere 400 400 oplæg oplæg over over en en 3 årig årig periode periode Øget Øget brug brug af af Rådgivningen BørneTelefon en enog og Projektmedar bejder bejder Øget Øget brug brug af af Netbaseret Netbaseret interaktivt interaktivt oplysningsm oplysningsm ateriale ateriale Høring Høring og og videreformid videreformid ling ling af af resultater resultater Opkvalificering af af de de frivillige frivillige til til at at håndtere håndtere rådgivning rådgivning af af etniske etniske minoriteter minoriteter Øget Øget oplysningsniveau for for børnene børnene -Kønsligestilling -Børns -Børns rettigheder rettigheder -Gensidig -Gensidig respekt respekt -Opdragelse -Opdragelse Ruste Ruste børnene børnene til til at at håndtere håndtere konflikter konflikter på påden gode gode måde måde Bedre Bedre rustet rustet til til at at håndtere håndtere konflikter konflikter Dialog Dialog om om ansvar ansvar Dialog Dialog om om gensidig gensidig respekt respekt Turde Turde snakke snakke med med forældrene forældrene Styrket Styrket intern intern dialog dialog i i familien familien Skole/hjem Skole/hjem kontakten kontakten øget øget Øget Øget bevidsthed bevidsthed om om familiens familiens rammer rammer Øget Øget kønsligestilling Mindre Mindre etnisk etnisk isoleret isoleret I I stand stand til til at at påvirke påvirke familiens familiens hieraki hieraki Færre Færre genopdragelses rejser rejser Færre Færre tvangsægtesk aber aber Færre Færre generationskonfl ikter ikter Indsamling Indsamling af af erfaringer erfaringer og og data data

Problem Mange Mange flygtninge flygtninge og og indvandrer indvandrer børn børn er er ringere ringere stillet stillet end end danske danske børn, børn, når når det det gælder gælder muligheden muligheden for for i i trygge trygge rammer rammer at at få fåhjælp til til at at lave lave lektier, lektier, og og børnene børnene har har derfor derfor ikke ikke samme samme muligheder muligheder som som danske danske børn børn for for at at søge søge ind ind på påen en ungdomsuddannelse, ungdomsuddannelse, og og der der er er dermed dermed en en øget øget risiko risiko for, for, at at de de får får et et lavere lavere uddannelsesniveau uddannelsesniveau end end danske danske børn. børn. Ressourcer Aktiviteter Output Resultater Virkning Frivillige Frivillige lektiehjælpere lektiehjælpere Frivillig Frivillig konsulenter konsulenter Lokaler Lokaler til til lektiehjælps lektiehjælps cafeen cafeen Forankring Forankring i i frivillighedsafdelingenafdelingen. frivilligheds- Samarbejde Samarbejde med med skoler skoler Satspulje Satspulje midler midler Frivillig Frivillig lektiehjælp lektiehjælp Andet: Andet: Snak Snak Udflugter Udflugter Hygge Hygge Frivillig Frivillig social social kontakt kontakt Vejledning Vejledning Uddannelse Uddannelse af af frivillige frivillige Kurser Kurser Materiale Materiale Børnene Børnene får får hjælp hjælp til til lektier lektier Børnene Børnene får får ro ro og og rammer rammer til til at at lave lave lektier lektier Øgede Øgede sociale sociale kompet kompet encer encer Øgede Øgede kompetenc kompetenc er er hos hos de de frivillige frivillige Laver Laver lektier lektier Fastholdes Fastholdes i i lektie lektie cafeen cafeen Øget Øget selvtillid selvtillid Viden Viden om om andre andre tilbud tilbud i i organisation organisation en en Motiveret Motiveret for for at at gå gåi i skole skole Får Får bedre bedre karakter karakter og og evnerne evnerne øges øges Aktive Aktive deltagere deltagere i i undervisningen undervisningen Samme Samme muligheder muligheder for for at at få fåen en ungdomsud Egne ungdomsud Egne dannelse forventninger dannelse forventninger styrkes styrkes Øget Øget viden viden om om betydningen betydningen af af uddannelse uddannelse Søger Søger ind ind på på en en ungdomsud ungdomsud dannelse dannelse Flere Flere børn børn med med anden anden etnisk etnisk baggrund baggrund end end dansk dansk får får en en ungdomsuddan ungdomsuddan nelse nelse

Eksempel til udarbejdelse af forandringsteori Problem Her Her formuleres formuleres problemet problemet som som forandringsteorien forandringsteorien skal skal søge søge at at løse løse husk husk når når du du formulerer formulerer forandringsteorien forandringsteorien arbejdes arbejdes der der baglæns! baglæns! Ressourcer Aktiviteter Output Resultater kort ml.lang lang sigt Virkning/ Effekt Under Under ressou urcer formuleres formuleres hvi hvi lke lke ressourcer ressourcer d er er er er til til rådighed rådighed for for projektet: projektet: Puljemidler r Frivillige Frivillige Sekretariatsb tsbetj ening ening mv mv Her Her skrives skrives hvilke hvilke aktiviteter aktiviteter der der skal skal foregå foregå Her Her skrives skrives hvad hvad der der kvantitativt kvantitativt kommer kommer ud ud af af aktiviteterne aktiviteterne Eksempelvis Eksempelvis Xantal Xantal aktiviteter aktiviteter er er gennemført gennemført Her Her skrives skrives de de umiddelbare umiddelbare resultater resultater eller eller resultaterne resultaterne på påkort sigt. sigt. Her Her skrives skrives resultaterne resultaterne på på mellem mellem lang lang sigt sigt Her Her skrives skrives de de langsigtede langsigtede resultater resultater der der skal skal føre føre til til den den at at opnå opnåden den ønskede ønskede virkning. virkning. Her Her formuleres formuleres det det ønskede ønskede effekt effekt af af projektet projektet NB: NB: Pilene Pilene mellem mellem kasserne kasserne angiver angiver årsags/virkningskæder årsags/virkningskæder i i forandringsteorien forandringsteorien NB: NB: Der Der kan kan indsættes indsættes flere flere kasser kasser efter efter behov behov i i alle alle led led i i forandringsteorien forandringsteorien

Oversigt over metoder til dataindsamling Dataindsamling Fordele Ulemper Eksempler på anvendelse Spørgeskemaundersøgelser Kan være svært at få folk til besvare et spørgeskema Udfordring at distribuere og indsamle skemaer Mangel på anonymitet Enkeltpersoninterview Fokusgruppeinterview Besvare kvantitative spørgsmål Interviewe mange på en gang Anonymitet Belyse komplekse spørgsmål Hvor mange er kommet i beskæftigelse? Har projektet ændret målgruppens adfærd? Har projektet understøttet målet? Komme i dybden Tidskrævende Barrierer og drivkræfter? Samle flere på én gang Kan kun belyse Hvordan har deltagerne mindre antal temaer oplevet samarbejde og koordination? Tilvejebringe nuanceret og reflekteret information Risiko for at enkeltpersoner dominerer mødet Hvordan vurderes kvaliteten? Barrierer og drivkræfter? Logbog Høj kvalitet af data Ressourcekrævende Hvad har deltagerne lært? Test Understøtte læreprocesser Tilvejebringe et kvantificerbart mål for effekt Test skal tænkes ind fra start Ressourcekrævende at konstruere en valid test Hvad har underviserne lært? Har projektet medført højere videns- eller kompetenceniveau? 30

Eksempler på hvordan man måler bløde forhold Har projektet medført, at du har fået mere viden? Har projektet medført, at du er blevet mere motiveret? Har projektet medført, at du har fået mere lyst ti l? Har du mere selvtillid nu, end før du begyndte i projektet? Har du flere venner nu, end før du begyndte i projektet? Snakker du bedre med dine forældre nu, end før du begyndte i projektet? Har du færre konflikter med jævnaldrende nu, end før du startede i projektet? Jeg har fået det bedre, efter at jeg er begyndt i projektet Jeg har fået mere tro på mig selv, efter at jeg er begyndt i projektet Jeg er blevet mere moden, efter at jeg er begyndt i projektet Jeg kunne ikke så godt lide at sige noget i timerne Jeg kan bedre lide at sige noget i timerne, efter at jeg er begyndt i projektet Jeg kunne ikke koncentrere mig om at gå i skole Jeg kan bedre koncentrere mig i skolen, efter at jeg er begyndt i projektet Jeg har det bedre i skolen, efter at jeg er begyndt i projektet Jeg er blevet bedre til at give mine meninger til kende, efter at jeg er begyndt i projektet Har det at komme i projektet hjulpet dig til at blive bedre til det, du ikke er så god til? Har det at komme i projektet hjulpet dig til at blive endnu bedre til det, du er god til? Har det at komme i projektet hjulpet dig til at nå dine mål? Jeg er blevet mere klar over, hvilken uddannelse jeg gerne vil have, efter at jeg er begyndt i projektet Jeg har fået mere lyst til at starte på en ungdomsuddannelse, efter at jeg er begyndt i projektet Eksempler på svarkategorier: 1) I meget høj grad 2) I høj grad 3) I nogen grad 4) I ringe grad 5) Slet ikke 6) Ved ikke Helt enig Delvist enig Hverken enig eller uenig Delvist uenig Helt uenig Ved ikke 1) 2) 3) 4) 5) 6) 31

1) Ja 2) Måske 3) Nej 4) Ved ikke 5) Ikke relevant 1) Meget tilfreds 2) Tilfreds 3) Hverken tilfreds eller utilfreds 4) Utilfreds 5) Meget utilfreds 6) Ved ikke Huskeregler: Etabler balance i skalaer. Der må ikke være overvægt til den positive eller negative side. Det skabes bedst ved at bruge et ulige antal kategorier, hvor den midterste kategori er neutral. Alternativet er et lige antal kategorier, hvor de to midterste skal have hhv. en positiv og en negativ overvægt. Der kan selvfølgelig være spørgsmål, hvor et simpelt ja/nej svar er det mest præcise. Hav altid en kategori med, der hedder ved ikke. Det giver respondenten mulighed for at placere sig i en uafhængig kategori, hvis vedkommende ikke ved, hvad han eller hun vil svare. Tjek altid dine spørgsmål og svarkategorier: Passer de sammen? Tjek altid dine spørgsmål og svarkategorier igennem flere gange: Får vi svar på det, vi vil have svar på? Prøv at forestille dig nogle svarfordelinger: Hvad siger de dig faktisk, når du sammenholder dem med spørgsmålsformuleringen? 32

Skema til planlægning af evaluering Fokus Målgruppe Evalueringsspørgsmål Hvilke områder skal evalueringen sætte fokus på? Hvilke grupper skal bruge evalueringsresultater (fx projektleder, skolens/kommunens ledelse)? Hvilke spørgsmål skal evalueringen besvare? 33

Evalueringsspørgsmål Hvilke spørgsmål skal evalueringen besvare? Indikatorer Informanter Dataindsamlingsmetoder Hvilke indikatorer kan fortælle noget om evalueringsspørgsmålet? Hvilke personer kan give information til at belyse tegnene? Hvilke metoder skal benyttes til at indsamle information om tegnene? Tidsplan Hvornår skal dataindsamlingen finde sted? 34

Litteratur Dines Andersen: Hvordan interviewer man børn? Socialforskningsinstituttet, 2003 Merete Watt Boolsen: Fra spørgeskema til statistisk analyse, C.A. Reitzel, 2004 Bente Halkier: Fokusgrupper, Samfundslitteratur, 2002 Erik Kristiansen: En guide til spørgeskemaundersøgelser, Forlagte 94, 2003 Jody Zall Kusek og Ray Rist: Ten Steps to a Results-Based Monitoring and Evaluation System, 2004 Steinar Kvale: Interview, Hans Reitzel, 2004 Olaf Rieper: Håndbog i evaluering, AKF Forlag 2004 Se også dette link for brugervenlig information om dataindsamlingsmetoder, forandringsteori, effektmåling, projektstyring, selvevaluering mv.: http://evaluering.itmf.dk/servlet/com.pls.itmf.web.pages.listnews? Linket indeholder en masse inspiration udarbejdet til projekterne i ITMFprojektet (IT og Medier i Folkeskolen) af Rambøll Management for Undervisningsministeriet og Uni-C, der administrerede ITMF-puljen. 35