EVALUERING AF PROJEKTER

Transkript

1 EVALUERING AF PROJEKTER TIL EVALUERINGEN SKAL I LAVE EN FORANDRINGSTEORI En forandringsteori er et projektstyringsredskab, som skal vise hvilke resultater, man ønsker at skabe for en given målgruppe og hvilke aktiviteter, der skal gennemføres for at opnå de ønskede resultater. Forandringsteorien kan bruges til at Udarbejde resultatmål Bestemme de aktiviteter, der netop fører til de ønskede mål Styre projektarbejdet Synliggøre projektets læring, proces og resultater Skabe systematisk og brugbar evaluering Skematisk billede af en forandringsteori RESSOURCER AKTIVITETER PRÆSTATIONER KORTSIGTET MELLEMLANG LANGSIGTET Pilene fortæller, at man arbejder baglæns, når man laver en forandringsteori. Man starter med at formulere resultatmål og arbejder sig baglæns til aktiviteter. Ved at starte med at fastsætte projektets ønskede resultater, sikrer I et fokus på den forandring, I ønsker at opnå og I sikrer, at de anbefalede aktiviteter, knytter sig direkte til den forandring, I ønsker at se. Med dette forløb vil være dannet et overblik over årsagssammenhængen i indsatsen med en logisk kæde fra højre mod venstre. 1

2 SÅDAN LAVER I EN FORANDRINGSTEORI Forandringsteorien bliver til ved at beskrive» Det problem, man gerne vil løse.» Målgruppe o Hvem man ønsker at opnå det for» Ressourcer o Medarbejdere o Materialer, lokaler, økonomi o Andet...» Tidsramme o Projektopstart og slut o Evt. milepæle» Antagelser, projektet har om, hvad der virker o Hypoteser o Årsag virkningskæder hvis så.. Hvis xx udsættes for yy, så sker der zz Fx: Hvis de unge får uddannelses vejledning, så motiveres de for uddannelse o Hvad skal ske, for at projektet lykkes?» Hvilke resultater, I vil opnå. o Resultater formuleres som korte, mellemlange og langsigtede resultater o Resultater beskrives som udbytte, fx De unge skal have xx ud af aktiviteten De unge er motiveret for uddannelse Herefter arbejder I baglæns med beskrivelse af» Præstationer, som er det umiddelbare output o output beskrives typisk som antal eller mængde, fx xx antal der skal opnå yy indenfor zz tid Fx: 20 unge skal deltage i samtaler inden udgangen af 2011» Aktiviteter» Ressourcer I kan forbinde aktiviteter og resultatmål i forandringsteorien med pile. Et resultatmål kan kræve flere aktiviteter for at blive opfyldt, ligesom en aktivitet kan føre til flere resultatmål. Efter at have gjort jer de indledende overvejelser over ressourcer, mål, målgruppe og bagvedliggende antagelser, er I klar til at lave selve forandringsteorien. I udfylder nu skemaet. Se et eksempel på en forandringsteori på sidste side. 2

3 JERES FORANDRINGSTEORI RESSOURCER AKTIVITETER PRÆSTATIONER KORTSIGTET MELLEMLANG LANGSIGTET 3

4 SÅDAN FORMULERER I GODE Det er en god idé at formulere operationelle resultatmål Hertil kan I anvende værktøjet SMARTE mål, det vil sige, at målene formuleres: S Specifikke, således at alle er klar over, hvad der refereres til, og hvad målet vedrører. Dvs målsætningen skal være ligefremt, handlingsorienteret og klart udtrykke det forventede mål. Hvem, hvad, hvornår, hvorfor og hvordan spørgsmål kan bidrage til at afklare om målet er tilstrækkeligt specifikt formuleret M Målbare. Målet skal formuleres i målbare termer, så der let kan følges op på, om målet er nået Man kan ligeledes løbende måle indsatsens resultater og holde det op imod målsætningen. Målemetoden skal være klar og målet skal være formuleret således at man kan svare på spørgsmålet: hvordan kan jeg vide om ændringen er sket? A Attraktive. Målet skal være vigtigt, interessant og relevant for alle. Afklar, om der er enighed om, at dette er et godt mål for, hvad der vil være en succes. R Realistiske. Målet skal være realistisk, dvs. målet skal være inden for rækkevidde. Accepterede mål er ikke nødvendigvis realistiske. T Tidsbestemte. Det skal være klart, hvor lang tid man ønsker at arbejde på at nå dette mål og hvornår der er deadline E Evaluerbare. Det skal være klart, hvornår og hvordan man ønsker at følge op på sine mål. 4

5 SÅDAN SIKRER I GOD KVALITET I FORANDRINGSTEORIEN Den virkelige verden fungerer sjældent efter simple årsags virkningskæder. Forandringsteorien kan derfor nemt blive alt for forsimplet. Mange faktorer spiller ofte ind på, om et ønsket resultat er mulig, og de formodede sammenhænge i projektet er ikke altid ligefrem. Fx er det ikke sikkert eller givet at fordi man tilknytter mentorer til unge udsatte i uddannelsessystemet, så gennemfører disse unge faktisk også uddannelse. Det er altså vigtigt at holde øje med, om noget kommer til at hæmme for projektet og om man skal gøre noget andet eller mere. Derfor er det en god idé at kvalitetssikre jeres forandringsteori. Det kan I gøre ved at gøre jer overvejelser over jeres antagelser om sammenhænge mellem aktivitet, præsentation og effekt. Her kan I bruge hvis så fordi sætninger. Hvis vi gør sådan og sådan så fører det til det og det, fordi indsats xx vil få person YY til at reagere sådan og sådan. Fx Hvis arbejdsgiveren drøfter uddannelse med sin unge ansatte (aktivitet), så giver det den præstation: At den unge ved noget mere om uddannelse og hører, at virksomheden gerne vil støtte den unge i at starte uddannelse. Resultatet heraf skulle gerne være, at den unge motiveres for uddannelse, fordi arbejdsgiveren» Er god til at rådgive ved noget om uddannelsesmuligheder» Giver den unge mulighed for at tilegne sig kompetencer for at starte og gennemføre uddannelse» Har en god relation med den unge formår at anerkende den unge og fungere som spejlende selvobjekt. 5

6 SÅDAN EVALUERER I PROJEKTET Evaluering består af tre trin 1) Dokumentation a. Handler om at gøre status over resultatet b. Det man har set, erfaret, opdaget, fundet ud af, lært 2) Vurdering af resultatet a. Vurdering vil sige at tage stilling til resultatets værdi b. Er resultaterne gode nok i forhold til vores mål for projektet? c. Løser resultaterne problemet? d. Vurderingen skabes bl.a. gennem arbejdet med refleksionsspørgsmålene se de næste sider 3) Konsekvens a. Hvad fører vores vurdering til, at der skal ske efterfølgende? b. Hvordan skal vi følge op på status, så vi sikrer fortsat succesfuld fremdrift i projektet eller skal der tages andre beslutninger? c. Hvad giver vurderingen anledning til at gøre fremover fx i forhold til o det fortsatte arbejde med projektet o ved projektets afslutning, o ved den videre implementering, overgang til drift. 6

7 TRIN 1 I EVALUERING: STATUS LØBENDE OG AFSLUTTENDE STATUSOPGØRELSE Problembeskrivelse Samme problembeskrivelse eller ændringer? Målgruppe Samme målgruppe eller ændringer? Aktiviteter Status på aktiviteter herunder om tidsplanen følges Præstationer Status på præstationer herunder om tidsplanen følges Resultater Status på effekter herunder om tidsplanen følges Refleksioner over forankring og spredning af viden Status på forankring og formidling hvad gøres der, eller planlægges der i forhold til forankring og formidling af projektets resultater, læring og erfaringer? 7

8 TRIN 2 I EVALUERING: VURDERING Refleksionsspørgsmål til den løbende og afsluttende evaluering brug statusopgørelsen Løbende evaluering» Er der sammenhæng mellem målgruppe, ressourcer, aktiviteter, præstationer og resultater? o Er de anvendte ressourcer de rette til? o Passer de igangsatte aktiviteter og anvendte metoder til målgruppens behov? o Fører de igangsatte aktiviteter til de ønskede præstationer? o Giver de ønskede præstationer de ønskede resultater? o Overvej igen på jeres hvis så fordi sætninger skal der ske yderligere kvalitetssikring?» Er der skabt ejerskab til projektet blandt alle samarbejdsaktører (fx styregruppe samt primære og sekundære samarbejdspartnere), eller er der brug for at italesætte holdningsforskelle, ændre/tydeliggøre arbejdsgange/ressourcer eller andet?» Hvad er vores læring indtil videre? Afsluttende evaluering Status» Nåede vi de planlagte præstationer?» Nåede vi de umiddelbare resultatmål? Vurdering» Nåede vi resultatmålene godt nok i hvor høj grad er projektets problem løst ved vores fremgangsmåde?» Har vi formodning om, at vi på sigt også vil se de mellemlange og langsigtede resultater?» Hvad har vi lært af den måde, vi har arbejdet på? TRIN 3 I EVALUERING: KONSEKVENS Hvilke konsekvenser kan vi drage af projektresultaterne og vores vurdering af dem? (fx med henblik på videre forankring, implementering, overgang til drift) 8

9 EKSEMPEL PÅ PROGRAMTEORI: GÆSTER TIL MIDDAG Målgruppe: Gode Venner RESSOURCER Værtsparret Penge Bord stole Service etc Personer, der er gode til at dække bord og pynte Køkken kok / kokke AKTIVITETER Planlægning Finde dato Vælge, hvem der skal med Vælge menen Skrive huskeseddel Vælge bordpynt Skrive indkøbsliste Indkøb Gennemgå indkøbsliste Købe i brugsen, hos grønthandler og hos bager Borddækning Lægge dug på Sætte tallerkener, glas og bestik på Folde og anbringe servietter Pynte bord Tænde lys Trække vin op Madlavning Snitte grøntsager Skrælle kartofler Skære kød ud Finde krydderier frem Sætte maden over Dessertis ud af fryseren Lave kaffe PRÆSTATIO- NER Plan for alle aktiviteter og indkøb Have alt nødvendigt indkøbt Veldækket bord KORTSIGTET Ikke glemt noget God tid til madlavning Behagelig stemning MELLEMLANG Ingen stress og pludselige overraskelser og at noget er glemt Ingen stress og pludselige overraskelser og at noget er glemt Hyggelig aften med vennerne LANGSIGTET Fortsat godt ægteskab Fortsat godt ægteskab Fortsat godt venskab Veltillavet mad Mætte gæster Ros for god mad Kendt for godt mad 9