NOTAT om udvikling af en evalueringskultur i U-turn.

Transkript

1 NOTAT om udvikling af en evalueringskultur i U-turn., April, 2007 Baggrund. Baggrunden for processen hen i mod en evalueringskultur i U-turn kan først og fremmest udledes af to kilder: For det første U-turns resultataftale, 2007 som fastsætter nogle rammer og krav for U- turns arbejde med socialfaglige udviklingsmål. For det andet et internt dokument Fremtidig organisering 2007 med fokus på første halve år, , der introducerer en teamorganisering på arbejdspladsen. For nærmere inspiration vedr. tilgangen til teamorganisering er medarbejderne endvidere blevet introduceret til bogen Søholm og Storch (red): Teambaserede organisationer i praksis. Ledelse og udvikling af team, Dansk Psykologisk Forlag, DK, 2005 For så vidt angår den evaluering og dokumentation, der naturligt nok indgår i en evalueringskultur trækkes primært på tilgange, der almindeligvis beskrives som henhørende under Performance Management og Virkningsevaluering. Resultataftale og teamorganisering introduceres nedenstående. Dernæst beskrives i afsnittet overvejelser om teori og metode, hhv. evalueringskultur som begreb samt Performance Management / Virkningsevaluering. Afslutningsvist gives en tidsplan for processens indledende periode. Resultataftalen Resultataftalen for U-turn 2007 beskriver bl.a. følgende krav, som skal indfries i løbet af 2007: Helt overordnet hedder det om institutionens socialfaglige mål: At det socialfaglige arbejde blandt andet udvikler sig på baggrund af en evalueringskultur. Herunder angives følgende resultatkrav og tidsfrister (status): Resultatkrav 1. Daggruppeteamet udvælger på baggrund af ekstern evaluering, januar 2007 de tre vigtigste udviklingsområder, som evalueringen peger på, samt udarbejder en plan for udviklingsarbejdet med disse. Status: Udviklingsplan foreligger 1. juli 2007 Resultatkrav 2. Der laves en undersøgelse af 4-5 anonyme brugeres oplevelse af at modtage et rådgivningsforløb i rådgivningen af ekstern evaluator. Færdiggøres senest medio Status: Undersøgelsen præsenteres for rådgivningsteam ved halvdagsseminar senest august Seminaret er optakt til teamets arbejde m. udviklingsplan jf. mål 3. Resultatkrav 3. Råpdgivningsteamet udvælger på baggrund af brugerundersøgelse nov. 06 / feb. og maj 07 samt kvalitativ evaluering primo 07 de 3 vigtigste udviklingsområder, som undersøgelserne peger på samt udarbejder en plan for udviklingsarbejdet med disse. Status: Udviklingsplan foreligger 1. oktober 2007 Side 1 af 13

2 Resultatkrav 4: Aftengruppeteamet udarbejder koncept for systematisk evaluering af gruppeforløb (visitation, forløb, udbytte, opfølgning osv.) samt plan for anvendelse af konceptet i den løbende tilpasning af tilbudet. Status: Koncept m.v. foreligger 1. juli 2007 Resultatkrav 5: Forældreteamet udarbejder koncept for systematisk evaluering af gruppeforløb (visitation, forløb, udbytte, opfølgning osv.) samt plan for anvendelse af konceptet i den løbende tilpasning af tilbudet. Status: Koncept m.v. foreligger 1. oktober 2007 Rammerne de nye teams I løbet af 2007 begynder U-turn at arbejde i teams defineret som små enheder, der sammen varetager et fastlagt opgavefelt og arbejder hen mod et fælles mål. Teamet har et fælles ansvar for at nå målsætningerne. Der er 4 teams: Daggruppe, Rådgivning, Aftengruppe og Forældre teams. Hvert team har kompetence og beslutningskraft over afgrænsede ledelsesopgaver (planlægge opgaveløsning, vagtskema, afgrænsede ressourcer, kvalitetstjek m.v.) med henblik på, at den enkelte medarbejder får flere bemyndigelser og oplever et større ansvar. Hensigten er at U-turn derigennem kan give bedre respons på komplekse opgaver, at der sker en øget videndeling / tværfaglighed og at man fremmer lærende arbejdsformer som f.eks. kollegial sparring, sidemandsoplæring o.l. samt at man yderligere udvikler de relationelle kompetencer hos medarbejderne. I U-turn vil hver medarbejder være med i ét højst to - teams og alle har dertil opgaver indenfor drift, dokumentation, konsulent/oplysning, særlige aktiviteter (musik, foto, julefrokoster, andet) og evt. individuel behandling. Medarbejderne vil skulle rokere mellem teams ene med jævne mellemrum (og efter behov) Der er fast supervision for de enkelte teams med deltagelse af de medarbejdere, der aktuelt er medlemmer af team et. Teams ene har fastlagte mål, opgaver, rammer, kompetencer, krav om dokumentation og feedback men tilrettelægger selv sine opgaveløsning og arbejdsfordeling på den baggrund. Der skal derfor i de enkelte teams arbejdes med bl.a.: Teamet som et kommunikativt system Teamet skal ikke være en samling individer, men et sæt af normer og forståelser, som det forstår og handler ud fra. (Der arbejdes med teamets multivers frem mod et sæt af brugbare fælles forståelser) Evalueringstilgangen tager udgangspunkt i hvordan normer og forforståelser øver indflydelse på den måde, hvorpå teamets aktiviteter planlægges, afviklet og tænkes at virke. Teamet som et heliotropisk system Teamet skal handle i den retning, teamets forestillinger om fremtiden viser. (Der arbejdes med historierne om teamets mål og visioner) Evalueringer af om teamets aktiviteter fører til de forventede resultater kan hjælpe med til at teste om teamets forestillinger om retningen for arbejdet holder eller ej. Teamets funktionalitet Teamorganisering er ikke et mål i sig selv, men et middel til at sætte organisationen i stand til at håndtere behov, situationer, vilkår. (Der arbejdes med skabelse af rutiner, praksis, afgrænsning af Side 2 af 13

3 teamets arbejde, teamets sammenhæng med omverdenen) Evalueringsrutiner indbygget i teamets aktiviteter kan være med til at skabe fremadrettede rutiner, som er fokuserede på nødvendige tilpasninger af teamets arbejde til skiftende vilkår. Overvejelser om teori og metode Hvad er en evalueringskultur? Det er et sammensat ord. Det handler om evaluering og om kultur. Og så er der begrebet dokumentation, der også ofte bruges i denne sammenhæng. Om evaluering (af value = værdi) kan man sige, at det handler om at kaste en værdidom over et produkt, en proces, et resultat osv. Dokumentation, derimod, er noget andet. Med dokumentation menes bare, at man foretager en beskrivelse. Beskrivelsen dokumenterer at en given aktivitet eller indsats har fundet sted, men siger i sig selv ikke noget om kvaliteten eller effekten af aktiviteten. Dokumentationen eller beskrivelsen kan være mere eller mindre omfattende, og den kan bestå af forskellige elementer. Den kan være ord, lyd og billeder, skriftlige redegørelser, statistik osv. og den kan bestå alt lige fra en simpel optælling af deltagerne i en gruppe, til detaljerede beskrivelser af deltagerne, udskrifter af samtaler, komplicerede undersøgelser o.m.a. Den måde man vælger at dokumentere på, afhænger af formålet med dokumentationen. Evaluering er beslægtet med viden og videnskab. At gennemføre en evaluering vil sige, at man producerer viden om nogen og/eller noget men man gør det på nogle bestemte måder. En ofte anvendt definition på evaluering er udarbejdet af den svenske evalueringsteoretiker, Evert Vedung. Den kommer lidt nærmere ind på, hvad ordet evaluering dækker: En evaluering er en systematisk, retrospektiv vurdering af gennemførsel, præstationer og udfald af offentlig politik, som tiltænkes at spille en rolle i praktiske handlingssituationer. 1 En evaluering skal være systematisk, står der. En evaluering kan altså ikke udelukkende bestå af nogen meninger eller holdninger om et eller andet. Den skal være baseret på systematiske iagttagelser. Evalueringen er baseret på en bestemt metode. Det giver næsten sig selv, at en evaluering altid er retrospektiv. Det vil sige, at den altid måler eller beskriver udfaldet af en aktivitet, efter at denne er forekommet. (Det ville være svært at gøre andet!) En evaluering er som udgangspunkt en vurdering. Det vil sige, at den tager udgangspunkt i nogle bestemte værdier eller antagelser. Det kunne f.eks. være politisk fastsatte krav til aktiviteten, men det kunne også være brugeres eller fagfolks interesser i aktiviteten. Uanset hvad, så har evalueringen et formål, og den skal indgå i en bestemt sammenhæng. Derfor kan den ikke være objektiv eller værdifri. En evaluering er vurdering af gennemførsel, præstationer og udfald af en eller andet. Der skal m.a.o. være nogle aktiviteter, handlinger, processer, produkter eller lignende, der skal vurderes i forhold til de mål, man havde sat sig, de processer, man havde planlagt, og de virkninger, man havde forestillet sig. Ifølge Vedung er det karakteristisk, at det, der evalueres er omfattet af det, han kalder, en offentlig politik. Egentlig betyder det bare, at det, der evalueres plejer at være af almen eller offentlig interesse. En aktivitet, der har fået offentligt tilskud, anses som offentlig, men hvis f.eks. en privat arbejdsgiver evaluerer sit arbejdsmiljø er det også offentligt, fordi indsatsen i sidste ende har betydning for hele samfundets arbejdsmiljøindsats. 1 Vedung, Evert: Utvärdering i politik och förvaltning, Studentlitteratur, Lund, (1991),1998, s. 20 Side 3 af 13

4 Med ordene tiltænkes at spille en rolle i praktiske handlingssituationer sigtes der til, at evalueringer som udgangspunkt har som formål at kunne bruges fremadrettet i den praktiske virkelighed. Man ser på de aktiviteter, der har fundet sted, for at kunne forbedre kommende aktiviteter. Det tredje begreb er kultur. Kulturbegrebet er formodentlig et af de mest komplicerede ord i sproget. Ofte anvendes det med en meget vag forståelse af, hvad det indeholder. Det er sådan et ord, der er nærmest udefinérbart og alligevel har de fleste en eller anden fornemmelse af, hvad det dækker over. Men ved at bruge kulturbegrebet kan man ofte få en meningsproducerende sammenhæng til at fremstå som noget nærmest naturligt og ureflekteret som noget man tager for givet hvilket er besynderligt, når man nu ved at kulturen er alt andet end naturlig. Nå, alt det kan der siges rigtig meget om bare ikke her Her vil vi nøjes med at inddrage det i en sammenfatning af, hvad vi vil forstå ved en evalueringskultur i U-turn, nemlig: Den måde, hvorpå U-turn praktiserer evaluering og dokumentation af sit arbejde samt tematiserer og reflekterer over denne praksis i organisationens kommunikation både bagudrettet som resultatbeskrivelser m.v. og fremadrettet i planlægning og behandlingsudvikling. Evaluering er dermed ikke bare noget, der dokumenterer og bedømmer det bliver en integreret del af den måde, der kommunikeres og meningsproduceres på. Det giver dermed sig selv, at evaluering dermed kommer til at handle om rigtig meget andet end blot at måle og veje i tabeller og grafer. Mere om det nedenstående. Om evalueringsmetoden Man kan tilrettelægge sin dokumentation og evaluering på mange måder afhængigt af det formål, man har med arbejdet. For nærværende vælges som nævnt Performance Management eller Virkningsevaluering. 2 (I det følgende kaldes tilgangen kun Virkningsevaluering). Denne tilgang sigter på at muliggøre resultatstyring dvs. muligheden for at organisationen kan styre leverede indsatser på baggrund af resultater. Dertil sigter tilgangen på at udvikle de sociale / behandlingsmæssige indsatser ved at få deltagerne i processen til at reflektere over hvorfor de gør som de gør og hvem de gør det for samt at opbygge dokumentationssystemer, der kan hjælpe organisationen til at få viden om, hvordan dens arbejde rent faktisk virker. Virkningsevaluering undersøger, som navnet antyder, virkningen eller effekten af en indsats. Mere præcist er formålet med en virkningsevaluering at klarlægge: Hvad virker for hvem? hvordan? - hvornår? og under hvilke betingelser? Når man stiller sådan nogle spørgsmål, så har man samtidig antaget, at der er et årsag/virkningsforhold på spil. At der findes noget, der er årsag til, at noget andet sker. At hvis vi gør A, så får vi effekten B. Vi kender årsag/virknings-tænkningen fra mange af hverdagens oplevelser. 2 Der er mange forskellige betegnelser for evalueringsmetoder, der ofte kun adskiller sig fra hinanden på ganske få områder. Virkningsevaluering er beslægtet med Performance Management. Andre taler om teoribaseret evaluering (theory-based evaluation) som er noget, der (næsten) ligner virkningsevaluering. Det kan være lidt af et problem, at der er så mange mere eller mindre mærkelige ord i evalueringsverdenen. Her tilsræbes at anvende ord, der er så almindelige, men samtidig så præcise som muligt. Skal man evaluere virkning ja, så må virknings-evaluering vel være et godt ord. Side 4 af 13

5 Hvis jeg vil evaluere lidt på, hvordan jeg kan undgå at få et myggestik, der klør og generer mig, så tænker jeg på et årsag/virknings-forhold: Hvis der er myg så er der risiko for myggestik og får jeg et myggestik, så klør det! Når jeg kender årsag/virknings-forholdet kan jeg undgå myggene med spray, myggelys, net eller voldelige overgreb på den stakkels myg og dermed undgå myggestikkene og kløen. (Det er ikke den samme tænkning, jeg bruger, hvis jeg f.eks. spekulerer over meningen med livet eller om en blomst er smuk eller ej. I forhold til den type spørgsmål er en virkningsevaluering virkningsløs!) Virkningsevaluering starter altid med, at vi synliggør og beskriver det årsag/virkningsforhold, der styrer en handling eller aktivitet. I virkningsevaluering kalder man det for en programteori. Altså, teorien om, at et eller andet virker på en bestemt måde, så hvis jeg gør det-og-det, så vil jeg opnå den-og-den virkning. Min teori om, at hvis jeg undgår myggen, så undgår jeg myggestik og kløe er et eksempel på en meget simpel programteori. Den kan opstilles i et lille diagram: Indsatser Aktiviteter Præstationer Resultater Virkninger (Mål) Hvad skal der til for at iværksætte en indsats? Hvilke komponenter dvs. ressourcer (materialer, viden m.m.) og aktører (personer, organisationer) -skal indgå? Hvis der er adgang til de ressourcer og aktører, der skal til, så kan de forhåbentlig bruges til at gennemføre den planlagte aktivitet. Hvis den planlagte aktivitet gennemføres, så vil den forhåbentlig føre til at den ønskede situation opstår. Hvis aktiviteten gennemføres som planlagt og den ønskede situation opstår - så vil det forhåbentlig føre til det forventede resultat. Hvis det forventede resultat indtræffer, så kan jeg forhåbentlig regne med at jeg på længere sigt opnår den ønskede virkning.(jeg når det mål, jeg havde - En myg - Mig - En myggespray Jeg smører myggespray på de dele af min krop, som ikke er tildækkede. Min bare hud er indsmurt i noget, som myggen ikke kan lide. Myggen finder et andet offer eller går sulten i seng. Jeg undgår myggestik. sat mig) Jeg slipper for kløen. Der kan være flere forskellige teorier om, hvordan man opnår den ønskede effekt bedst muligt. I mit eksempel kunne jeg også vælge at sætte mig under et myggenet eller jeg kunne vælge at klapse myggen, når den landede på mig. Det ville have samme virkning, men aktiviteterne ville være nogle andre. Sådan vil det også være i mange projekter. Der vil ofte være konkurrerende programteorier. Det er derfor ofte også en del af virkningsevalueringen at være med til at udpege den teori, der skal afprøves. Om jeg vælger den ene eller den anden metode afhænger bl.a. af de betingelser, jeg har. Betingelserne er vilkår eller omstændigheder, der ikke direkte har noget med programteorien at gøre, men spiller ind på den alligevel. Måske havde jeg ikke noget myggespray og købmanden havde lukket. Måske er jeg kommet af sted uden mit myggenet Valget af programteori er altid afhængigt af nogle betingelser ud over de indsatser, der indgår i selve aktiviteten. Hvis jeg havde glemt min trøje og var helt alene kunne jeg nok ikke smøre mig på ryggen og så kunne myggen lande der. Også selve aktiviteten er afhængig af udefra kommende betingelser. Hvis min myggespray ikke virkede måske havde myggen ligefrem lært at holde af den ja så ville den præstation, jeg forventede af min spray, udeblive, og dermed også det ønskede resultat og den ønskede virkning. Side 5 af 13

6 Hvis det viste sig, at jeg var allergisk overfor min myggespray, ville der måske opstå uventede bivirkninger. Det kunne også være, at jeg havde den opfattelse at myggesprayen kun skulle smøres på en lille del af kroppen for at virke overalt. Hvis jeg gjorde det men det ikke var rigtigt ifølge brugsanvisningen ville det også føre til et andet resultat end det forventede. På alle niveauer er der forhold, der skal tages i betragtning, som kan påvirke min programteori uden at være en del af den. Sådanne fejltyper fejl, der opstår fordi man af den ene eller den anden årsag ikke gennemfører aktiviteten, som planlagt kaldes implementeringsfejl. En anden type fejl kaldes teorifejl. Hvis jeg nu havde en teori om, at man kan undgå myggestik ved at dunke sig i hovedet mens man synger Dengang jeg drog af sted og jeg så oplevede, at den ønskede virkning udeblev ja så er der fejl i teorien antagelsen om årsag og virkning holdt ikke. Almindeligvis stiller man tre krav til en programteori: Den skal være realistisk. (Sund fornuft, erfaring, undersøgelser eller forskning skal have gjort det sandsynligt, at den årsag / virkning sammenhæng, man lægger til grund for sine aktiviteter er holdbare). Den skal være mulig. (Findes de økonomiske, tekniske, politiske, organisatoriske og menneskelige ressourcer, der skal til for at gennemføre aktiviteterne?) Det skal være muligt at teste programteorien. (Den skal være tilstrækkelig konkret og fyldestgørende til at det kan lade sig gøre at undersøge om de årsag / virknings sammenhænge, der indgår, nu også leder til de forventede resultater) Ovenstående mygge-eksempel bliver jo ikke mindre fjollet af at bliver udpindet på denne måde. Men forhåbentlig illustrerer det pointerne samtidig med, at et par grundbegreber bliver sat på plads. Samlet set er der fire forskellige muligheder for udfald af en hvilken som helst aktivitet og fire forskellige måder at forholde sig til det på: Jeg gjorde det, jeg havde planlagt Jeg gjorde ikke det, jeg havde planlagt Jeg opnåede det resultat, jeg havde forventet Det virker. Der er hverken implementeringsfejl eller teorifejl. Indsatsen kan fortsættes. Det må være noget andet, der virker. Der er både implementeringsfejl og teorifejl. Programteorien justeres. Jeg opnåede ikke det resultat, jeg havde forventet Det virker ikke. Der er muligvis teorifejl. Opstil en ny programteori. Det er ikke til at vide om det virker eller ej. Der er implementeringsfejl. Måske også teorifejl, men det vides ikke. Prøv igen! Hele idéen med en virkningsevaluering er at finde ud af, hvor effekten ved en given aktivitet placerer sig blandt disse fire muligheder. Spørgsmålet er jo: Hvad virker for hvem? hvordan? - hvornår? og under hvilke betingelser? Programteorien er altså det ord, man bruger for de indsatser, aktiviteter, resultater m.v.,, der kæder hele processen sammen lige fra de grundlæggende antagelser til de forventede effekter i en kortere eller længere kæde af årsag/virkningsforhold. Evalueringen slår ned på forskellige punkter i denne kæde og prøver at afdække hvad der er sket. På den måde kan evalueringen vurdere: Side 6 af 13

7 1) om aktiviteten bliver afviklet som planlagt eller ej (implementeringsfejl), og 2) om sammenhængen mellem aktiviteten og de forventede resultater og virkninger optræder eller ej (teorifejl). 3) om udefra kommende forhold påvirker processen og resultaterne om der f.eks. opstår uventede bivirkninger. De punkter, der udsættes for sådan en undersøgelse kaldes indikatorer. De indikerer om processen eller resultatet lever op til forventningerne eller ej. For at gennemføre evalueringen skal man altså: Vælge indikatorer Indsamle data om dem Analysere dem Inden jeg går videre med at fortælle lidt om den del af arbejdet, vil jeg imidlertid introducere et nyt eksempel, fra en virkelig programteori. Eksempel på en programteori Eksemplet er hentet fra en dansk kommune, hvor man havde oplevet en voldsom stigning i udgifterne til anbringelse af børn og unge uden for hjemmet, til specialundervisning og andre dyre tilbud. 3 Årsagerne til denne udvikling var angiveligt bl.a. følgende: Det er meget komplekse problemer, der involverer mange forskellige faggrupper og de kommer somme tider til at modarbejde hinanden. Der manglede med andre ord en sammenhængende politik og nogle fælles retningslinier. Der var en grundlæggende mangel på viden om, hvad der virker og ikke virker på området. Der var ikke sammenhæng mellem ansvaret for økonomien og ansvaret for foranstaltningerne overfor de udsatte børn og unge. Der blev nævnt flere ting, men enden på det hele blev, at kommunen besluttede at lægge en ny strategi for indsatsen for udsatte børn og unge. Man opstillede nogle mål for denne indsats: Helt overordnet ønskede man at bremse væksten i udgifterne. En af flere måder, man mente at kunne opnå dette på, var, hvis man blev bedre til at løse problemerne lokalt i et tættere samarbejde mellem kommunens medarbejdere, børnene, deres familier og netværk. Igen var der flere forskellige andre ting på banen, men for eksemplets skyld holder vi os til dette ene. Nu gav man sig til at fundere over hvordan man kunne opnå et tættere samarbejde mellem de involverede parter; altså fagfolkene, børnene, familierne osv. Igen var der naturligvis flere forskellige ting man kunne tage fat på, men én af de indsatser man fokuserede på var at børn og unge selv blev inddraget. Igen for eksemplets skyld nøjes vi med at tage vi fat på det ene. Tanken med at inddrage børnene opstod fordi, barnet selv er en vigtig kilde til at forstå de problemer og behov, der er. Derfor er medinddragelsen vigtig, hvis man skal tilpasse hjælpen bedst muligt. Eller sagt på en anden måde: den virkning, man ønskede var, at den hjælpende indsats havde større effekt. Man identificerede nu nogle forskellige resultater, som medinddragelsen af barnet gerne skulle have. Hvis de resultater blev opnået, antog man, at hjælpeindsatsen ville have en større effekt. De ønskede resultater skulle være, at: 3 Thomassen & Sørensen: Organisationsudvikling med virkningsevaluering. Evalueringsnyt nr. 7, juni 2005, ss Side 7 af 13

8 barnet skulle opnå forståelse for de beslutninger, der blev truffet barnet skulle have tillid til de fagfolk, der skulle hjælpe barnet skulle motiveres til at bifalde / bidrage til de indsatser og beslutninger, der blev truffet barnet skulle opleve at have indflydelse og blive hørt Nu gav man sig til at kigge på, hvad der skulle til for at opnå disse resultater. Man nåede frem til 6 forskellige typer aktiviteter, der alle sammen havde til formål at sikre at børnene fik medindflydelse på en sådan måde, at de ovenfor nævnte resultater blev opnået hvis ellers aktiviteterne præsterede det, de forventedes at levere. Sammenhængen kan illustreres i et diagram som nedenstående. 4 Diagrammet læses fra venstre mod højre, men læg mærke til at jeg i beskrivelsen af tilblivelsesprocessen snarere er gået den modsatte vej ved at spørge. Hvad er målet / den ønskede virkning? Hvilke resultater kan føre til målet/virkningen? Hvilke aktiviteter kan føre til resultaterne? Osv. Og i klarlæggelsen af mål og indsatser har det også været nødvendigt at hoppe lidt rundt imellem tingene. Det ser så ordentligt ud i sådan et diagram, men i virkeligheden hopper man lidt frem og tilbage mens man udvikler sit projekt. Der er også faktorer i omverdenen, der skal tages med i betragtning. I diagrammet kan man f.eks. se at to faktorer er medtaget, fordi man mener de kan have betydning for aktiviteterne. Det er forældrenes opbakning og det er den tid, der er til rådighed. Begge dele er helt afgørende for aktiviteternes succes, men de har ikke direkte noget med aktiviteternes planlægning eller afvikling at gøre. For hver af de enkelte aktiviteter kan man opstille en programteori, der så at sige bliver en del af den samlede mere overordnede programteori, som diagrammet illustrerer. Tager vi f.eks. indsatsen samtaler med barnet, ja så kan man se, at samtalen har som mål at skabe tillid til de voksne. Men hvilke resultater fører til dét mål? Og hvilke samtaleformer, samtale- 4 Fra Thomassen & Sørensen: Organisationsudvikling med virkningsevaluering. Evalueringsnyt nr. 7, juni 2005, s. 32 Side 8 af 13

9 vilkår osv. kan man antage vil give de ønskede resultater? Hvad skal der til, for at sådanne samtaler kan afvikles? Har man de nødvendige ressourcer osv.? For hver af de 6 aktiviteter kan der udvikles underordnede programteorier. Diagrammet viser kun en mere overordnet sammenhæng. Og hvis vi husker, at 'medinddragelse af børn' kun var ét blandt flere områder, der skulle arbejdes med, ja så er der altså også en endnu større sammenhæng, som de samlede aktiviteter, diagrammet illustrerer, skal indsættes i. Det skyldes selvfølgelig, at mit eksempel vedrører et meget omfattende projekt. Børn og Unge området i en kommune er en stor og kompleks størrelse at tage fat på. I U-turn kommer vi ikke til at skulle beskæftige os med så omfattende og komplekse forhold. Men dette eksempel skulle gerne vise, at selvom mit foregående eksempel med myggestikket kan være meget godt til at sætte et par grundlæggende begreber på plads så har det ikke meget med den virkelighed at gøre, man møder, når man skal arbejde med programteorier i virkeligheden. Der er typisk mange flere forhold at tage i betragtning. Og det kan ind imellem være vanskeligt at gennemskue sammenhængene mellem aktiviteter, resultater, virkninger, betingelser osv. Meget ofte er man nødt til at forenkle og udvælge dele af et projekt til evaluering man skal ikke tro at man kan opstille en plan, der kan rumme det hele. Så gælder det om at prioritere hvad er det væsentligste, man vil med sin evaluering? Man skal også regne med, at arbejdet med at opstille programteorien tager tid. Man kan godt regne med, at det tager 20 til 40% af den samlede tid, der bruges på en virkningsevaluering, at opstille programteorien. At vælge indikatorer Indikatorerne er som nævnt de punkter i programteorien, hvor man vælger at slå ned for at se, hvordan processen forløber og om den fører til de resultater og virkninger, man forventede. Ideelt set ville en beskrivelse af det hele fra start til slut jo være et godt datagrundlag. Men så kan man vist tilbringe resten af livet og lidt til med at evaluere. Man må udvælge nogle områder og udelade andre. Hvad man vælger afhænger naturligvis af den konkrete programteori, men følgende spørgsmål kan vejlede valgene: Hvor er der størst gevinst (for brugerne, organisationen, samfundet) Hvor er der størst usikkerhed om hvad det er, der sker? Hvor bruger man flest ressourcer? Hvor kan man bedst hjælpe til med at understøtte en beslutning? Hvor er det nemmest at skaffe relevante data uden alt for store omkostninger? At indsamle data Når man har udpeget, hvad det er for nogle områder, man gerne vil kigge nærmere på, skal man i gang med at finde ud af, hvordan man vil indsamle oplysninger om dem. Helt grundlæggende kan man opdele data i to forskellige slags: man taler om kvantitative data og kvalitative data. Med kvantitative data mener man, noget der kan kvantificeres dvs. tælles, måles, vejes. Kvalitative data kan ikke måles og vejes. Med ordet kvalitativ sigtes til indholdet i data. Hvilken type data man vælger at bruge, afhænger af formålet. Hvis jeg gerne vil vide noget om, hvor mange hhv. mænd og kvinder, der er i en gruppe, ja så er den smarteste måde at gribe det an på jo at tælle folk op på en liste, hvor jeg på forhånd har angivet de to muligheder. Det er kvantitative data. Side 9 af 13

10 Men hvis jeg nu gerne vil vide noget om kønsrollernes betydning for hhv. mænds og kvinders udbytte af at deltage i gruppen, så bliver jeg ikke meget klogere af at tælle dem op. Men så kunne jeg jo f.eks. interviewe nogle af de mænd og kvinder, der i gruppen, og få at vide, hvad de forstår ved kønsroller og hvordan de oplever at kønsrollerne spiller en rolle osv. I stedet for tal og diagrammer får jeg nu en masse tekst meninger, holdninger, synspunkter, historier og fortællinger, som jeg må i gang med at analysere. Analyse af kvalitative data er langt hen ad vejen et spørgsmål om at beskrive og fortolke de oplysninger, man har fået, på baggrund af det formål man har sat sig for undersøgelsen og evt. på baggrund af en mere generel viden, man har, om emnet eller området. Afsluttende bemærkninger Forhåbentlig giver ovenstående et indblik i, hvordan tilgang og metoder tænkes at skulle tage sig ud. Og forhåbentlig er det lykkedes at give en rimeligt nede på jorden beskrivelse uden dog at lægge skjul på, at helt enkelt er det altså ikke. Noget bliver kompliceret fordi de begreber, der bruges er uvante andet fordi virkeligheden simpelthen er en indviklet størrelse at få hold på over et par sider. Med dét her som med så meget andet forholder det sig imidlertid sådan, at godt nok kan man læse sig til meget, men skal man lære det, må man prøve det selv. Mange af de ting, der forekommer uvante og indviklede, vil man så efterhånden blive mere fortrolig med. En af de helt store fordele ved at arbejde med programteorier er, at mange af de antagelser, der ligger til grund for det man går rundt og gør, bliver gjort tydelige også for én selv. Man tvinges til at finde svar på spørgsmålene: Hvad er det egentlig vi går rundt og gør? og Hvorfor tror vi at det virker? Uanset om det fører til en evaluering eller ej, kan det faktisk være med til at give større oplevelse af mening og glæde med det man foretager sig, hvis man giver sig tid til at beskæftige sig lidt med de spørgsmål. Som regel sætter det også gang i en del kreative tanker hos dem, der deltager! Tidsplan I resultataftalen opereres med begreber som udviklingsplan, koncept o.m.a. Vi skal lige have ryddet lidt op i begreberne og sat dem ind i en virknings-evaluerings-sammenhæng. Processen handler derfor om: 1) at vi drøfter og udvælger nogle temaer, som der skal arbejdes med 5 2) at vi opstiller programteorier 6 for (nogle af) disse temaer 3) at vi udpeger indikatorer for de enkelte programteorier 4) at vi udvælger metoder til at måle/beskrive de forskellige indikatorer. 5) at vi udvikler redskaber og andre praktiske forudsætninger for at bruge de valgte metoder 6) at vi indsamler oplysningerne (data) 7) at vi analyserer oplysningerne 8) at vi samler og formidler resultaterne I løbet af 2007 skal alle fire teams nå igennem punkt 1-4. Om vi kan nå længere inden årsskiftet må bero på en vurdering i efteråret Det vil sikkert variere mellem teams ene. Slagets gang tænkes tilrettelagt således: Ad. 1) Temaerne drøftes og udvælges enten på baggrund af undersøgelser eller de foreløbige erfaringer i de enkelte teams. Disse drøftelser foregår på et halvdagsseminar for hvert enkelt team. 5 Resultataftalens udviklingsplan sættes her lig med at finde trem til nogle temaer 6 Resultataftalens koncept sættes her lig med programteori Side 10 af 13