Evalueringsbølgen og det frivillige sociale arbejde



Relaterede dokumenter
Inspiration til arbejdet med børnefaglige undersøgelser og handleplaner INSPIRATIONSKATALOG

Gruppeopgave kvalitative metoder

DIO. Faglige mål for Studieområdet DIO (Det internationale område)

EFFEKT OG EVIDENS: HVAD, HVORFOR OG HVORDAN? HELLE HANSEN NETE KROGSGAARD NISS

EVALUERING AF BOLIGSOCIALE AKTIVITETER

Effektundersøgelse organisation #2

Samråd i Finansudvalget den. 30. januar 2015 om god arbejdsgiveradfærd

Artikler

BESKÆFTIGELSESINDSATSEN IFØLGE BORGERNE I FRIKOMMUNER FEBRUAR 2014

Diakonalt nærvær fællesskab, der rækker ud. Fokusgruppeinterview og spørgeskemaundersøgelse. Refleksioner af sognediakon Hanne Hummelshøj Februar 2014

De 5 positioner. Af Birgitte Nortvig, November

Hvad er sammenhængen mellem ledelse, mål og resultater på de danske gymnasieskoler?

Evaluering af familierådslagning i Børne- og Ungerådgivningen

22 juni 2015 Frivillighedsrådets bemærkninger til forslag om NY SOCIALPOLITIK

SAMMENFATNING RESUME AF UDREDNINGEN ARBEJDSLIVSKVALITET OG MODERNE ARBEJDSLIV

Fra Valg til Læring potentialer i at skifte perspektiv

Læservejledning til resultater og materiale fra

Bilag B Redegørelse for vores performance

Indholdsfortegnelse INDLEDNING... 7

Dimittendundersøgelse 2013 Administrationsøkonomuddannelsen. En kvalitativ undersøgelse

Professionsprojekt 3. årgang Demokrati i skolen

Indledning. Pædagogikkens væsen. Af Dorit Ibsen Vedtofte

TILFREDSHEDSMÅLING PÅ SØHUSPARKEN. Notat til: Syddjurs Kommune

Mistanke om seksuelle overgreb mod børn i daginstitutioner

KONSTRUKTIV KONFLIKTKULTUR

Hvordan kan man evaluere effekt?

POLITIK FOR DEN ATTRAKTIVE ARBEJDSPLADS I GENTOFTE KOMMUNE November 2008

Mobning blandt djøferne

Evaluering af underviser. Coaching af underviser

Dimittendundersøgelse Socialrådgiveruddannelsen

Metoder til refleksion:

Indhold. Dansk forord... 7

TUBA. Håndtering af alkoholmisbrug i hjemmet Spørgeskemaundersøgelse blandt lærere september 2014

Resultatdokumentation og evaluering Håndbog for sociale tilbud. Temadag om resultatdokumentation Socialtilsyn Øst, 16. januar 2016

Effektmåling. Ulf Hjelmar. Workshop. forskningsprogramleder Anvendt KommunalForskning (AKF)

Notat vedr. resultaterne af specialet:

Udvikling af trivselsstrategi eller læseplan med et forebyggende sigte

Individer er ikke selv ansvarlige for deres livsstilssygdomme

Selvevaluering 2016: Den pædagogiske strategi

Tips og vejledning vedrørende den tredelte prøve i AT, Nakskov Gymnasium og HF

Et oplæg til dokumentation og evaluering

1. Hvad er det for en problemstilling eller et fænomen, du vil undersøge? 2. Undersøg, hvad der allerede findes af teori og andre undersøgelser.

Evalueringsnotat. Værktøj til systematisk tidlig opsporing af kronisk sygdom hos mennesker med psykiske lidelser på botilbud

Kreativt projekt i SFO

Resultatdokumentation og evaluering Håndbog for sociale tilbud. Temamøde Socialtilsyn Hovedstaden, 7. oktober 2016

Flere frivillige til kirkens aktiviteter? oplæg ved Charlotte Juul Thomsen Center for frivilligt socialt arbejde

Lær jeres kunder - bedre - at kende

Differentieret social integration som teoretisk og praktisk redskab i aktiveringsarbejdet

Idékatalog til MX. - Forslag til rekruttering og fastholdelse

Indledning. Problemformulering:

Den studerendes afsluttende evaluering af praktikken Praktikperiode: 1/ / Generelt:

Den åbne skole samarbejde mellem skoler og idrætsforeninger

ÅBENT HUS ANALYSE FORÅRET 2015 ANALYSENS INDHOLD

Gentofte Skole elevers alsidige udvikling

Kreative metoder og Analyse af kvalitative data

Børnehave i Changzhou, Kina

Hvad er skriftlig samfundsfag. Redegør

Vidensbegreber vidensproduktion dokumentation, der er målrettet mod at frembringer viden

Dansk Clearinghouse for Uddannelsesforskning

EVALUERINGSDESIGN: HOLMSTRUPGÅRDS BESKÆFTIGELSESRETTEDE INDSATS

Evaluering af ny metode til at skabe sammenhæng mellem skole og praktik

Vi har ca. 1 time. Jeg har taget lidt med, så vi ikke sidder her og tørster. Tag en kop kaffe/te/kakao og en croissant. Gør dig det behageligt.

Frivilligt, socialt arbejde - i arbejdstiden!

Marte Meo metoden anvendt i en pårørendegruppe til demente.

Læringsmå l i pråksis

Indhold. Forord 9. 1 At frembringe viden om praksis 13

Evaluering af de boligsociale helhedsplaner

Krise og arbejdsmiljø. Ledernes syn på finanskrisen og dens betydning for det psykiske arbejdsmiljø

Interviewguide lærere med erfaring

Indhold. Del 1 Kulturteorier. Indledning... 11

Kortlægning af seksuelle krænkelser. Dansk Journalistforbund

At the Moment I Belong to Australia

HuskMitNavn Fysisk handicappede på Faaborgegnens Efterskole. "... vi er hinandens verden og hinandens skæbne." K.E. Løgstrup

BØRNEINDBLIK 5/14 ELEVER ER BEKYMREDE FOR FOLKESKOLEREFORMEN

Sådan gennemfører du en god ansættelsessamtale

Effektkortet. din vej til udvikling EFFEKTKORT. Effektkort. Trumfkort EFFEKTKORTET. i rådgivning og projektledelse. Få overblik over processen:

Formålet er at se på sammenhænge mellem visiterede ydelser, metoder og indsats.

EVALUERINGS- MODELLER OG METODER NETE KROGSGAARD NISS, SENIORKONSULENT, SFI

Ledelsesevaluering. Formål med afsæt i ledelsespolitik og ledelsesværdier. Inspiration til forberedelse og gennemførelse

Vi har ca. 1 time. Jeg har taget lidt med, så vi ikke sidder her og tørster. Tag en kop kaffe/te/kakao og en croissant. Gør dig det behageligt.

Kort gennemgang af Samfundsfaglig-, Naturvidenskabeligog

Evaluering Opland Netværkssted

Danskerne, islam og muslimer Af professor Peter Nannestad, Institut for Statskundskab, Aarhus Universitet

Lejrskolen. en autentisk lejrskole gav en kick-start. Af Birthe Mogensen, lærer, og Birgitte Pontoppidan, lektor

Frafald et vildt problem af Helle Brok, leder VIA UC Psykomotorikuddannelsen. Indholdsfortegnelse. Kvalitetssikring en nødvendighed.

Akademisk tænkning en introduktion

2. Spm1. Er det en fordel med et preformuleret(?) specialeprojekt? Og i givet fald hvorfor? Eller er det bedst selv at være med?

Forandringsteori for Frivilligcentre

Patientperspektivet på læge-patientrelationen i almen praksis. med særligt fokus på interpersonel kontinuitet

Rollespil Projektsamarbejde Instruktioner til mødeleder

EVALUERING AF PROJEKTER

Selvevalueringsrapport 2011

Aktøranalysemodellen

Sparringsværktøj Kollegial og ledelsesmæssig sparring i Flere skal med

Om indsamling af dokumentation

Et oplæg til dokumentation og evaluering

Virkningsevaluering en metode til monitorering og evaluering af patientuddannelse. Michaela Schiøtz Cand.scient.san.publ., Ph.d.

Formål & Mål. Ingeniør- og naturvidenskabelig. Metodelære. Kursusgang 1 Målsætning. Kursusindhold. Introduktion til Metodelære. Indhold Kursusgang 1

BibDok. Guide til BibDok. En metode til at dokumentere effekt af bibliotekets indsatser

Transkript:

Evalueringsbølgen og det frivillige sociale arbejde - En analyse af konsekvenser og strategier Masteropgave ved Master i Evaluering, Syddansk Universitet Af Nete Krogsgaard Niss Sommer 2013 Vejleder: Peter Dahler-Larsen

Indholdsfortegnelse 1 INDLEDNING 1 1.1 Problemformulering 2 1.2 Opbygning af opgaven 2 2 METODE 3 2.1 Kvalitative metoder 3 2.2 Kilder 3 2.3 Interviews 4 2.4 Analyse 5 2.5 Generalisering 7 2.6 Afgrænsning og definitioner 7 3 EVALUERINGSBØLGEN OG DET FRIVILLIGE SOCIALE ARBEJDE 10 3.1 Hvem er de frivillige? 10 3.2 Hvad motiverer de frivillige? 10 3.3 Evalueringsbølgens perioder 12 3.4 Evalueringsbølgen i det frivillige sociale arbejde 13 3.5 Påvirkninger af det frivillige sociale arbejde 15 3.6 Delkonklusion 26 4 STRATEGIER FOR HÅNDTERING AF EVALUERINGSBØLGEN 27 4.1 Dekobling som idealtype 27 4.2 Dekobling i praksis 30 4.3 Fordele og udfordringer ved dekobling 34 4.4 Integration som idealtype 38 4.5 Integration i praksis 40 4.6 Fordele og udfordringer ved integration 46 4.7 Andre strategier 52 5 OPSUMMERING OG DISKUSSION 53 5.1 Konklusion 53 5.2 Generalisering 54 5.3 Anbefalinger 54 6 LITTERATURLISTE 56 BILAG 1: EKSEMPLER PÅ INTERVIEWGUIDES 59 Interviewguide frivillige Lolland 11. april 2013 59 Interviewguide Jane, URK 24. april 60 BILAG 2 KODELISTE 61

1 Indledning Det frivillige sociale arbejde spiller en vigtig rolle i vores samfund. Nogle vil endda gå så vidt som til at sige, at velfærdssamfundet og dermed mange borgere er helt afhængige af det (Aarup 2011). Flere har de sidste år givet udtryk for, at den frivillige indsats i højere grad end i dag skal løfte velfærden (Mikkelsen & Kragh-Schwarz 2012; Theut 2013). Derfor er der også meget fokus på området, herunder hvordan man sikrer, at det frivillige arbejde supplerer og ikke overtager almindelige offentlige ydelser, og der er udarbejdet et nyt sæt spilleregler for samspillet mellem det offentlige og frivillige (Arbejdsgruppen for fornyelse af frivillighedscharteret 2013). Også resultaterne af det frivillige arbejde har der været fokus på. Det frivillige sociale arbejde er således også blevet ramt af evalueringsbølgen. I den senere tid er kravene til evaluering og dokumentation på området skærpet. Siden 2006 har Socialministeriet i høj grad benyttet sig af resultatbaseret styring eller performance management i forhold til det frivillige sociale arbejde (Frederiksen 2006a). Frivillige får ikke løn Ikke fordi de er værdiløse men fordi de er uvurderlige Udviklingen er modtaget med en vis skepsis fra den frivillige sektor. Nogle er stejlet og har frygtet at krav om dokumentation og evaluering Forsiden af Frivilligcenter Lollands årsrapport 2012 ville ødelægge essensen af det frivillige arbejde, nogle har været pragmatiske og har håndteret det, dog uden den store begejstring, mens endnu andre har taget evalueringsbølgen til sig (Frederiksen 2006b). I dette projekt analyseres betydningen af den nuværende praksis for evaluering og dokumentation for det frivillige sociale arbejde på mikro- og mesonivaeu, herunder: hvordan opleves evalueringskravene af de frivillige (mikroniveau) hvilken betydning har det for de frivillige organisationer? (mesoniveau) Derudover er der en afledt betydning på makroniveau, nemlig for det danske samfund. Hvis de frivillige sociale organisationer ændrer karakter, får det også en betydning for det arbejde, som organisationerne leverer, og som mange borgere får gavn af. Det er især denne afledte betydning, som gør spørgsmålene særdeles relevante. Problemstillingen tydeliggør et dilemma mellem tillid og kontrol, som er relevant i forbindelse med evaluering i mange sammenhænge, men har en særlig karakter på det frivillige område. På den ene side finansieres en del af aktiviteterne i de frivillige foreninger af offentlige midler. Derfor har samfundet en legitim ret og pligt til at holde øje med, hvad midlerne bruges til, og det fører til krav om evaluering og dokumentation af det arbejde, som udføres i foreningerne. På den anden side arbejder frivillige efter nogle andre forhold og logikker end eksempelvis offentligt ansatte. Motivation for arbejdet er altafgørende, da de ikke får løn for arbejdet, og evaluering og dokumentation kommer let til at virke demotiverende, da de frivillige måske ikke har lyst til at bruge tid på det, og da kontrol kan være ubehagelig. 1

Som det fremgår, er der valide argumenter, der taler for, at der bør være kontrol med de frivilliges arbejde og valide argumenter, der taler for at undlade kontrollen af hensyn til de frivilliges motivation. Jeg er på den baggrund interesseret i, hvordan man kan tackle dette dilemma i praksis med udgangspunkt i de frivillige sociale organisationers egne strategier for at håndtere evalueringsbølgens udfordringer. 1.1 Problemformulering Ovenstående leder frem til en todelt problemformulering. 1. Hvordan påvirker evalueringsbølgen, med fokus på den nuværende evaluerings- og dokumentationspraksis, de frivillige og de frivillige organisationer på det sociale område? 2. Hvilke strategier bruges af de frivillige sociale organisationer til at håndtere kravene til evaluering og dokumentation, og hvilke implikationer har disse strategier? 1.2 Opbygning af opgaven Opgaven er opbygget, så jeg starter med et metodeafsnit, hvor jeg beskriver min fremgangsmåde og de metodiske overvejelser, jeg har gjort mig i den forbindelse. Herefter følger et overordnet afsnit om det frivillige sociale arbejde og evalueringsbølgen efterfulgt af en analyse, der ved at belyse, hvordan evaluering på området påvirker de frivillige og deres organisationer, har til formål at besvare første del af problemformuleringen. Derefter vender jeg mig mod det andet spørgsmål i problemformuleringen, nemlig hvilke strategier organisationerne anvender til at håndtere krav om evaluering, og hvilke implikationer strategierne har. Jeg opstiller to idealtypiske strategier til håndtering af evaluering i de frivillige sociale organisationer, som jeg kalder dekobling og integration. For hver idealtype sammenholder jeg empirien med idealtypen og analyserer hvilke fordele og udfordringer, der er ved strategierne både i teorien, og på den måde de praktisk anvendes. Herunder analyseres, hvilken betydning de to strategier har for den påvirkning af området, der blev vist i opgavens første del. Til sidst opsummeres, og jeg forsøger i en samlet diskussion at uddrage nogle fremadrettede anbefalinger til bevillingsgivere og frivillige sociale organisationer. 2

2 Metode 2.1 Kvalitative metoder I projektet benytter jeg kvalitative metoder, primært interviews, til at afdække problemstillingen. Kvalitative metoder er valgt, fordi jeg har ønsket at have fokus på at forstå nogle mønstre og sammenhænge indenfor et område, som er komplekst. Designet har været fleksibelt forstået på den måde, at interviewene ikke har været stramt styret, at jeg har revideret interviewguides løbende, og mit analyseapparat er først blevet færdigt efter at alle interviews er foretaget. Jeg havde dog gjort mig nogle forestillinger om problemstillingerne fra starten. Jeg lavede hurtigt nogle indledende hypoteser på baggrund af min forudgående viden om evaluering samt litteratur om det frivillige sociale område. Mit første interview var derefter med Mette Hjære fra center for frivilligt socialt arbejde, som gav mig nogle overordnede betragtninger om evaluering på området, hvilket har kvalificeret de efterfølgende interviews med personer i de frivillige organisationer. Analysen er altså blevet til i et samspil mellem teori og empiri og en blanding af induktiv og deduktiv metode. 2.2 Kilder Min primære kilde er en række interviews, som jeg har foretaget. Jeg benytter mig i udvælgelsen af interviewpersoner af principperne for purposeful sampling (Patton 2002, s.230 246). Jeg er interesseret i at finde ud af, hvordan forskellige typer af frivillige og frivillige organisationer påvirkes af og håndterer evalueringsbølgen. Interviewpersonerne er dermed udvalgt, så de repræsenterer en vis bredde, ikke i statistisk forstand, men så de er med til at belyse problemfeltet fra flere vinkler. Nogle informanter fortæller også om flere organisationer eller om andre frivillige. Det betyder, at der er en god variation i de erfaringer, der ligger til grund for empirien. Informanterne varierer blandt andet på parametrene alder, uddannelsesmæssig baggrund og rolle i organisationen, mens organisationerne varierer i størrelse og landsdel. Jeg har afholdt interviews med følgende: Mette Hjære, evalueringskonsulent i Center for frivilligt socialt arbejde Marie Herborn, Centerleder, frivilligcenter Lolland Anja Sigvard Nielsen, frivillig i forskellige små foreninger og lønnet projektleder på frivilligt projekt om voksenvenner til børn, Lolland Per Larsen, formand for Hjælpesagen, Lolland Mogens Hansen, formand, Den Boligsociale Fond, Lolland Birthe Funk, bestyrelsesformand for frivilligcenter Lolland og formand for Ældrerådet Lolland Lisbeth Andersen, frivillig projektleder, Café nyt liv, Lolland Brian Lenz, leder af Sydhavnscompagniet Jacob Krarup, sekretariatsleder, Ungdommens Røde Kors Jane Sepstrup, formand for evalueringsgruppen, Ungdommens Røde Kors Lauge Rasmussen, tidligere evalueringspraktikant, Ungdommens Røde Kors 3

Derudover bruger jeg materiale fra bogen Læring unplugged (Madsen 2012b), hvor der er interviewudskrifter af forskellige personer fra Blå Kors Danmark, som jeg har valgt at ligestille med mine egne interviews. Man kan anskue mit undersøgelsesdesign som et multipelt casestudie (Yin 1994, kap.2), hvor jeg undersøger, hvordan de arbejder med evaluering i en række mindre foreninger på Lolland, en mindre forening i København og to større landsdækkende foreninger. Jeg har valgt de små foreninger, fordi jeg de er underrepræsenteret i litteraturen om frivillighed i Danmark generelt og i litteraturen, der specifikt vedrører evaluering og dokumentation på det frivillige område. Jeg har udvalgt foreninger både i København og Lolland, fordi befolkningssammensætningen er markant forskellig. Jeg deltog i en generalforsamling i frivilligcenter Lolland og havde på dagen adgang til at tale med en række af deltagerne. Dem jeg har interviewet er blevet peget på af frivilligcenterleder Marie Herborn (som også indgår som informant). Hun har udvalgt personer, som hun vidste havde en eller anden erfaring med evaluering og formentlig også en holdning til det. Det er dermed ikke den helt gennemsnitlige frivillige der er spurgt, hvilket kan påvirke resultaterne mod stærkere holdninger ift evaluering. Alle hun spurgte sagde ja. Ungdommens Røde Kors og Sydhavnscompagniet blev udpeget af Mette Hjære fra center for frivilligt socialt arbejde, som interessante. Ungdommens Røde Kors er en af de frivillige sociale organisationer, der har taget evalueringsudfordringen mest på sig. Samtidig adskiller den sig fra de andre ved at bestå af unge mennesker, hvor mange af de andre mest har ældre som frivillige. Blå Kors Danmark er egentlig ikke en frivillig social organisation, idet den ikke primært bygger på frivillige kræfter, men derimod en NGO. De har dog en stor gruppe frivillige og arbejder nonprofit, så derfor har de mange fællestræk med en frivillig social organisation, og jeg har på den baggrund vurderet, at de alligevel var relevante. Blå Kors Danmark er valgt, fordi de bygger på et kristent værdigrundlag, og dermed adskiller sig fra de andre foreninger. Samtidig er deres arbejde, herunder nogle af de udfordringer de har mødt, veldokumenteret i to bøger (Madsen 2012b; Broe et al. 2007). Udover interviewene består min empiri af baggrundmateriale i form af oplysninger om forskellige relevante puljer samt beskrivelser af metoder i hhv. Blå Kors Danmark og Ungdommens Røde Kors i form af hhv. bogen Dokumentation og resultatmåling i Blå Kors Danmark og et internt notat om processer og arbejdsgange på evalueringsområdet i Ungdommens Røde Kors. Derudover benytter jeg mig af andres surveymateriale i forbindelse med analysen af, hvem de frivillige er og motiver til frivillighed samt naturligvis relevant teoretisk litteratur. 2.3 Interviews Interviewformen har været semi-struktureret med inspiration fra Kvale (2009). Det indebærer, at jeg ved hvert interview havde lavet en interviewguide med forskningsspørgsmål og en række formulerede interviewspørgsmål, som jeg kunne bruge til at belyse forskningsspørgsmålene. Hver gang startede jeg med at lade interviewpersonen fortælle om sit arbejde i den frivillige 4

organisation for at få interviewpersonen til at komme i gang ved at fortælle om noget enkelt, kendt og dermed trygt. Derfra gik vi videre til at tale om evaluering. I de fleste interviews brugte jeg interviewguiden meget lidt, fordi vi løbende kom ind på alle emnerne, ved at jeg fulgte op på noget, interviewpersonen allerede talte om. Jeg forsøgte at være neutral i mine egne formuleringer, så interviewpersonen ikke blev påvirket af spørgsmålene, men derimod talte ud fra egne erfaringer. Jeg forsøgte endvidere at få mange konkrete eksempler frem. To eksempler på interviewguides er vedlagt som bilag 1. Mine informanter er naturligvis blevet påvirkede af min tilstedeværelse og mine spørgsmål på den måde, at de er blevet meget fokuserede på evaluering, som var mit eksplicitte emne i alle interviews. Jeg kan dermed ikke konkludere noget om styrken af deres holdninger til evaluering, og hvor meget evaluering påvirker dem. Det er dermed en teoretisk og praktisk mulighed, at evaluering faktisk ikke fylder særlig meget i deres frivillige arbejde. Men gennem eksempler har jeg indhentet en del data for, hvordan evaluering påvirker både de frivillige og deres organisationer og hvordan de håndterer det. Jeg vurderer dermed, at interviewene giver mulighed for at udlede nogle tendenser for, hvad evaluering betyder for det frivillige sociale område. Det er dog muligt, at nogle pointer i situationen er blevet sat på spidsen af interviewpersonerne, da de som tidligere nævnt var udvalgt, fordi de havde et forhold til evaluering. Eksempelvis kan man forestille sig at tendensen i de små foreninger på Lolland har været, at respondenterne har ytret, at de synes, der var for meget evaluering, da de foretrækker, at der bliver stillet færrest mulige krav. I Ungdommens Røde Kors har jeg derimod netop talt snakket med de personer i organisationen, som var mest entusiastiske omkring evaluering. Interviewene skal derfor ses i lyset af, hvem respondenterne er, hvilket der er taget højde for i analyser og konklusioner. Undervejs i interviewfasen udviklede jeg mine hypoteser om hvordan evaluering foregik i de frivillige sociale foreninger og hvordan det påvirkede de frivillige. Jeg opstillede modeller for positive og negative scenarier, reviderede løbende mine interviewguides og begyndte på en kodeliste til den senere analyse. 2.4 Analyse Alle interviews med kerneinformanter er blevet optaget og efterfølgende transskriberet. To interviews blev primært brugt til henholdsvis baggrund og uddybning og her blev der udelukkende skrevet et referat baseret på informantens egne ord. Alle interviewudskrifter og referater er vedlagt opgaven på USB-stick. For at kunne arbejde systematisk med mit materiale, kodede jeg alt empiri. Interviewudskrifter og referater blev kodet i NVivo. Nogle koder er begreber som motivation eller dekobling, mens andre er mere konkrete som ansøgninger eller forandringsteori. Mange af koderne blev som nævnt til i interviewfasen, og de fleste var på plads efter transskriberingen, hvor jeg fik et grundigt indledende indblik i materialet. Alligevel kom nogle af koderne til efter at selve analysearbejdet gik i gang, idet der opstod nye ideer. For at sikre at inklusionreglen (Dahler-Larsen 2008, s.46 5

48) blev opfyldt er alt materiale gennemgået efter at de sidste koder blev skabt. Materialet fra Blå Kors Danmark er kodet på samme måde som mit eget materiale, dog ikke i NVivo, da jeg ikke havde det elektronisk. Den endelige kodeliste med forklaringer er indsat som bilag 2. I analysefasen har jeg arbejdet systematisk for at undgå de fælder, som kan være nemme at gå i, når man arbejder med kvalitative data. Bazeley (2009) refererer til en havevandringsanalyse, når materialet bliver delt op i temaer, som læseren vises rundt i på behagelig, men dog begrænset oplysende vis. Brugen af citater til at bevise pointer bliver ligeledes kritiseret som en fejl, der ofte begås, hvilket ikke er hensigtsmæssigt, da ét citat kommer fra et omfattende materiale, og det er svært at gennemskue for læseren, hvilken værdi man kan tillægge netop det citat. Bazeley anbefaler i stedet at arbejde systematisk med at beskrive, sammenligne og relatere til anden litteratur samt at lave displays over sine data. Jeg har i min analyse arbejdet ud fra Bazeleys anbefalinger. I opgaven har jeg flere steder anvendt displays til at strukturere og fremvise data. Et display er en fremstilling af data i kondenseret form. Det kan være en liste over temaer eller fænomener, der falder indenfor en bestemt kategori. Det vil ofte være en matrice, hvor temaerne krydses med andre dimensioner som tid, rum, undersøgelsesenhed eller lignende. Et display kan også se ud på andre måder fx med pile, afhængig af hvad der giver bedst analytisk mening. (Dahler-Larsen 2008, s.41 43) Dahler-Larsen (2008) har også skrevet om at lave displays og opsætter tre regler for det: autencitetsreglen, inklusionsreglen og transparensreglen. Autencitetsreglen går ud på, at man skal benytte sig af data i den renest mulige form. Man skal ikke stole på, at man kan huske data, fordi menneskets evne til at drage hurtige (fejl)slutninger er meget stor. Inklusionsreglen indebærer, at alle data, der ligger indenfor ens kategorier, inkluderes i displayet. Det søgefelt man bevæger sig indenfor, skal være helt afsøgt, og man må ikke udelade data, der ikke passer ind. Transparensreglen indebærer at det skal være klart og gennemskueligt hvordan displayet er sat sammen, og der skal kunne argumenteres eksplicit for det. Min anvendelse af displays er foregået under iagttagelse af ovenstående tre regler. Nogle steder har jeg anvendt matricer med eller uden en teoretisk dimension, andre steder blot lister med indholdet i en bestemt kategori. Andre gange er analysen lavet uden displays, men stadig med samme systematik for øje nemlig at stille mange spørgsmål til data, at sammenligne og ikke udelukke anomalier. Citater er anvendt til at illustrere pointer undervejs ikke til at bevise dem. Da materialet fra Blå Kors Danmark ikke var indsat i NVivo, har jeg været meget opmærksom på at inkludere det manuelt, hver gang jeg har lavet forespørgsler i NVivo, som har været anvendt i analysen. 6

2.5 Generalisering Min ambition med denne opgave er at kunne sige noget om evaluering indenfor det frivillige sociale arbejde, som rækker ud over de enkelte organisationer og situationer, som jeg omtaler. Derfor er problemformuleringen formuleret generelt og ikke specifikt på de konkrete cases. Jeg stiler altså efter en vis grad af generalisering. Der kan naturligvis ikke være tale om statistisk generalisering, da jeg har få cases, de ikke er tilfældigt udvalgt osv. Analytisk generalisering er en anden form for generalisering, hvor man danner slutninger ved at koble data fra enkelttilfælde til teoretiske forestillinger (Yin 1994, s.30 32). I opgavens første del bruger jeg empirien til at vise hvilke mulige konstitutive effekter, der er af evaluering på det frivillige sociale område. I opgavens anden del ridser jeg nogle idealtyper op om, hvordan forskellige typer organisationer reagerer på evaluering, for derefter at bruge empirien til at analysere, hvordan idealtyperne passer på de forskellige typer organisationer, og hvilke konsekvenser det har. I hele opgaven inddrages konteksten som forklarende element for at styrke muligheden for at generalisere til andre lignende situationer. På den måde bliver det til dels læserens ansvar at vurdere i hvilket omfang en anden situation minder om på en sådan måde, at man kan generalisere fra mine resultater.(kvale & Brinkmann 2009, s.289 290) 2.6 Afgrænsning og definitioner Jeg beskæftiger mig udelukkende med frivilligt socialt arbejde altså interesserer jeg mig i denne sammenhæng ikke for frivillige i idrætsforeninger og lignende, idet jeg vurderer, at der er stor kvalitativ forskel på de to grupper, både i forhold til de ressourcer foreningerne har til rådighed, den samfundsmæssige betydning af arbejdet og den motivation, de frivillige har til arbejdet. Social- og Integrationsministeriet (2013a) definerer frivilligt arbejde som en indsats, der er udført uden nogen former for tvang, ikke er lønnet, udføres for personer uden for den frivilliges egen familie, er til gavn for andre end en selv og egen familie og er formelt organiseret. Således afgrænser det sig blandt andet fra pleje af familiemedlemmer, selvhjælpsgrupper samt spontane handlinger som at følge en ældre dame over vejen. Det frivillige arbejde er tillige socialt, når aktiviteten retter sig mod de målgrupper, som den sociale sektor beskæftiger sig med, det vil sige udsatte børn og unge, ældre, personer med et handicap, udsatte eller vanskeligt stillede grupper. Frivilligt socialt arbejde bruges som en samlet betegnelse for frivillig indsats, frivillig organisation og for de aktiviteter, som frivillige organisationer driver, hvad enten det sker med frivillig arbejdskraft eller med lønnet arbejdskraft, og som foregår inden for det sociale område. (Social- og Integrationsministeriet 2013a) 7

Jeg tager udgangspunkt i ovenstående definition, da jeg finder, at den er tilpas velafgrænset og praktisk, samt at den passer med den forståelse, som de fleste, der arbejder med frivilligt socialt arbejde, har. Der er foretaget flere undersøgelser af frivilligt arbejde generelt. Jeg har i dette projekt primært fokuseret på den litteratur, der specifikt vedrører frivilligt socialt arbejde og brugt data fra de undersøgelser, der har dette fokus. Afgrænsningen af hvilke typer frivilligt arbejde jeg dermed beskæftiger mig med er relativt snæver. Til gengæld beskæftiger jeg mig med frivilligt arbejde på både mikro- og mesoniveau, som nævnt i indledningen. Jeg har endvidere fokus på evaluering og dokumentation i en meget bred forstand. Vedungs (2009) ofte anvendte definition af evaluering lyder: Systematisk retrospektiv vurdering af processer, præstationer og udfald i offentlig politik, som tiltænkes at spille en rolle i praktiske handlingssituationer. Denne opgave har et bredt sigte, og jeg vil gerne inkludere aktiviteter, som minder om evaluering uden at falde indenfor den egentlige definition. Dette er valgt, fordi evalueringsbølgen har ført krav med sig om dokumentation mv., som er relevant for min problemstilling. Jeg vælger derfor at behandle evaluering og dokumentation som en samlet enhed, som defineres således aktivitet, hvortil der oftest er tilknyttet dataindsamling, med henblik på at beskrive, dokumentere eller vurdere en indsats, herunder indsatsens aktiviteter, målopfyldelse, resultater eller langsigtede effekter. Til forskel fra Vedungs definition behøver det ikke være systematisk, det behøver ikke være i offentlig politik og det behøver ikke tiltænkes at spille en rolle i praktiske handlingssituationer. Der behøver end ikke være en vurdering, idet jeg også behandler ren dokumentation. Inden for projektet arbejdes således med alle former for statusrapporter, afrapporteringer såvel som egentlige evalueringer, der falder indenfor Vedungs definition. Fokus er endvidere også på planlagt evaluering og dokumentation, dvs. den type, der bliver beskrevet i puljeansøgninger mv., og som dermed ikke er retrospektiv. I opgaven er evaluering meget knyttet til tildeling af økonomiske midler og de processer, der hører til at søge om penge og afrapportere til bevillingsgivere. Det skyldes flere ting. For det første har næsten alle organisationer erfaringer med området. For det andet er det meget konkret og dermed nemt at tage afsæt i i en interviewundersøgelse. For det tredje er det en oplagt kobling, idet det er her kravene kommer mest tydeligt til udtryk, da man ikke får adgang til midler, hvis ikke man leverer en vis form for dokumentation og evaluering. Det betyder dog ikke, at det er den eneste mulige kobling. Der er tre typer af institutionelt pres fra omgivelserne; regulativt, kognitivt og normativt (Jacobsen & Thorsvik 2008, s.192 196). Det regulative pres hænger sammen med lovgivning eller andre 8

lignende mekanismer der tvinger organisationen til en bestemt opførsel. Her er det bevillingssystemet, der meget konkret tvinger de frivillige sociale foreninger til at udøve en vis evaluerings- og dokumentationspraksis, hvilket opgaven som nævnt tager afsæt i. Det normative pres indebærer, at organisationen må tilpasse sig de overordnede værdier i samfundet for at blive anerkendt, og det kognitive pres handler om de internaliserede antagelser om hvordan man bør handle i en given situation. Organisationerne har brug for andet end penge de har også brug for legitimitet. Både fordi legitimitet er en indirekte vej til penge, men også for at tiltrække frivillige, for at brugere ønsker deres hjælp, og for at de kan lave samarbejder med eksempelvis kommuner. Samtidig fører en højere uddannelse blandt de frivillige til, at de selv fører nogle forventninger med om eksempelvis at tage effektspørgsmål op. De forskellige typer pres spiller også i høj grad sammen. Eksempelvis ville Blå Kors Danmark gerne være på forkant for at i omverdenen blive opfattet som en fagligt højt kvalificeret leverandør, efter at de oplevede, at kommunerne begyndte at stille spørgsmål om, hvad de fik for pengene, og hvordan de vidste, om det virkede (Jessen 2012, s.72f). Eksemplet ligger på kanten mellem regulativt og normativt pres. Koblingen til penge er dermed i høj grad et praktisk metodisk valg, som repræsenterer det mest synlige pres. De andre typer pres er ikke systematisk udeladt af opgaven, men de kommer ikke tydeligt til udtryk og man bør derfor have in mente, at presset også stammer fra andre sider. Jeg beskæftiger mig primært med tildeling og anvendelse af offentlige midler. Her står problemstillingen skarpest frem, jf behovet for kontrol i den parlamentariske styringskæde. Men selv om der er et særligt behov for at sikre en fornuftig anvendelse af offentlige midler, kan problemstillingen sagtens overføres til private puljer og fonde især de større puljer som Trygfonden, som evalueringsbølgen også har ramt. Disse puljer har brug for legitimitet, hvilket de får ved at kunne vise effekten af de projekter, som de støtter. Der er derfor ofte lignende krav om evaluering og dokumentation tilknyttet disse puljer. 9

3 Evalueringsbølgen og det frivillige sociale arbejde Dette kapitel indledes med hvem de frivillige på det sociale område er, og hvad der motiverer dem. Det følges af et afsnit om evalueringsbølgen generelt og derefter specifikt på det frivillige sociale område. Med afsæt i konstitutive effekter og ved brug af det empiriske interviewmateriale gives derefter svar på problemformuleringens første del hvordan påvirker evalueringsbølgen det frivillige sociale område? 3.1 Hvem er de frivillige? I en spørgeskemaundersøgelse foretaget i 1999 blandt frivillige i sociale foreninger, kommer man ind på hvordan den typiske frivillige er (Habermann 2007, kap.4). Kategorien sociale foreninger er sammensat af frivillige fra Dansk Røde Kors, frivilligcentraler og pensionistforeninger. Her falder pensionistforeninger måske lidt udenfor, da deres frivillige også selv er en slags modtagere de er selv med i aktiviteterne. De udgør dog kun 8 % af det samlede antal frivillige i undersøgelsen (69 ud af 881). Kvinder udgør 79 % af de frivillige på det sociale område. Samtidig er halvdelen over 60 år og to tredjedele er over halvtreds år. De frivillige i frivilligcentralerne er den yngste gruppe, idet der på det område er 28 % under 40 år. Aldersfordelingen spiller ind på respondenternes tilknytning til arbejdsmarkedet, idet 52 % er pensionister. Herudover er 6 % studerende, 10 % er arbejdsløse og 26 % er i lønnet arbejde. Det forekommer naturligt at personer udenfor arbejdsmarkedet fylder meget i det frivillige arbejde, da de må formodes at have mest tid. Boolsen (1988, s.111) beskriver de frivillige indenfor det sociale arbejde som ressourcestærke, idet hendes undersøgelse viser, at de føler, de mangler viden i forhold til det arbejde, de laver, men også at de lærer noget nyt af arbejdet. Med det konkluderer hun, at de tager godt imod udfordringer. Habermanns undersøgelse viser i tråd hermed, at størstedelen af gruppen har over 3 års uddannelse ud over folkeskolen, og at de arbejder i gennemsnit 24 timer om måneden med det frivillige arbejde. Der tegner sig altså et billede, selv om gruppen ikke er homogen, af en gruppe fortrinsvis ældre kvinder, som stadig er ressourcestærke og aktive og derfor har lyst til at bruge deres energi på frivilligt socialt arbejde. De fleste har været aktive i længere tid, 44 % i over seks år, og 54 % har været frivillige tidligere. 3.2 Hvad motiverer de frivillige? De frivilliges motivation er en central del af problemfeltet, idet det frivillige sociale arbejde er afhængigt af, at der findes motiverede frivillige. I det følgende skitseres forskellige motivationsfaktorer, som er relevante for de frivillige. 3.2.1 Grundlæggende teorier om motivation Det meste motivationsteori vedrører motivation på et almindeligt lønnet arbejde. Her ligger en central del af motivationen for at gå på arbejde i bytte-ordningen, hvor man udveksler sin 10

arbejdskraft for penge. Dette er naturligvis ikke relevant i tilfældet med frivilligt arbejde. Men også for almindeligt arbejde kan der være andre motiverende faktorer end lønnen fx selvudvikling og autonomi. Herzberg taler om hygiene- og motivationsfaktorer. Hygienefaktorer er de faktorer, der skal være til stede for, at man ikke mistrives som medarbejder fx sikkerhed for arbejdet og lønnen. Motivationsfaktorerne er derimod de faktorer, der gør at man er motiveret for sit arbejde og trives, og det er fx frihed til selv at tilrettelægge arbejdet. (Jacobsen & Thorsvik 2008, s.ff) På en almindelig arbejdsplads er hygienefaktorerne grundlæggende elementer, mens motivationsfaktorerne kan være med til at sikre, at medarbejderne gør en ekstra indsats. På det frivillige område er lønnen fraværende og bytte-ordningen, som hygienefaktorerne balancerer, er fraværende og dermed ikke relevante. Men motivationsfaktorerne kan sagtens have afgørende betydning. Det er netop særligt vigtigt, at frivillige er motiverede til og af deres indsats, da fraværet af løn betyder, at de ellers ikke vil vælge at arbejde. En anden relevant motivationsfaktor er den såkaldte public service motivation, som går ud på, at offentligt ansatte i høj grad er motiverede af at gøre en forskel (Houston 2006, s.68 71). Public service motivation handler ikke om den løn, den ansatte får for arbejdet, men derimod om en tiltrækning af offentlig politik, et engagement i den offentlige interesse, omsorg og selvopofrelse. Denne type motivation er formentlig også relevant for mange frivillige. 3.2.2 Motivation af frivillige på det sociale område Der kan grundlæggende tales om tre forskellige principper for motivation til at påtage sig frivilligt socialt arbejde (Boolsen 1988, s.105). For det første kan der være tale om et altruistisk motiv. Man forventer ikke at få noget igen, men udfører handlingen udelukkende for andres skyld. Man taler om godgørenhedsprincippet. Dette er den traditionelle opfattelse af, hvorfor nogle mennesker udfører frivilligt arbejde. Siden er en ny teori kommet til, som kaldes exchange theory, som grundlæggende går ud på at den frivillige også får noget igen. Det leder frem mod det andet princip, som er gensidighedsprincippet. Her får den frivillige glæde af at være til nytte og får måske samtidig nye oplevelser og ny viden ud af det. Det tredje princip er solidaritetsprincippet, hvor den frivillige identificerer sig med dem, han hjælper og interesserer sig for årsagerne til uligheden. Det kan føre til, at man har lyst til at hjælpe på forskellige måder og i nogle tilfælde også, at man kæmper for deres sag i en bredere politisk kontekst. Ofte vil alle tre årsager være på spil på samme tid. Det altruistiske motiv lægger sig tæt op ad en public service motivation, mens gensidighedsprincippet mere ligner Herzbergs motivationsfaktorer. Solidaritetsprincippet går på tværs, da det på den ene side indebærer, at man gerne vil gøre en forskel for en særlig målgruppe, og på den anden side får man selv noget ud af det, da man identificerer sig med målgruppen. 11

En anden sondring er, om motivationen er baseret på en tanke om værdien i at gøre nytte i modsætning til værdien af at gøre det gode (Dahler-Larsen 2012a, s.53). Det er grundlæggende forskellen mellem et nytteetisk argument og et pligtetisk argument. Nogle frivillige er stærkt værdibårne og dermed drevet af pligtetikken dette gælder nok særligt i de meget værdibaserede frivillige organisationer, som de kirkelige organisationer. Andre er drevet af at gøre en forskel for andre og er dermed drevet af den effekt, deres arbejde har, hvilket følger af en nytteetisk logik. I en undersøgelse fra Israel, om hvad der drev de frivillige i kibbutzlejrene i 70 erne, konkluderes, at de primære motiverende faktorer er: (Boolsen 1988, s.109) Mulighed for selvudvikling, dvs. fagligt udbytte At man kan se resultaterne af egen indsats At arbejdet er behageligt og uden pres og stress. Herunder at der er autonomi i arbejdet, så man undgår konflikter med kolleger. Denne undersøgelse peger dermed primært på gensidighedsprincippet de frivillige forventer at få noget tilbage. Godgørenhedsprincippet gør sig muligvis også gældende, men det er ud fra en nytteetisk logik, idet man gerne vil se resultaterne af indsatsen. Der er altså flere forskellige motivationsfaktorer for frivillige. Hvilken type motivation, der driver den enkelte frivillige, er naturligvis individuelt. Jeg vender senere tilbage til, hvordan evaluering påvirker de frivilliges motivation. 3.3 Evalueringsbølgens perioder Dahler-Larsen (2012b) beskriver i bogen The Evaluation Society, at evaluering groft sagt har været igennem tre perioder: 1. Modernitet 2. Den refleksive modernitet 3. The audit society Kendetegnende for den moderne periode er, at man har indset at fremskridt ikke kommer automatisk, men man har stadig en meget optimistisk tro på, at vejen mod fremskridt er rationel dataindsamling og beslutningstagning.(dahler-larsen 2012b, s.102) Her har evaluering en helt central rolle som kilde til den viden, der kan fremme udviklingen. I det man når til den refleksive modernitet spreder evaluering sig internationalt gennem mimetiske, normative og regulative processer som en del af New Public Management og tiltag som for eksempel PISA-undersøgelser (Dahler-Larsen 2012b, s.146). Evaluering er institutionaliseret og er ikke længere noget, der tænkes over, det er bare noget, man gør. Samtidig er der sket en bevægelse væk fra den meget rationelle måde at tænke evaluering. Der er fokus på at fremme anvendelse gennem fx ejerskab, kvalitative metoder bruges mere, og der ses et behov for, at man skal helt tæt på evaluanden for at lave en evaluering. Centralt i perioden er kontingens 12

og refleksivitet. Til gengæld er evaluering en uforudsigelig aktivitet, den er svær at anvende og hjælper ikke til at reducere kompleksitet, da man ikke kan sammenligne data. I den periode som Dahler-Larsen kalder the Audit Society slår rationaliteten tilbage, og der kommer igen fokus på forudsigelighed, antisubjektivisme, fokus på procedurer og værdier, der ikke kan forhandles (Dahler-Larsen 2012b, kap.6). Der er en frygt for skandaler, som man gerne vil sikre sig mod ved at skabe kontinuerlige kvalitetssikringssystemer. Idealtypen for hvordan evaluering foretages i denne periode, er med såkaldte evalueringsmaskiner. Evalueringsmaskiner er automatiserede, gentagne evalueringsprocesser, som er indbygget i organisationen og uafhængige af individer. De dækker typisk alle områder af en organisation alt skal evalueres og indikatorer og konklusioner er simplificerede. Evalueringsmaskiner kritiseres fra mange sider. (Dahler-Larsen 2012b, kap.7) Noget af kritikken går på, at de ikke virker, men blot udføres rituelt, og noget af kritikken går på, at de virker og skaber konstitutive effekter. De tre ovenstående perioder har ført mere og mere evaluering med sig. Evalueringsbølgen, som det populært kaldes, har ramt stort set alle felter. Således også det frivillige sociale arbejde. 3.4 Evalueringsbølgen i det frivillige sociale arbejde I dette afsnit gives der nogle oprids af, hvilken form evalueringsbølgen har taget på det frivillige område. Oplysninger kommer primært fra Center for frivilligt socialt arbejde samt Social- og Integrationsministeriets hjemmeside, hvor de informerer om deres puljer på området, og hvordan man søger. Socialministeriet 1 har siden 2006 ønsket at anvende performance management eller præstationsstyring indenfor det frivillige sociale arbejde.(frederiksen 2006a). Det indebærer, at de har haft et øget fokus på effekterne af det frivillige sociale arbejde og en forventning om, at foreningerne dokumenterer opnåelse af effekterne. (Frederiksen et al. 2009, s.4) Mette Hjære fra center for frivilligt socialt arbejde forklarer:..skiftet går på, at du skal indtænke din dokumentation fra starten i dit projekt og redegøre for, hvilke resultater du forsøger at opnå med dit projekt. (Mette Hjære, s.1) Center for frivilligt socialt arbejde og Socialministeriet indgik i et samarbejde om at udvikle en dokumentationskultur for at fremme præstationsstyringen. Det ledte efter afprøvning af metoderne i fire frivillige sociale organisationer til publikationen Viden & Virkning en håndbog om dokumentation af frivilligt socialt arbejde. Håndbogen har fokus på to elementer: opbygning af forandringsteori 2 og opstilling af indikatorer, som skal være SMART-sikrede 3. (Frederiksen et al. 2009) 1 I 2006 hed det Socialministeriet. I 2011 blev det lagt sammen med Integrationsministeriet til Social- og Integrationsministeriet. 2 Forandringsteori er i denne forbindelse identisk med det, der ofte kaldes en programteori indenfor evalueringslitteraturen. 13

I samme periode har Integrationsministeriet 4 haft ønsket om at gøre brug af effektmåling i deres puljestyring og beskriver fire trin til dette:(integrationsministeriet 2006) 1. Formulering af præcise mål, som er styrende for indsatsen (SMART-sikrede) 2. Udarbejdelse af forandringsteori for, hvordan de tilstræbte effekter skal nås 3. Udvikling af præcise indikatorer for, hvad succesfuld målindfrielse er 4. Løbende monitorering med dataindsamling og vurdering af præstationer De fleste af informanterne i min undersøgelse har stiftet bekendtskab med både forandringsteori og SMART-sikrede mål, og det må derfor konkluderes, at de bruges bredt indenfor det frivillige sociale område. I ansøgningsskemaerne for puljer indenfor området fx PUF (puljen til frivilligt socialt arbejde), så skal man i ansøgningen og senere i afrapporteringen beskrive formål, målgruppe, forventede resultater eller mål, og hvordan man vil dokumentere målopfyldelsen. Projekter over 100.000 kroner skal typisk være med SMART-sikrede mål på brugerniveau, og i standardafrapporteringsskemaet skal man angive målopfyldelse i % i forhold til disse mål. (Social- og Integrationsministeriet 2013b; Social- og Integrationsministeriet 2013c) I kommunerne hvor de frivillige også kan søge midler, er kravene mindre, idet der typisk kun skal skrives om formål og målgruppe (Marie Herborn s. 7) Kendetegnet for evalueringsbølgen indenfor det frivillige sociale arbejde er dermed først og fremmest et øget fokus på resultater eller effekter. Der bruges primært fire delvist overlappende metoder: 1. Opstilling af mål (eller som minimum et formål). Ofte både kort- og langsigtede. De skal ofte være på brugerniveau. 2. En gennemtænkt plan for dokumentation af målopfyldelse. 3. Målene er SMART-sikrede. 4. Opstilling af forandringsteori. Performance Management hører til i den refleksive modernitet, hvor NPM havde sit indtog, og ideerne med opstilling af mål og SMART-sikring hører til i denne tradition. Forandringsteorier kommer til senere i den refleksive modernitet og bygger på, at evalueringen skal ligge tæt op ad aktiviteten, og at der kan bruges kvalitative mål, hvilket passer i kontingens-tankegangen. Der er dog stadig en forkærlighed for kvantitative mål i den måde forandringsteori og opstilling af mål italesættes på særligt ved det gentagne krav om SMARTe mål. Her har man forsøgt at tæmme kompleksiteten samtidig med, at der er bevaret plads til kontingens. 3 SMART mål er et akronym, der angiver, at målene skal være Specifikke, Målbare, Accepterede, Realistiske og Tidsbestemte. 4 Mange af disse puljer er også relevante for de frivillige sociale organisationer 14

3.5 Påvirkninger af det frivillige sociale arbejde Det følgende afsnit handler om, hvilke udfordringer der møder de frivillige organisationer, når de er blevet ramt af evalueringsbølgen, og hvordan de påvirkes. Et nyttigt begreb til at rumme de forskellige konsekvenser er konstitutive effekter. 3.5.1 Konstitutive effekter Det er almindelig kendt, at evaluering kan have konsekvenser. Ikke kun fordi evalueringen bruges til at udvikle indsatser og til at træffe beslutninger, men også fordi mennesker påvirkes af den proces, som det er at evaluere eller blive evalueret. Særligt simplificerede performance indikatorer kan have nogle meget synlige negative effekter, og litteraturen om denne type effekter ligger således i forlængelse af performance management-bølgen.(dahler-larsen 2013, s.1) Disse effekter er blevet benævnt perverse eller dysfunktionelle effekter. Men det en normativ tilgang, hvor det tilmed er uklart, hvori det negative består. Det, som en person ser som negative eller perverse effekter, kan for en anden person være en positiv effekt. En anden meget anvendt tilgang er at kalde det uintenderede konsekvenser. Men den betegnelse forudsætter, at der ligger en intention bag indikatoren eller evalueringen, som er entydig, kendt, og som der er konsensus om, hvilket langt fra altid er tilfældet. Desuden er det ikke nødvendigvis særlig interessant at skelne mellem intenderede og uintenderede konsekvenser (Dahler-Larsen 2013, s.1 4). Dahler- Larsen (2013) foreslår derfor at bruge begrebet konstitutive effekter om de effekter, som kommer af evaluering. Begrebet rummer den, måde værdier og handlinger ændrer sig på, når der evalueres. Ideen med konstitutive effekter er, at verden ændres, når den måles. Hvilke konstitutive effekter der er, afhænger blandt andet af, i hvor høj grad de benyttede indikatorer repræsenterer god kvalitet, dvs. indikatorernes validitet. Jo mere simplificerede målene er, jo større er risikoen for problematiske effekter. Man risikerer at bliver overfokuseret på målene, og der kan optræde decideret målglidning, hvor andre og måske vigtigere mål træder i baggrunden. Man taler om et decideret Performance paradox, når mere måling af kvalitet i praksis fører mindre kvalitet med sig (Dahler-Larsen 2012b, s.199). Konstitutive effekter kan også skabe fremskridt, hvis de har høj validitet og passer godt ind i den kultur, de bruges i (Dahler- Larsen 2012b, s.215f). Dahler-Larsen opstiller fem områder de konstitutive effekter kan vise sig på (Dahler-Larsen 2013, s.7). De kan bruges til at analysere mulige konstitutive effekter af et bestemt evalueringssystem: 1. Evaluering kan påvirke fortolkninger og verdenssyn. En organisations selvbillede kan ændre sig, når den kigger på sig selv med evalueringsbriller (Dahler-Larsen 2012b, s.205). 2. Evaluering kan påvirke indhold typisk ved at man ændrer måden man gør tingene på for få bedre evalueringsresultater. Fx ved at ansætte såkaldte hello-nurses, som ikke har anden funktion end at hilse på patienterne, når de kommer ind ad døren (Dahler-Larsen 2012b, s.199). 15

3. Evaluering kan påvirke tidsrammer, typisk ved at lade nogle ting gå hurtigere end man ellers ville. 4. Evaluering kan påvirke sociale relationer og identitet, fx hvis man sammenligner deltagernes resultater med hinanden. 5. Evalueringssystemer og indikatorer påvirker desuden sig selv og ændrer betydning over tid. Der er et overlap mellem nogle af ovenstående punkter. For det første kan tid og indhold være tæt forbundet, idet indholdet af en aktivitet nemt ændres, hvis man udfører den hurtigere (eller langsommere). For det andet er sociale relationer og identitet forbundet med deltagernes verdenssyn. Derudover giver mit materiale indikationer på, at evaluering også kan påvirke organisering, hvilket ikke falder ind under nogle af ovenstående punkter og derfor kan tilføjes som et sjette punkt af mulige påvirkninger. Ved at fokusere på konstitutive effekter kommer jeg ikke ind på, hvilken betydning evalueringsbølgen har for området på baggrund af anvendelsen af evalueringerne. En øget evalueringskultur kan medføre øget viden herunder om det sociale område, hvilket kan have en betydelig positiv effekt. Samtidig kan denne viden betyde, at midlerne fordeles bedre blandt de frivillige sociale organisationer. Projektet her tager udgangspunkt i de frivillige og deres organisationer, hvorfor det er påvirkningerne for dem, der medtages og ikke den brede analyse for samfundet. Derfor giver konstitutive effekter et godt analyseapparat. I det følgende afsnit vil jeg ud fra min empiri vise, hvilke konstitutive effekter den gældende evalueringspraksis viser sig at have for de frivillige sociale foreninger. Med udgangspunkt i de ovenfor skitserede områder for mulige påvirkninger, finder jeg påvirkninger indenfor tre hovedoverskrifter: 1. Påvirkning af indhold 2. Professionalisering (herunder påvirkning af organisering og sociale relationer) 3. Påvirkning af motivation og mening (herunder påvirkning af sociale relationer og fortolkninger) 3.5.2 Påvirkning af indhold Der fremkommer i det empiriske materiale tre åbenbare eksempler på konstitutive effekter af evalueringsarbejdet på indholdet i projekter, alle tre i samme projekt om voksen-venner til udsatte børn. Det første eksempel vedrører et spørgsmål, der blev stillet til børn i projektet. Spørgsmålet lød tror du forholdet til din voksenven vil holde? Informanten forklarede, at nogle børn blev meget ulykkelige over spørgsmålet, for de havde slet ikke forestillet sig, at det kunne slutte. De holdt derfor op med at stille spørgsmålet i hendes forening, men da det var en del af en national spørgeramme, er der nok en del børn, der er blevet påvirkede af det. (Anja Nielsen, s. 3) Det andet eksempel handler om nogle af de frivillige voksenvenner, som også blev spurgt gennem 16

en standardspørgeramme. De blev stødt og i tvivl om sig selv, på grund af spørgsmål om forholdet til deres bedste-ven. Når man har været sammen med et barn et vist stykke tid, så er følelserne jo ikke entydige mere, og det var voldsomt for nogle at sidde og fortælle, at de altså ikke altid var helt vildt glade for det her barn. Og nogle af dem blev også i tvivl om sig selv og tænkte, om det nu var det her de ville, når de nu ikke var vildt glade for det her barn. Så på den måde var det ikke en særlig god ting. (...) Der var i hvert fald en, der blev så meget i tvivl, at hun trak sig fra projektet. ( Anja Nielsen, s. 4) Det tredje eksempel går ud på, at projektet ændrer sig for at leve op til nogle mål: Informant: Jeg har tit oplevet, at folk prøver på snydemåder eller måder, som får konsekvenser for deres projekt at nå de her mål. Og det er rigtig, rigtig trist. Spm: Altså på en måde, hvor hvis de havde handlet på en anden måde, så havde det været bedre for projektet? Informant: Eksempel - voksenvenner til et barn. Der er nogle, man godt ved ikke passer sammen. Man sætter dem sammen alligevel. Så går der en måned, og så er det stor katastrofe for dem begge to. Men man har nået at få et match. Og det er altså rigtig, rigtig ærgerligt, for det har store menneskelige konsekvenser ( ) Spm: Og det er, fordi man er kommet til at gå for meget op i de der mål? Informant: Ikke kommer til, det er fordi man bliver presset ret voldsomt til at skulle gå op idet. (Anja Nielsen s.8) Informanten i ovenstående eksempel har altså oplevet et stort pres for at nå nogle på forhånd opstillede mål, hvilket har haft uheldige effekter på projektet med menneskelige konsekvenser til følge. Der er også en række eksempler på oplagte steder, hvor der kunne være konstitutive effekter, hvor det tilsyneladende ikke er tilfældet. Fx forklarer Marie Herborn, centerleder på Frivilligcenter Lolland, om nogle regler, som måske er på vej om, at budgetter skal laves månedsvis, følgende: Hvis det ikke har noget konsekvens, så synes jeg, det er tidsspilde. Og hvis det har den konsekvens, at man kun må bruge pengene i den måned, så kan det være rigtig problematisk, for så skal man til at sende de her budgetændringer ind, ikke bare årligt, men måske hver anden måned. (Marie Herborn, s. 6) Her kunne man frygte, at konsekvenserne af stramningen blev, at man begyndte at placere aktiviteterne efter hvordan man havde placeret dem i budgettet, selv om det måske passede dårligt for de frivillige. Men tilsyneladende bliver konsekvensen kun, at der skal bruges mere tid på bureaukrati. 17