SFI: Effektmåling af sociale indsatser: Hvorfor og hvordan? Hvordan arbejder vi med resultat- og effektmåling et praksiseksempel fra Mødrehjælpen April 2016 Mads Roke Clausen
Lad os splitte gruppen op og hjælpe mødrene bedre!
There is seldom a single right answer to the complex organizational questions that we face. There are, however, plenty wrong answers and it is our responsibility to be aware of why and when different policies might be appropriate og inappropriate. Sue Dopson 2015
Tak for invitationen! Mødrehjælpen har ikke en universelopskrift på kvalitet eller resultatbaseret socialt arbejde Vi har gjort rigtige ting Og vi har lavet fejl Jeg vil gerne fortælle om det hele og vise konkrete eksempler
I februar 2015 modtog Mødrehjælpen SFI s jubilæumspris. Mødrehjælpen modtog prisen for at kvalificere sit arbejde for børn og forældre med forskningsbaseret viden, og for konstant at måle og dokumentere effekterne af deres indsats. I begrundelsen for prisen hedder det blandt andet: Mødrehjælpen har formået at skabe et unikt kredsløb mellem at inddrage forskningsmæssig viden, bruge den til udvikling af dokumentationen og samtidig bruge dokumentationen som dialogredskab med borgerne. Denne brug af forskning og dokumentation er eksemplarisk. De gør kolde hænder varme!
Mødrehjælpens formål At yde social, sundhedsmæssig, økonomisk og uddannelsesmæssig støtte til gravide og børnefamilier, som herigennem kan sikre deres børn bedre opvækst og levevilkår. At arbejde for øget offentlig og politisk forståelse for gravides og børnefamiliers levevilkår. At virke for en lovgivning, der i højere grad sikrer mulighed for en social, sundheds- og uddannelsesmæssig støtte til disse grupper.
Antal hjulpne 13000 12000 11000 10000 9000 8000 7000 6000 5000 4000 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Her kommer rosen
Da vi startede på rejsen i 2005 Situationen i Mødrehjælpen: Hvem er brugerne i Mødrehjælpen Med hvilke midler og redskaber har vi hjulpet dem? Når vi de mål, vi har sat os? Situationen i samfundet: Rigsrevisionen: Der mangler viden om effekter af sociale projekter i Danmark
De første skridt Vi har et etisk ansvar Det rigtige hold af ledere Mørke skyer truer og håndslag: Ledelsesværdier og nysgerrighed
Vores principper og hvad vi gjorde rigtigt Det handler om læring Tryghed: - Ingen fyringer, - Hvordan holder vi et godt møde om data - Ordbog - Manualer er vigtige, men kan ikke erstatte dygtige medarbejdere og supervision Vi er socialarbejdere, vi laver ikke forskning Stå fast på ledelsesværdierne
Ting vi ikke skulle have gjort For komplicerede systemer Omfattende videnskabelige spørgeskemaer på små indsatser Vi glemte ordborgen
Lederskabsstile og kultur Den kommanderende/tvingende stil Gør som jeg siger Nyttig i turnaround, katastrofer og ved modstand (når alt andet er prøvet) Den autoritative stil Kom med mig Hun sætter de overordnede mål, men lader medarbejderne finde deres egne metoder til at nå dem. Den demokratiske stil Hvad synes du? Opbygger medejerskab og fleksibilitet men også langsom og dyr pga. mange møder og medarbejdere kan føle mangel på lederskab Temposætteren Gør som jeg gør, nu! Hun sætter høje standarder, er effektiv og går forrest selv. Godt for selvmotiverende medarbejdere og meget kompetente medarbejdere men mange bliver overvældede og udmattede. Den samarbejdende stil People come first! Bygger tillid og harmoni men er mindre resultatorienteret Den coachende stil Prøv dette Virker bedst når medarbejderne allerede kender deres styrker og svagheder og ønsker at udvikle sig. Vanskelig af anvende når der er modstand. Kilde: Leadership that Gets Results by Daniel Goleman, Harvard Business Review 2000
Anvendte lederskabsstile Den kommanderende Den autoritative stil Den demokratiske stil Den coachende stil Den samarbejdende stil Tid
Lederstilenes betydning for arbejdsklimaet Den kommanderende/tvingende stil -26 Den autoritative stil 54 Den samarbejdende stil 46 Den demokratiske stil 43 Temposætteren -25 Den coachende stil 42
To dimensioner fire kulturer Høj Netværk Fælles fokus Social Vi er venlige og vi griner Fragmenteret Merkantil Lav Lav Kilde: What Holds the Modern Company Together by Goffee and Jones, HBR nov 1996 Solidarisk med sagen Vi arbejde effektivt for fælles mål Høj
Det ledelsesmæssige fokus 1. Strategi 8. Målinger 2. Ledelse 7. Teknologi Præstationer 3. Kultur 6. Metoder 4. Kompetencer 5. Struktur Kilde: Det canadiske Finansministerium - Selv-vurderingsredskab til implementering af RBS
100 Mødrehjælpens organisatoriske kapacitet til at rådgive resultatbaseret 90 80 70 60 50 40 2007 2010 2012 30 20 10 0 Kilde: Rambøll Management og egne målinger
Modellen for resultatbaseret arbejde indeholder 3 komponenter: Forandringsteori, der præciserer sammenhæng mellem indsatsens ressourcer, aktiviteter og effekter, således at der skabes en fælles ramme for arbejdet og målbare indikatorer. Indikatorsystem, der med afsæt i forandringsteorien måler resultater gennem dybdegående før/efter målinger og kontinuerlig opfølgning Datamodel, der sikrer løbende monitering og evaluering, som baggrund for læring på alle niveauer.
UVS den brede model Datamodel Forandringsteori Psykiske følgevirkninger af volden Social inklusion Uafhængighed af voldelige ekspartner Relation til barnet Bestyrelse/Chefgruppe * Årsrapport med klientstatistik, stam- og effektdata. * Løbende status på projekternes samlede effektdata, kan supplereres med data for projektets målopnåelse på de enkelte faser. Styregruppe *Årsrapporter med klientstatistisk, stam- og effektdata for afsluttede klienter, som kan suppleres med specificerede analyser. (jf rapport ovenfor) * Kvartalvis status for projektets progression opdelt på afdelinger. Indikatorsystem Psykiske tests Netværksskala Afhængighedsskala Stressbarometer Team * Månedlig status på teamets progression. * Månedlig klientstatistisk Medarbejder * Individuelle resultatlister. * Grupperesultatlister
Styregruppeudtræk, UVS, Begge afdelinger, 2. kvartal 2013 START Psykiske følgevirkninger FASE 1 RÅDGIVNINGS- BEHANDLINGSFORLØB Styregruppens kommentarer til resultaterne: (Retur til UVS oversigt) FASE 2: GRUPPEFORLØB FASE 3: EFTERVÆRN START TIL SLUT Før Efter Diff. Andel Før Efter Diff. Andel Før Efter Diff. Andel Diff Andel Diff Andel Angst/dep (1-4) 2,23 2,20 1,93-0,28 71% 2,16 1,85-0,31 71% 1,61 1,95 0,33 33% -0,45 75% - - 2,31 2,36 1,99-0,37 71% 2,2 1,91-0,28 67% 1,94 2,03 0,09 38% -0,42 69% -0,44 68% Traume (1-4) 2,25 2,17 2,01-0,16 59% 2,22 1,94-0,28 73% 1,65 1,85 0,19 33% -0,38 88% - - 2,22 2,32 1,98-0,35 79% 2,15 1,97-0,18 58% 2,02 2,03 0,01 46% -0,38 77% -0,49 75% PTSD (1-4) 2,79 2,73 2,70-0,03 36% 2,86 2,51-0,35 80% 2,33 2,19-0,14 33% -0,20 50% - - 2,78 2,76 2,44-0,33 67% 2,75 2,55-0,2 71% 2,63 2,57-0,06 58% -0,56 85% -0,37 71% Inklusion Stress ift økonomi (1-100) 55,25 50,34 54,03 3,70 40% 60 59-1 60% 28 47 19 33% -10 50% - - 55,73 58,15 50,16-7,98 49% 51 52 1 43% 60 63 3 31% -4 50% 0,72 48% Hverdagskompetence r * 46,39 37,07 38,30 1,23 63% 50 53 3 53% 77 67-10 67% -8 67% - - 34,72 18,86 22,43 3,57 29% 31 47 16 29% 47 52 5 33% 13 20% - - Netværk * 5,04 5,45 5,66 0,21 60% 5,23 5,11-0,13 40% 4,95 4,47-0,47 0% 0,59 83% - - 4,82 5,2 5,19 0 33% 5,58 5,27-0,31 43% 5,47 4,96-0,52 33% -0,67 0% - - Selvværd* 1,35 1,30 1,62 0,32 62% 1,32 1,65 0,33 80% 1,47 1,63 0,17 33% 0,35 67% - - 1,17 0,86 1,7 0,84 86% 1,21 1,64 0,43 57% 1,33 1,18-0,15 50% 1,46 100% - - Uafhængighed Stress ifb sikkerhed (1-100) 46,85 42,92 35,08-7,84 59% 37 22-15 73% 2 36 34 0% -6 63% - - 40,5 47,07 32,36-14,71 53% 36 25-11 51% 26 33 7 35% -24 71% -17,32 60% Stole på andre (1-100)* 52,52 51,56 62,99 11,43 56% 66 68 2 40% 52 47-5 67% 2 67% - - 39,06 27,71 27,14-0,57 43% 20 32 12 29% 59 55-4 50% 11 20% - - Stress over fars samvær 67,00 68,45 63,15-5,30 53% 60 56-4 53% 32 28-3 67% 9 38% - - 61,65 66,67 47,76-18,91 55% 51 42-9 46% 43 50 7 35% -31 64% -8,84 44% Uafhængighed af ekspartne 2,54 2,53 3,15 0,62 87% 2,87 3,33 0,47 60% 3,08 3,67 0,58 67% 0,69 100% - - 2,63 2,61 3,16 0,56 67% 2,86 3,68 0,81 77% 3,76 3,39-0,37 19% 0,71 79% 0,83 71% KORT LANGT
I Gang - Moderskab Andel progression 83% Andel status quo 4% Andel regression 13% Moderskab, samlet score 4,800 4,700 4,600 4,500 N = 1064,521 0% 20% 40% 60% 80% 100% 4,692 4,654 4,615 4,400 4,435 4,407 4,300 4,200 4,100 4,000 4,306 4,194 Moderskab, samlet (1-5) Forståelse af sig selv som en god mor (1-5) Følelse af evne til at varetage barns behov (1-5) 3,900 Måling 1 Måling 2 Måling 3 Måling 4
Nye venner 90 80 70 60 50 40 30 Legede dit barn med andre børn? Skal du/i mødes med nogen fra turen igen? 20 10 0 Ja Ved ikke Nej
Effekter af I Gang - uddannelse Pct. i udd. 0,25 Effekt på uddannelse 0,2 0,15 0,1 0,05 0-0,05 0 1 2 3 År -0,1-0,15 Kilde: CEBR 2014
Knus pokalen hvad sker der nu De forskellige læringsstiler kræver varieret reflektionsfora Mindre systemer Nyt koncept for forandringsteori Sprede vores viden
Tak for jeres opmærksomhed