Workshop 1 kl. 14.30-16.00 Torsdag d. 1. oktober 2015 Stella Mia Sieling-Monas, Ph.d.-stipendiat, Institut for Statskundskab, Aalborg universitet stms@dps.aau.dk
Kontroverser i forskning i socialt arbejde handler ofte om, hvordan vi bedst opnår viden omkring resultaterne af forskellige indsatser på socialområdet, og hvordan og hvornår det er muligt at sige noget om, hvorvidt en noget virker. Beskæftigelsesområdet er ingen undtagelse, herunder heller ikke indsatsen overfor borgere på sygedagpenge. Her har man igennem i en årerække diskuteret evidens og metoder til evalueringen af det komplekse interventionsområde, i forhold til hvordan vi bedst muligt sikrer viden om, hvilke aktive indsatser som bedst (og hurtigst) muligt hjælper borgere tilbage til raskmelding og ultimativt selvforsørgelse. Workshop-beskrivelse 1
Med udgangspunkt i en aktuel ph.d.-afhandling opridses de centrale poler i denne metode- og evidensdiskussion, og der præsenteres et bud på, hvordan man ved brug af virkningsevaluering kan forsøge at danne bro imellem hhv. proces- og effektmålinger på beskæftigelsesområdet. Det diskuteres hvorfor dette overhovedet er relevant og hvilke implikationer det eventuelt medfører. Der vil være sat god tid af til diskussion og spørgsmål både undervejs og afslutningsvis. Workshop-beskrivelse 2
Det debatteres ofte, hvorvidt noget virker. Men mener vi reelt set det samme, når vi spørger? Hvorfor er det vigtigt at vide noget om virkninger af interventioner? Hvilke tanker ligger bag (Tove Rasmussen?) og hvordan anvendes resultaterne af den viden der skabes på social- og beskæftigelsesområdet? Centrale spørgsmål
Når der efterspørges viden oppefra om, hvad der virker på beskæftigelsesområdet, er der en overvægt af fokus på særlige typer viden? Nogle metoder til frembringelse af denne viden fortrækkes. Dette taler ind i en større evidens-diskussion? Dette har konsekvenser for bevillinger (Hanne Warming - Kristoffer Kropp), fokus og for den viden vi får ud i den anden ende = ultimativ betyder det noget for den måde, fremtidens indsatser skrues sammen på? Påstande
RCT Systematisk meta-analyse Quasi-eksperimentelle studier Før-og-efter målinger Tværsnitsstudier Surveys Kvalitative casestudier og etnografisk forskning Professionelles og eksperters vurderinger Brugervurderinger Evidenshierarki
Hvilke studier har nydt opmærksomhed fra politisk side? Hvilke er lagt til grund for politik-formuleringer og reformer på beskæftigelsesområdet? Studier: TTA (2012), KVIS (2014), Høgelund (2012), AHT (2010) Hvidbøgerne (2008. 2010), m.fl. Videnportaler: Jobindsats.dk + jobeffekter.dk Hvad betyder det, at det er denne viden som vægtes? Eksempler på vigtige studier
Hvad er alternativerne?
Fordele: Såvel effekter som proces både virker det og hvorfor, hvordan, hvem? Potentiale for praksisnærhed. Fremgangsmåde: Formuleringen af programteoretiske antagelser Efterprøves empiriske ved brug af relevante metoder. Udfordringer: Tidskrævende metodefærdigheder efterspørgsel. Reduktion af virkeligheden til programteoretiske antagelser Mere om virkningsevaluering
Program Fysioterapeutisk træningsforløb Outcome Hurtig raskmelding Evaluering uden programteori Tilpasset fra Funnell & Rogers (2011)
Målgruppe Sygemeldte Aktivitet Fysisk træning Output Øget aktivitet Outcome (kort sigt) Forbedret kondition Outcome (langt sigt) Forbedret helbred Evaluering med programteori Tilpasset fra Funnell & Rogers (2011)
Kort om ph.d.-projektet Design og metoder Efterprøve forskelige dele af programteorien. Litteraturstudie Spørgeskema Registeranalyse Kvalitativt studie Analyse Et konkret projekt
Konstruktion af programteori: 1. Antagelser i lovgivningsmateriale & vejledninger. 2. Formulering af programteori baseret på lovgivningen Test af programteori: 3. Litteratursøgning (inspireret af realistisk syntese ). 4. Test: Sammenhold af programteori med resultater fra forskningslitteraturen => antagelserne efterprøves. Litteraturstudie - fremgangsmåde
Hvilke antagelser er centrale i sygedagpengelovgivningen? Overordnet: At aktive beskæftigelsesindsatser virker for sygedagpengemodtagere (aktivitet er bedre end passivitet). 1. At beskæftigelsesindsatsen skal forankres hos arbejdsgiver (for beskæftigede sygemeldte) eller være virksomhedsrettede (for ledige sygemeldte) 2. At indsatsen skal iværksættes hurtigst muligt efter sygemeldingen. Der lægges blandt andet vægt på tidlige samtaleforløb. 3. At indsatserne skal gå på tværs af beskæftigelses-, social- og sundhedssystem (helhedsorientering og tværfaglighed) Litteraturstudie - fremgangsmåde
Litteraturstudiet - programteorien
Efter konstruktion af programteori, udvælges litteraturen: Der er foretaget en emnebaseret søgning på strategisk udvalgte nøgleord Herunder sneboldmetode. Ingen metodeforrang. I alt 10 studier udvælges, alle publiceret efter år 2000. 5 udgør review af eksisterende dansk og international litteratur (ca. 400 primærstudier). De resterende 5 er evalueringer af forskellige typer af interventioner. Kriterier: Relevans overfor det aspekt af programteorien, som undersøges. Litteraturstudiet - udvælgelsen
Realistisk Syntese 1. Søgestrategi Søg efter relevant data og definer løbende krav til inddragelse 2. Kvalitetsvurdering Fitness of purpose vurder kvalitet efter relevans Systematisk Review Søg efter primærstudier under strenge krav til inklusion / eksklusion Fastlagte krav til metodologisk rigiditet og relevans 3. Udtræk Træk på forskellige data fra relevante kilder eksplorativt og selektivt. 4. Syntese Formål: at kvalificere programteori. Hvem, hvad, kontekst, osv.. Templates eller matrix til registrering af data fra primærstudier Fokus på effektstørrelser, konfidensintervaller, mv. Virker det? Litteraturstudiet - udvælgelsen Tilpasset fra Pawson et al. (2004)
Antagelse 1: Aktiviteterne skal være beskæftigelsesrettede: styrker den sygemeldtes netværk, arbejdsidentitet og kompetencer. Evidens for at virksomhedsrettede aktiviteter virker for sygedagpengemodtagere med muskel- og skeletbesvær. Indikationer af at indsatser som inddrager arbejdspladsen, øger beskæftigelseschancerne for sygemeldte med mentale problemer. Delvise rask- og sygemeldinger ser ud til at virke positivt generelt, men der er ikke tilstrækkelig viden om, hvordan det virker for borgere med forskellige typer helbredsproblemer. Resultater indikerer at effekter ved fysisk rettede indsatser i sundhedsvæsenet, forstærkes ved inddragelse af arbejdsgiver. Litteraturstudiet - resultater
Antagelse 2: Opfølgningssamtaler formodes at have en positiv effekt og medføre flere delvise raskmeldinger, når de gennemføres tidligt i sygefraværsforløbet: bidrager til arbejdsfastholdelse samt afklaring. Begrænset viden om effekten af tidlige opfølgningssamtaler. Resultaterne af evalueringer hvor samtaler udgør hele eller den væsentligste del af indsatsen, er modstridende. Der er ikke enighed i litteraturen om, hvornår en indsats betegnes som tidlig. Litteraturen tyder dog på at tidlige indsatser generelt har en positiv beskæftigelseseffekt, for sygemeldte med muskel og skeletbesvær Litteraturstudiet - resultater
Antagelse 3: Udredning skal bygge på helhedsorientering: tværfagligt samarbejde og koordination, navnlig mellem sundhedsvæsen, beskæftigelsessystem og arbejdsgiver. Litteraturgennemgangen viser at der er stærk evidens for at kontakt mellem aktører i sundhedsvæsenet og arbejdspladsen har positiv effekt for sygemeldte med muskel og skeletbesvær. Der er ikke tilsvarende undersøgelser der fokuserer specifikt på effekten af samarbejdet mellem sundhedsvæsenet og beskæftigelsessystemet Der er ikke tilsvarende undersøgelser der fokuserer specifikt på effekten for borgere med psykiske lidelser. Litteraturstudiet - resultater
Evalueringer af sygedagpengeindsatsen har været udbredt! Der er overordnede resultater, som peger på positive effekter af tidlige og virksomhedsrettede aktiviteter, særligt for sygmeldte med fysiske lidelser. Men Resultaterne er ikke entydige, eller så klare, som det kunne forventes! Mangler systematisk viden om, hvilke typer af beskæftigelsestilbud, som virker bedst overfor forskellige undergrupper (særligt mangler resultater for psykiske lidelser). Begrænset viden om kontekst. Begrænset viden om mekanismer hvad er dét som får det til at virke? Hvilke omstændigheder er afgørende? Vi mangler mere kvalitativ viden omkring jobcentrenes/kommunernes evne til at implementere lovgivningens målsætninger. Litteraturstudiet konklusioner
Udfordringer ved virkningsevaluering? Udfordringer ved at ændre vidensopfattelsen/efterspørgslen? Udfordringer ved implementering af den indhentede viden? Hvad er udfordringerne?
Oplevelser fra egen praksis? Er der hold i påstandene? Hvor er de bløde spørgsmål, og hvor er borgerne? Hvad betyder det for praksis? For uddannelserne? Hvordan sikres en mere nuanceret vidensproduktion? Hvorfor er det vigtigt med et mindre ensidigt fokus på metoder indenfor beskæftigelsesforskningen? Diskussion
Tak for jeres opmærksomhed Ph.d.-projektet løber fra 2013-2016. Se mere på www.hvadvirkerforhvem.wordpress.com Tak for i dag
Bredgaard & Sieling-Monas (2015): Er der evidens for antagelserne i beskæftigelsesindsatsen for sygedagpengemodtagere? Tidsskrift for Arbejdsliv, 2015/1 Bredgaard et al. (2016): Evaluering af offentlig politik og organisationer. Hans Reitzels Forlag Dahler-Larsen (2014): Evaluering af projekter. University Press. Funnell & Rogers (2011): Purposeful Program Theory, Josseybass. Krogstrup (2011): Kampen om Evidens, Hans Reitzels Forlag. Pawson & Tilley (1997): Realistic Evaluation, Sage publications. Rieper & Foss Hansen (2007): Metodedebatten om Evidens. AKF Litteratur