Stofmisbrug -bedre behandling til færre penge Munkebjerg 20-21. marts 2012 Professor Hanne Kathrine Krogstrup Det Samfundsvidenskabelige Fakultet Aalborg Universitet
Stofmisbrug Bedre behandling for færre penge? Munkebjerg 20.-21. Marts
Definition af evaluering Systematisk retrospektiv vurdering af processer, præstationer og udfald i offentlig politik, som tiltænkes at spille en rolle i praktiske handlingssituationer
Systemmodellen
Nemme at definere Kan adskilles fra andre problemer Klare kriterier for bedste løsning Løsningen er af teknisk karakter Tamme problemer
Vanskelige at definere Vanskelige at adskille fra andre problemer Der er ikke objektive kriterier for den bedste løsning Mange variable er inddraget i løsningen Kontekst har indflydelse på interventionen og på effekterne heraf Vilde problemer
Alle interventioner er baseret på antagelser om, hvad der virker "Hvad virker, for hvem, hvornår og i hvilken sammenhæng?" Såfremt en effekt ikke opstår, kan det skyldes 1) at interventionsteorien er forkert 2) Implementeringen sker ikke i overensstemmelse med det foreskrevne Generative mekanismer
Interventionsteorier er dynamiske Mange interventionsteorier er i spil Interventioner er ikke lineære Interventioner er indlejret i systemer Interventioner ændres over tid Interventioner fortolkes for skelligt Interventionens karakteristika
Sikker effekt indebærer, at variabel X forårsager Y, hvis og kun hvis X uvægerligt fører til Y. Det betyder, hvis X er til stede, da vil Y nødvendigvis og uundgåeligt forekomme. Sikker effekt udtrykker en lovmæssighed. Et centralt begreb i forbindelse med sikker effekt er alt andet lige, så vil X producere Y Deterministisk effekt
Sandsynlighedseffekt vil sige, at en forøgelse eller formindskelse af en bestemt faktor tilsvarende vil forøge (eller formindske) sandsynligheden for, at en bestemt effekt er tilstede. Det er således muligt at specificere betingelserne under hvilke X mere eller mindre sandsynligt vil forårsage Y statistisk og analytisk generalisering Probabilistisk effekt
Prætest Intervention Post test Vilkårlig indsatsgruppe Måling af outcome variable Intervention Måling af outcome variable Vilkårlig kontrolgruppe Måling af outcome variable Ingen intervention Måling af outcome variable Eksperimentelle design
Det randomiserede kontrollerede forsøg Quasi-eksperimentelle design Før og efter sammenligninger Procesevaluering, formative studier og aktionsforskning Kvalitative studier og etnografisk design Deskriptive guidelines og eksempler på god praksis Professionelle og ekspertvurderinger Brugervurderinger The Golden Standard- Evidens hierarkiet
Forskningsbaseret evaluering Eksperimentelle evalueringer Casebaseret evaluering Metaevalueringer Hverdagsevaluering Evalueringsdesign Forskningsbaseret/hverd agsviden
Dybde men ikke bredde Hvordan og hvorfor spørgsmål Casestudiet fokusere på særlige tilfælde Kan være multiple (generalisering) Forklaringskraft, når man ved lidt Fokusere på det særlige tilfælde Har ikke eksplicitte metodebindinger Caseorienteret evaluering
BIKVA-modellen Kompetenceevaluering Interessentmodellen Realistisk evaluering Eksempler på caseorienterede modeller
Sammenfatter en række evalueringer Metaevaluering som reviewproces (Cochrane) Udvælgelse af emne Udarbejdelse af forskningsprotokol Godkendelse af protokol Identifikation af primærstudier Selektion af studier, der skal udgå Syntetisering af data Endelig rapport Kontrol af rapportens kvalitet Metaevaluering eksperimental society
Problemstilling afklares og præciseres Afsøgning af alle studier og kilder Internet, databaser, personlige kontakter Hypotesegenerering Ny programteori eller forfinelse af eksisterende Syntese: A, be aware of B, take care of C, D can result in both E and F; G and H means Formidling helt afgørende Metaevaluering synthesizing
Præimplementeringsevaluering Metaevaluering Opsummerer antagelser Hurtig vurdering Interview nøgleinformanter Fokusgrupper Observation Survey Hverdagsevaluering opfølgning
1: Opfølgningsspørgsmålet defineres 2: Effektmål defineres 3: Interventionsteorien defineres 4: Indikatorer fastsættes 5: Analyseenhederne defineres 6: Data defineres 7: Data indsamles 8: Foreløbig dataanalyse 8-11 : Ny problemformulering 12: Nye indikatorer for implementering og effekter 13: Opfølgning Kvalificeret opfølgning