Lånesparekasser i Malawi: et RCT projekt Helene Bie Lilleør Selskab for Surveyforskning 15. september, 2011
Om evaluering af sociale interventioner Medicinske vs. samfundsfaglige evalueringsmetoder Evalueringer af sociale interventioner har forskellige formål og dertil forskellige metoder, for eksempel implementeringsprocessen udvikling af en intervention udgifter ift. aktiviteter outcome effekter (her er RCT the golden standard ) RCT er meget kvantitativt, resultatet er et tal Men sociale interventioner er oftest frivillige med RCTs kan man nu i effektberegningen tage højde for denne selv-selektion ind i projektet! 2
RCTs af sociale interventioner Hvad har vi lært af den medicinske RCT i effektevalueringen af sociale interventioner? At fokus på (i) T1, (ii) T1-T0, eller (iii) T1-K1 kan give et misvisende billede af den sande effekt At treatment og kontrolgrupper kan gøres perfekt sammenlignelige v. randomisering Så effekten = (T1-T0)-(K1-K0) Ingen selvselektionseffekt, ingen ekstern effekt Førmåling / baseline Eftermåling / endline Treatment T0 T1 Kontrol K0 K1 3
Den sociale RCT s begrænsninger Ingen placebo: Kan ikke skelne ml. deltagelse og intervention Effekt af deltagelse i en samlet intervention Om det virker? Ikke hvad der virker i interventionen Heller ikke hvorfor det virker Medmindre, man gennemfører grundige surveys splitter interventionsdelene kobler med kvalitative studier. 4
Lånesparekasser i Malawi et eksempel Introduktion af financielt marked i landsbyerne, omend lille. 1-3 grupper i hver landsby 15-25 medlemmer 1 jernkasse m 3 hængelåse en bankbog til hvert medlem ugentlige møder tvungen opsparing kredit på skift egen fastsættelse af rente kvartalsvis kasseopgørelse 5
Hvorfor valgte vi RCT effektevaluering? Målbare outcomes: fattigdomsindikatorer, fødevaresikkerhed, madforbrug Forventning om kraftig selv-selektion Fattigdomsgrad Personlighed (iværksættere eller buffer savers ) Ægteskabskvaliteten Forventning om stærke eksterne effekter Tørke Politisk uro Jordskælv 6
Hvordan designede vi RCT en? Lånesparekasserne skulle introduceres i 46 landsbyer i det nordlige Malawi (23 T + 23 K) Introduktion på landsbymøder i alle landsbyer Liste af interesserede blev noteret Randomisering blev forklaret som noget kommende Oversampling af HH er fra interesse-listen Gradual roll-out med fuld implementering efter 2 år Randomisering på landsbyniveau Man kan ikke udelukke spill-over effekter Etisk mere forsvarligt Baseline i 2009, endline i 2011. 7
Hvad forventer vi at kunne sige? Om det har haft forventet effekt på outcomes. Men også mere end det Stort survey modul på outcome measures og en lang række individuelle og husholdningskarateristika Ca 1800 HHer interviewet Heraf 800+ HHer med interview af både manden og af konen med meget detaljeret spørgeskema Vi forventer at kunne svare på Hvilke typer HHer og individer har meldt sige Hvilke har haft mest gavn af projektet Har der været afledte effekter? Ingen kvalitative studier, men oplagt mulighed 8
Konklusion & Validitet RCTen vil danne grundlaget for evidens Har projektet haft effekt i treatment landsbyerne? Lignende effekt må forventes i kontrollandsbyerne Høj intern validitet Horisontal ekstern validitet Men lav vertikal ekstern validitet Implementeringen af en RCT kræver omtanke og godt partnerskab med implementerende partner RCT er giver gode muligheder for at kombinere evaluering med forskning 9