En case om udvælgelse af case studier. v/ Jens Kovsted Seminar: Evaluering af udviklingsbistanden DIIS, d. 23/

Transkript

1 En case m udvælgelse af case studier v/ Jens Kvsted Seminar: Evaluering af udviklingsbistanden DIIS, d. 23/

2 Baggrund Anden uafhængige evaluering af UNAIDS ( ). Gennemført af ITAD g HLSP fra aug-08 til dec-09. Samlet budget fr evalueringen ca. 2 mi. USD. Tr baseret på 12 spørgsmål, herunder: Arbejdsdeling: Sekretariatet, UNAIDS g de enkelte lande Glbal tilpasning til skiftende lkale frhld Hvedkmpnent var gennemførelse af 12 landestudier Prcesknsulent fr den permanente danske missin i Geneve sammen med Bjørn Melgaard

3 Om udvælgelse af case studier Valg af casestudie lande ffentliggjrt allerede i begyndelsen af kt. 08

4 12 case studier UKR IRN KAZ HTI CIV DRC ETH IND IDN VNM PER SW A

5 Om udvælgelse af case studier Valg af casestudie lande ffentliggjrt allerede i begyndelsen af kt. 08 Begrænset verensstemmelse mellem lande, hvr ITAD/ HLSP havde etableret samarbejde i frbindelse med afgivelse af tilbud

6 12 case studier GE O HND ZWE KEN IND

7 Om udvælgelse af case studier Valg af casestudie lande ffentliggjrt allerede i begyndelsen af kt. 08 Begrænset verensstemmelse mellem lande, hvr ITAD/ HLSP havde etableret samarbejde i frbindelse med afgivelse af tilbud Der lægges i beskrivelsen af valg af lande vægt på en balanceret udvælgelse Ifølge inceptin rapprt er udvælgelse baseret på lande karakteristika, repræsentatin af rganisatiner af interesse (UNAIDS, GFATM, PEPFAR) samt tidligere evalueringer (FIE af UNAIDS, GFATM g GTT).

8 UNAIDS SIE case studier Kategriseret g Ingen udvikling frenklet

9 UNAIDS SIE case studier

10 Om udvælgelsen Ppulatin (af lande) er velbeskrevet g - analyseret Spørgsmål til udvælgelse blev (trds gentagne frsøg) pfattet sm værende ekspnent fr udvælgelse (en randmista) Tilfældig udvælgelse blev afskrevet sm værende umulig g meningsløs pga. ppulatinens størrelse. Den balancerede udvælgelse svarede reelt til at dække hele udfaldsrummet (der imidlertid ikke var beskrevet i detaljer) Hvilke muligheder fr ikke- udvælgelse?

11 Udvælgelse af case studier Indsats, X Effekt, Y Den (frhldsvis ukendte) sande sammenhæng

12 Udvælgelse af case studier Indsats, X Effekt, Y Typiske cases

13 Udvælgelse af case studier Indsats, X Effekt, Y Ekstreme cases

14 Udvælgelse af case studier Indsats, X Effekt, Y Speciel case

15 Udvælgelse af case studier Indsats, X Effekt, Y Ift. indsats

16 Udvælgelse af case studier Indsats, X Effekt, Y Ift. udfald

17 Hvad endte vi med? Tilfældig udvælgelse (stratificeret eller betinget) ville have været muligt. Ingen bagvedliggende hyptese i spil ift. udvælgelse af cases. Alene hensyn til repræsentatin (dække hele udfaldsrummet) g referencer (tidligere evalueringer). Nævnes at generalisering fra cases alene havde været mulig, hvis udvælgelse af case studier havde været. Men Omfattende generalisering fra case studier i rapprt affødte kritik men ingen ændringer. Glbal pfølgning på SIE ffentliggjrt i mar-10 uden begrænsninger på ekstern validitet.

18 Hvrfr? Manglende viden m muligheder? Tilfældig udvælgelse eller ingenting? Manglende tid g/eller ønske m at udvise handlekraft? Tidlig frmulering af hyptese låser senere evaluering?

19 Backup slides

20 Tilfældig eller Ikke-? Tilfældig vs. Ikke- Stratificeret Simpel Snebldsudvælgelse Bekvemmeligheds udvælgelse Klynge Selv udvælgelse Kvte udvælgelse

21 Tilfældig eller Ikke-? Tilfældig vs. Ikke- Simpel Alle har samme (kendte) sandsynlighed fr udvælgelse Uafhængighed af bservatøren Kan beregne resultaternes pålidelighed

22 Tilfældig eller Ikke-? Tilfældig vs. Ikke- Simpel Stratificeret Opdeling i strata (grupper) i frhld til kendt(e) variabel med relatin til det man ønsker undersøgt Variable bruges sm basis fr udvælgelse af stikprøven Vælger et antal respndenter indenfr hver gruppe, der mdsvarer gruppens andel af ppulatinen Sikrer alle delgrupper er medtaget i stikprøven med den vægt de indgår i ppulatinen

23 Tilfældig eller Ikke-? Tilfældig vs. Ikke- Stratificeret Simpel Klynge Ppulatinen pdeles i delgrupper klynger, der er repræsentative. Alle i en valgt klynge indgår i stikprøven. Klynger afgrænses så mkstninger ved dataindsamling mindskes

24 Tilfældig eller Ikke-? Tilfældig vs. Ikke- Klynge Stratificeret Simpel Bekvemmeligheds udvælgelse Sikrer hurtig adgang til infrmatin (eks. de første 100 der besvarer udsendt brev/mail) Kan i ngle tilfælde tilnærme en udvælgelse Omkstninger hldes nede

25 Tilfældig eller Ikke-? Tilfældig vs. Ikke- Stratificeret Simpel Snebldsudvælgelse Bekvemmeligheds udvælgelse Klynge Beder respndenter m at finde flere respndenter Udnytter (lkal) viden Risik fr bias g/eller lukkede kredsløb Hlder mkstninger nede

26 Tilfældig eller Ikke-? Tilfældig vs. Ikke- Stratificeret Simpel Snebldsudvælgelse Bekvemmeligheds udvælgelse Klynge Selv udvælgelse Respndenter vælger selv at deltage netundersøgelser Oplagt selektinsprblem

27 Tilfældig eller Ikke-? Tilfældig vs. Ikke- Stratificeret Simpel Snebldsudvælgelse Bekvemmeligheds udvælgelse Klynge Selv udvælgelse Kvte udvælgelse Bevidst valg af analyseenheder udfra retningslinier, der sikrer, at kvten er sammensat sm ppulatinen i én eller flere dimensiner. Kun repræsentativ frstået sm sammensat sm ppulatinen mht. kvteringsvariable

28 UNAIDS SIE Baggrund UNAIDS ansvarlig fr krdinering g samarbejde i kampen md HIV/AIDS. Eksempel: The Three Ones (1 natinal plan, 1 natinalt krdinerende myndighed, 1 natinal evalueringsplan). Følgende rganisatiner spnsrerer UNAIDS: UNHCR, UNICEF, WFP, UNDP, UNFPA, UNODC, ILO,UNESCO, WHO g Verdensbanken. Bemærk især fraværet af PEPFAR g Glbal Fund. Etableret i 1994 g peratinelt i 1996, sekretariatet har hvedsæde i Geneve g har pt kntrer i mere end 80 lande. Anden uafhængig evaluering af UNAIDS dækkende periden Samlet budget fr SIE evaluering USD X milliner. Største udgiftspst i evalueringen er 12 casestudier, der skal afdække i hvilket mfang UNAIDS har frmået at skabe frandring g frbedringer på landeniveau.

29 UNAIDS SIE Baggrund

30 UNAIDS SIE Baggrund

31 UNAIDS SIE Baggrund Terms f reference fr evalueringen indehlder 12 centrale spm. sm evalueringen skal vurdere, herunder