En case m udvælgelse af case studier v/ Jens Kvsted Seminar: Evaluering af udviklingsbistanden DIIS, d. 23/11 2010
Baggrund Anden uafhængige evaluering af UNAIDS (2005-2010). Gennemført af ITAD g HLSP fra aug-08 til dec-09. Samlet budget fr evalueringen ca. 2 mi. USD. Tr baseret på 12 spørgsmål, herunder: Arbejdsdeling: Sekretariatet, UNAIDS g de enkelte lande Glbal tilpasning til skiftende lkale frhld Hvedkmpnent var gennemførelse af 12 landestudier Prcesknsulent fr den permanente danske missin i Geneve sammen med Bjørn Melgaard
Om udvælgelse af case studier Valg af casestudie lande ffentliggjrt allerede i begyndelsen af kt. 08
12 case studier UKR IRN KAZ HTI CIV DRC ETH IND IDN VNM PER SW A
Om udvælgelse af case studier Valg af casestudie lande ffentliggjrt allerede i begyndelsen af kt. 08 Begrænset verensstemmelse mellem lande, hvr ITAD/ HLSP havde etableret samarbejde i frbindelse med afgivelse af tilbud
12 case studier GE O HND ZWE KEN IND
Om udvælgelse af case studier Valg af casestudie lande ffentliggjrt allerede i begyndelsen af kt. 08 Begrænset verensstemmelse mellem lande, hvr ITAD/ HLSP havde etableret samarbejde i frbindelse med afgivelse af tilbud Der lægges i beskrivelsen af valg af lande vægt på en balanceret udvælgelse Ifølge inceptin rapprt er udvælgelse baseret på lande karakteristika, repræsentatin af rganisatiner af interesse (UNAIDS, GFATM, PEPFAR) samt tidligere evalueringer (FIE af UNAIDS, GFATM g GTT).
UNAIDS SIE case studier Kategriseret g Ingen udvikling frenklet
UNAIDS SIE case studier
Om udvælgelsen Ppulatin (af lande) er velbeskrevet g - analyseret Spørgsmål til udvælgelse blev (trds gentagne frsøg) pfattet sm værende ekspnent fr udvælgelse (en randmista) Tilfældig udvælgelse blev afskrevet sm værende umulig g meningsløs pga. ppulatinens størrelse. Den balancerede udvælgelse svarede reelt til at dække hele udfaldsrummet (der imidlertid ikke var beskrevet i detaljer) Hvilke muligheder fr ikke- udvælgelse?
Udvælgelse af case studier Indsats, X Effekt, Y Den (frhldsvis ukendte) sande sammenhæng
Udvælgelse af case studier Indsats, X Effekt, Y Typiske cases
Udvælgelse af case studier Indsats, X Effekt, Y Ekstreme cases
Udvælgelse af case studier Indsats, X Effekt, Y Speciel case
Udvælgelse af case studier Indsats, X Effekt, Y Ift. indsats
Udvælgelse af case studier Indsats, X Effekt, Y Ift. udfald
Hvad endte vi med? Tilfældig udvælgelse (stratificeret eller betinget) ville have været muligt. Ingen bagvedliggende hyptese i spil ift. udvælgelse af cases. Alene hensyn til repræsentatin (dække hele udfaldsrummet) g referencer (tidligere evalueringer). Nævnes at generalisering fra cases alene havde været mulig, hvis udvælgelse af case studier havde været. Men Omfattende generalisering fra case studier i rapprt affødte kritik men ingen ændringer. Glbal pfølgning på SIE ffentliggjrt i mar-10 uden begrænsninger på ekstern validitet.
Hvrfr? Manglende viden m muligheder? Tilfældig udvælgelse eller ingenting? Manglende tid g/eller ønske m at udvise handlekraft? Tidlig frmulering af hyptese låser senere evaluering?
Backup slides
Tilfældig eller Ikke-? Tilfældig vs. Ikke- Stratificeret Simpel Snebldsudvælgelse Bekvemmeligheds udvælgelse Klynge Selv udvælgelse Kvte udvælgelse
Tilfældig eller Ikke-? Tilfældig vs. Ikke- Simpel Alle har samme (kendte) sandsynlighed fr udvælgelse Uafhængighed af bservatøren Kan beregne resultaternes pålidelighed
Tilfældig eller Ikke-? Tilfældig vs. Ikke- Simpel Stratificeret Opdeling i strata (grupper) i frhld til kendt(e) variabel med relatin til det man ønsker undersøgt Variable bruges sm basis fr udvælgelse af stikprøven Vælger et antal respndenter indenfr hver gruppe, der mdsvarer gruppens andel af ppulatinen Sikrer alle delgrupper er medtaget i stikprøven med den vægt de indgår i ppulatinen
Tilfældig eller Ikke-? Tilfældig vs. Ikke- Stratificeret Simpel Klynge Ppulatinen pdeles i delgrupper klynger, der er repræsentative. Alle i en valgt klynge indgår i stikprøven. Klynger afgrænses så mkstninger ved dataindsamling mindskes
Tilfældig eller Ikke-? Tilfældig vs. Ikke- Klynge Stratificeret Simpel Bekvemmeligheds udvælgelse Sikrer hurtig adgang til infrmatin (eks. de første 100 der besvarer udsendt brev/mail) Kan i ngle tilfælde tilnærme en udvælgelse Omkstninger hldes nede
Tilfældig eller Ikke-? Tilfældig vs. Ikke- Stratificeret Simpel Snebldsudvælgelse Bekvemmeligheds udvælgelse Klynge Beder respndenter m at finde flere respndenter Udnytter (lkal) viden Risik fr bias g/eller lukkede kredsløb Hlder mkstninger nede
Tilfældig eller Ikke-? Tilfældig vs. Ikke- Stratificeret Simpel Snebldsudvælgelse Bekvemmeligheds udvælgelse Klynge Selv udvælgelse Respndenter vælger selv at deltage netundersøgelser Oplagt selektinsprblem
Tilfældig eller Ikke-? Tilfældig vs. Ikke- Stratificeret Simpel Snebldsudvælgelse Bekvemmeligheds udvælgelse Klynge Selv udvælgelse Kvte udvælgelse Bevidst valg af analyseenheder udfra retningslinier, der sikrer, at kvten er sammensat sm ppulatinen i én eller flere dimensiner. Kun repræsentativ frstået sm sammensat sm ppulatinen mht. kvteringsvariable
UNAIDS SIE Baggrund UNAIDS ansvarlig fr krdinering g samarbejde i kampen md HIV/AIDS. Eksempel: The Three Ones (1 natinal plan, 1 natinalt krdinerende myndighed, 1 natinal evalueringsplan). Følgende rganisatiner spnsrerer UNAIDS: UNHCR, UNICEF, WFP, UNDP, UNFPA, UNODC, ILO,UNESCO, WHO g Verdensbanken. Bemærk især fraværet af PEPFAR g Glbal Fund. Etableret i 1994 g peratinelt i 1996, sekretariatet har hvedsæde i Geneve g har pt kntrer i mere end 80 lande. Anden uafhængig evaluering af UNAIDS dækkende periden 2006-2010. Samlet budget fr SIE evaluering USD X milliner. Største udgiftspst i evalueringen er 12 casestudier, der skal afdække i hvilket mfang UNAIDS har frmået at skabe frandring g frbedringer på landeniveau.
UNAIDS SIE Baggrund
UNAIDS SIE Baggrund
UNAIDS SIE Baggrund Terms f reference fr evalueringen indehlder 12 centrale spm. sm evalueringen skal vurdere, herunder