RANDOMISEREDE FORSØG MAIKEN PONTOPPIDAN

Transkript

1 RANDOMISEREDE FORSØG MAIKEN PONTOPPIDAN

2 RCT Der foregår en masse ukontrollerede forsøg i hele den sociale sektor Der bliver brugt en masse penge på indsatser Men vi ved meget lidt om hvad der er bedst for hvem Lad os prøve at gøre det mere kontrolleret og få noget viden ud af det 2

3 EFFEKTSTIGEN 3

4 DET RANDOMISEREDE KONTROLLEREDE FORSØG - RCT Kaldes også et eksperiment Definition af eksperiment: Man manipulerer/varierer en given indsats (fx en behandling) på en systematisk måde, for derefter at undersøge hvilken effekt denne variation har på et givent udfald (fx niveau af stress, adfærd) 4

5 HVORFOR RCT? Randomisering A B Indsats Det bedste design til effektmåling Måle udfald Pga. den tilfældige tildeling af indsats Sikrer at grupperne er ens på både målbare og ikke-målbare faktorer Kan håndtere kompleksitet Kræver færrest deltagere 5

6 HVORFOR RCT? Vi kan ikke blot se en sammenhæng eller korrelation mellem indsats og effektmål. Fordi vi ved at den eneste forskel på indsats- og kontrolgruppe er indsatsen kan vi fastslå et kausalitetsforhold Hvis indsatsgruppe klarer sig bedre/dårligere end kontrolgruppen så kan vi konkludere, at det er på grund af indsatsen 6

7 RCT RCT - randomisering QRCT quasi-randomiseret ikke tilfældig/randomiseret fordeling men næsten. Naturligt forekommende opdeling fx fødselsår, dag i uge man henvender sig 7

8 DISPOSITION Hvorfor RCT? RCT historisk set Etiske problemstillinger Design af RCT Utilsigtede effekter af RCT SFI eksempler DUÅ Baby 8

9 RCT HISTORISK SET 1061 Ben Cao Tu Jing Ginseng eller ej i forhold til at løbe 1753 Sir James Lind, læge i den engelske flåde Skørbug -Citron og appelsin overfor æblevin, fortyndet svovlsyre, havvand, eddike og urteblanding Johannes Fibiger Difteri - Første forsøg med randomisering 1900erne uddannelsesområdet i USA 1920erne R. A. Fischer inden for landbruget 1930erne socialområdet i USA Cambridge Sommerville 9

10 RCT HISTORISK SET 1944 England - Patulin mod hoste 1948 England - Streptomycin mod tuberkulose 1960erne-1985 Mange forsøg i USA på uddannelses- og socialområdet 1990erne især sundhedsområdet Cochrane Collaboration uddannelse, kriminologi, socialområdet Campbell Collaboration 10

11 ETISKE PROBLEMSTILLINGER Men er det overhovedet etisk forsvarligt at trække lod på det sociale område? - JA, det mener vi bestemt, at det er Etisk forpligtelse Sikre at der ikke er negativ effekt (fx akut krisehjælp, peer effekter) 11

12 UETISKE FORSØG Men det afhænger selvfølgelig af det konkrete eksempel om der er mulighed for lodtrækning. Man kan nemt finde på uetiske forsøg fx: Rygning Tvangsfjernelse Overvægt 12

13 ETISKE PROBLEMSTILLINGER Er det uetisk at en lodtrækning afgør om man skal have behandling eller ej? Argumenter FOR randomisering på sociale område: Store regionale forskelle i behandling/tilbud Ikke enighed om, hvad der bør tilbydes Meget sjældent at kontrolgruppen ikke bliver tilbudt nogen behandling/tilbud overhovedet (oftest standard behandling) Ofte kan det man tilbyder indsatsgruppen kan betragtes som noget ekstra oven i standard behandlingen. 13

14 ETISKE OVERVEJELSER Hvad er formålet med undersøgelsen og hvad kan resultaterne bruges til? De skal gerne kunne bidrage med væsentlig ny viden til at forbedre forholdene for borgerne i vores samfund. Målet er at maksimere sandsynligheden for at få et brugbart resultat af undersøgelsen, samtidigt med at vi minimerer besværet for undersøgelsesdeltagerne. 14

15 ETISKE OVERVEJELSER Informeret samtykke: Deltagere skal informeres om undersøgelsen - både skriftligt og mundtligt. Skriftligt samtykke når borgeren/patienten skal give oplysninger (Persondataloven) Deltagere skal informeres om, at de kan trække sig fra undersøgelsen på ethvert tidspunkt, uden at det får konsekvenser for deres nuværende og fremtidige behandling. 15

16 16

17 DESIGN AF RCT Individ: Enkelt personer randomiseres til intervention eller kontrol ALTID individ hvis muligt! Gruppe/Cluster randomisering: Når den naturlige enhed at randomisere på er gruppen (fx skole, klasse, praktiserende læge, hjemmeplejeenhed, kommune) -kræver en del clustre gerne 40 - minimum 12 17

18 DESIGN AF RCT Venteliste: Kontrolgruppen står på venteliste Alle får indsats Ikke muligt med langtidsopfølgning Stepped wedge: Bruges ved udrulning af indsats. Individer eller grupper randomiseres til at begynde indsats på forskellige tidspunkter. Alle får indsatsen men på forskelligt tidspunkt. Ikke muligt med langtidsopfølgning 18

19 STEPPED WEDGE 19

20 DESIGN EKSEMPLER Individ: DUÅ Baby: Familier randomiseres til DUÅ Baby eller Usual Care Cluster: Skoleklasser (fx klasseledelse) Daginstitutioner (fx sprogstimulering) Sagsbehandler 20

21 DESIGN EKSEMPLER Stepped wedge: IT hjælpe-redskab i skole Alle 12 skoler i en kommune randomiseres til hvornår de skal starte (3 grupper med 6 måneders mellemrum) Venteliste: Interessegruppe udbyder forældrekursus Familier randomiseres til indsats nu eller venteliste og indsats næste år 21

22 DELTAGERE Deltagergruppen har betydning i forhold til generaliserbarheden af studiet. -Om resultaterne kan overføres til andre grupper. Oftest kan man kun sige noget sikkert om effekten på den gruppe man har undersøgt. Men man kan så måske formode at dette også vil gælde for andre grupper. 22

23 EKSEMPEL Duå Baby målgruppe: Alle førstegangsfødende Mødre, hvor der er en bekymring om usikkerhed i forældrerollen 23

24 REKRUTTERING Så mange med som muligt! -overvej tiltag, der kan tilskynde deltagelse Hvis lille målgruppe for indsats - svært at rekruttere nok deltagere Få realistisk billede af, hvor mange der kan rekrutteres inden for det tidsrum, man har valgt 24

25 FRAFALD For det meste er der nogen der falder fra undervejs - Rekrutter lidt flere end der er brug for Ofte er der flere i kontrolgruppen der falder fra end i interventionsgruppen. Det er vigtigt at undersøge om dem, der falder fra er anderledes end dem, der fortsætter. Ellers kan man ende med forskellige grupper, der ikke kan sammenlignes. 25

26 ANTAL DELTAGERE Hvor mange personer vi skal have med i forsøget hænger sammen med den effektstørrelse vi forventer at finde: Jo større effektstørrelse jo større styrke/power. Jo større effektstørrelse jo færre personer behøver vi for at kunne vise en forskel Jo mindre effektstørrelse jo flere personer skal vi bruge 26

27 ANTAL DELTAGERE Tommelfingerregler (ikke absolut!): Stor effekt: 25 personer i hver gruppe (Cohen s d=0.80) Moderat effekt: 64 personer i hver gruppe (Cohen s d=0.50) Lille effekt: 400 personer i hver gruppe (Cohen s d=0.20) Generelt siger vi gerne i alt 27

28 INDSATS/INTERVENTION Indsatsen skal være: Afgrænset Velbeskrevet Gerne teoretisk funderet 28

29 KONTROLGRUPPE Hvad får kontrolgruppen? Anden form for specifik behandling Anden almindelig behandling Usual Care Venteliste til samme behandling 29

30 EKSEMPEL DUÅ BABY INDSATS: 4 sundhedsplejerske besøg DUÅ forældregruppe 8 gange a 2½ time Åbent hus Ekstra besøg ved behov KONTROL: 5 sundhedsplejerske besøg Mødregruppe Åbent hus Ekstra besøg ved behov 30

31 RANDOMISERING Random = tilfældig Individniveau eller gruppeniveau (cluster) Mange metoder til randomisering Brug simpel randomisering hvis muligt Behøver ikke altid være 1:1 fint med fx 1:2 31

32 RANDOMISERING Simpel randomisering lodtrækning, liste med tilfældige tal Blok randomisering fx blokke af 4 eller 6 Parvis randomisering når man har to Matching man matcher et par, fx alder eller køn Minimisering man udvælger nogle karakteristika som har betydning (fx alder, køn, problemniveau) fordeler efter score 32

33 RANDOMISERING Randomisering skal være uforudsigelig og uafhængig af dem, der er indblandet i forsøget. Det har vist sig at der snydes med det, når det er muligt Åbne konvolutterne Røntgenfotografere konvolutter Bytte om på rækkefølgen 33

34 EKSEMPEL DUÅ BABY RANDOMISERING 2:1 randomisering (DUÅ Baby:Usual Care) Hver kommune har separat liste Blokke så der kommer familier til begge grupper løbende 1. Genereret liste med angivelse af indsats eller kontrol 2. Sekretær i min afdeling står for randomisering 3. Kommune sender navne 4. Besked tilbage om hvad de skal tilbydes 34

35 BLINDING DELTAGERE: Man holder deltagere uvidende om hvilken behandling de får, for at det ikke skal få indflydelse på deres effektmål. Kan ikke så tit lade sig gøre med sociale interventioner. UNDERSØGERE: Dem der skal foretage vurdering af effektmål holdes uvidende om hvilken gruppe personen tilhører. Skal så vidt muligt gøres. 35

36 EKSEMPEL DUÅ BABY BLINDING: Deltagere og udførere umuligt! Deltagere blindet for formål med studie -forskellige indsatser til at støtte op om god trivsel i familien Interviewere blindet (men måske siger familien noget?) Analyse blindet 36

37 STANDARDISERING Det er en fordel at standardisere så mange procedurer som muligt for at undgå utilsigtet variation. Hvis procedurerne bliver udført så ens som muligt igennem studiet så vi får den bedste mulighed for at kunne sige noget om effekten. Fx behandlingen, hvornår vi måler, hvilke familier der indgår, rekrutteringsprocedure. 37

38 EKSEMPEL DUÅ BABY STANDARDISERING: Klare inklusions- og eksklusionskriterier Informationsfoldere Video Indsats manualbaseret (rimelig kontrol) Kontrol alt muligt (meget lidt kontrol) Data indsamling 38

39 EFFEKTMÅL Vælg effektmål, der er vigtige for den indsats vi udfører. Sensitivt for vigtige ændringer Reliabelt måler det samme hvis vi måler den samme person flere gange Validt måler præcist det vi gerne vil måle Har ikke loft- eller gulv effekter (fx for svær eller for nem test) Målbart (fx kan måle niveau af depression) 39

40 EFFEKTMÅL DUÅ BABY Background questions age, education, employment status, birth weight Parent confidence - Karitane Parenting Confidence Scale (KPCS) Child development - Ages and stages - Social-Emotional (ASQ-SE) Attachment Mother and child interaction scale (MABISC) Parental Stress Scale (PSS) Sense of coherence (SOC13) Major Depression Inventory (MDI10) Mental well-being - WHO-Five Well-being Index (WHO5) Attachment - Emotional Availability Scales (EAS) video observation Child development - Bayley III Height and weight Social support, health, life satisfaction, loneliness, family economy, drugs and alcohol 40

41 UTILSIGTEDE EFFEKTER AF DEN EKSPERIMENTELLE SITUATION HAWTHORNE EFFEKT: Effekten af at få opmærksomhed, at føle sig særligt udvalgt PLACEBO EFFEKT: At troen på en behandling i sig selv kan have en effekt Dokumentationen for placeboeffekter er tvivlsom og formentlig overdrevet. Der er nok oftest tale om spontan remission/modning eller regression mod gennemsnittet. 41

42 UTILSIGTEDE EFFEKTER AF DEN EKSPERIMENTELLE SITUATION EKSPERIMENTEL KONTAMINATION/SPILLOVER: Fx hvis undersøgelsesdeltagerne påvirker og kommunikerer med hinanden. Eller hvis behandlere i kontrolgruppen begynder at bruge interventionen pga. at det for eksempel er oppe i tiden at bruge denne metode 42

43 UTILSIGTEDE EFFEKTER AF DEN EKSPERIMENTELLE SITUATION Der bliver for lille forskel mellem behandlingen i indsatsgruppen og kontrolgruppen til at man kan finde en forskel. Det betyder ikke nødvendigvis at der ikke er en effekt, vi kan bare ikke se den. Det er vigtigt, at der er forskel på indsats og kontrolgruppe. 43

44 RCT OPSAMLING RCT er det design, der egner sig bedst til at måle effekt Man kan udtale sig om kausalitet at A medfører B Randomiser hvis I overhovedet har mulighed for det Det behøver ikke at være så svært Men alt skal planlægges FØR i går i gang Start i det små 44

45 45