Hvordan finder man en god skala vha. Raschmetoden? Svend Kreiner & Tine Nielsen

Transkript

1 Hvordan finder man en god skala vha. Raschmetoden? Svend Kreiner & Tine Nielsen 1

2 Svaret: Man spørger en, der har forstand på det, som man gerne vil måle 2

3 Eksempel: Spiritualitet Peter A., Peter G. & Peter L.: Man tæller antal positive svar på følgende fem spørgsmål: Which, if any, of the following do you believe in? God Life after death Hell Heaven Sin Reincarnation 3

4 Efter at man har fundet skalaen følger det spørgsmål som burde have været titlen på foredraget: Hvordan kan man vurdere om man har fundet en god skala? Og hvad gør man, hvis det ikke er tilfældet? Her kan Rasch modellen være til hjælp fordi den stiller så store krav til skalaen, at man kan bruge den som en gold standard. 4

5 Rasch modellen 5

6 Rasch modellens krav til gode skalaer 1) Unidimensionalitet 2) Monotonicitet 3) Lokal uafhængighed 4) Ingen DIF 5) Sufficient data reduktion Konsekvenserne: P(Item 1 ) i exp( θ α ) 1 exp( ) i = θ = + θ α i Begrebsvaliditet Kriterievaliditet Specifik objektivitet Enkelhed 6

7 Modelkontrollen Udled og afprøv en række hypoteser, som alle er sande, hvis modellen er sand. Afledte model-hypoteser: Item parametrene er de samme i alle delpopulationer Ingen DIF: Items og exogene variable er betinget uafhængige givet den samlede score Lokal uafhængighed: Items er parvis betinget uafhængige givet delscores uden det ene item Forventede residualer (= observeret forventet) er lig med 0 7

8 Item parametrene er de samme i alle delpopulationer Såkaldte betingede maximum likelihood tests CLR df p scoregroups G: RELIGION L: TROENDE M: GÅIKIRKE K: KIRKE Q: KOHORTER P: KØN Rasch modellen bliver afvist på alle fronter 8

9 Residual analyser (item fits) Sammenligninger mellem den forventede korrelation mellem items og restscores Gamma Item observed expected sd p A - GUD B - EVIGTLIV high ** C - HELVEDE high *** D - PARADIS high *** E - SYND F - REINKARN low *** Critical levels adjusted by the Benjamini-Hochberg procedure: FDR = 0.05 reject if p<= FDR = 0.01 reject if p<= FDR = reject if p<=

10 DIF analyser Tests af betinget uafhængighed mellem items og exogene variable givet den samlede score GUD LIV HELVEDE PARADIS SYND REINKAR A B C D E F G RELIGION Gamma p L TROENDE Gamma p M GÅIKIRKE Gamma p K KIRKE Gamma p Q KOHORTER Gamma p P KØN Gamma p

11 Analyse af lokal uafhængighed Test af parvis betinget uafhængighed mellem items A B C D E F A GUD Gamma p B EVIGTLIV Gamma p C HELVEDE Gamma p D PARADIS Gamma p E SYND Gamma p F REINKARN Gamma p

12 Det er ikke vanskeligt at vise at Rasch modellen ikke holder Kunsten er at finde ud af, hvad der er galt fordi ét problem af en bestemt type kan føre til evidens (testresultater) der antyder at der er tale om helt andre problemer. Multidimensionalitet Lokalt afhængige items, DIF & misfit Lokalt afhængige items resultater der antyder multidimensionalitet DIF resultater der antyder multidimensionalitet, lokal afhængighed og anden form for DIF osv., osv., osv. 12

13 Virkeligheden Reinkarnation hører ikke til i skalaen, men spørgsmålet om et liv efter døden gør Items er lokalt uafhængige, men der er en hel del differentiel item funktion 13

14 Generelt: Kirkegængere er mere spirituelle end ikke kirkegængere og de spirituelle synes i højere grad end de ikke spirituelle, at religion er vigtigt. DIF: alt andet lige 1) troende og medl. af folkekirken tror mere på Gud end andre, 2) tror dem, der synes religion er vigtigt mindre på et liv efter døden end andre 3) medl. af folkekirken tror mindre på helvede end andre 4) tror mænd mere på synd end kvinder 14

15 Modelkontrollen CLR df p scoregroups G: RELIGION L: TROENDE M: GÅIKIRKE K: KIRKE Q: KOHORTER P: KØN Gamma Item observed expected sd p A - GUD B - EVIGTLIV C - HELVEDE D - PARADIS E - SYND

16 Konklusion: Ingen ren Rasch skala, men da der kan justeres for DIF en er det et mindre problem DIF equated scores DIF sources: G - RELIGION L - TROENDE K - KIRKE P - KØN GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP score GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP GLKP score Men det ville være væsentligt nemmere (bedre?) hvis vi havde haft en ren Rasch skala. 16

17 Hvordan kan skalaen så forbedres (i Rasch-termer)? Nielsen & Kreiners strategi for itemmodicifering/erstatning! 17

18 Item-analyse strategi 1) Do item responses fit a Rasch model? If not: 2) Do item responses fit a loglinear Rasch model? (Uniform DIF and LD) Yes: Should items be modified or replaced anyway? No: Which items should be eliminated from analysis and considered modified or replaced? - Repeat cycle 18

19 Overview modificerings-strategi Results of graphical loglinear Rasch analyses Results of subject matter analyses point directly to or combine into decision of or point directly to modificational action 19

20 20

21 Spritualitetsskala, alle problemer af samme typer: LLRM med uniform DIF kombineret med type D (uklart mål) Løsning erstat spørgsmål med nyt 21

22 Liste over identificerede problemer og forslag 1) DIF ( Religion i forhold til spørgsmålet om tro på et liv efter døden) kombineret med problemtype D (uklart mål) Kan spørgsmålet om tro på et liv efter døden formuleres således at det fungerer ens for personer som synes religion er vigtigt hhv. mindre vigtigt? Forslag: Begrebet et liv efter døden spørges til på klarere måde, da det kan betyde flere ting (på jorden, i himlen, i helvede, osv.) 2) DIF ( Kirke i forhold til spørgsmålet om tro på Gud) kombineret med problemtype D (uklart mål) Kan spørgsmålet om tro på Gud formuleres således at det fungerer ens for personer, der er medlem af folkekirken/trossamfund hhv. ikke er? Forslag: Begrebet Gud spørges til på klarere måde. Overvejelse: Måske ved blot at skrive med småt, da Gud med stort kan have forskellig betydning både for medlemmer af forskellige trossamfund og for medlemmer ikke medlemmer eks. nok mest medlemmer af kristne trossamfund, der skriver Gud med stort, men det betyder jo ikke at medlemmer af andre ikke tror på gud/guder, men måske ikke Gud 22

23 3) DIF ( Troende i forhold til spørgsmålet om tro på Gud) kombineret med problemtype D (uklart mål) Kan spørgsmålet om tro på Gud formuleres således at det fungerer ens for troende hhv. ikke troende personer? Forslag: Begrebet Gud spørges til på klarere måde. Overvejelse: Måske ved blot at skrive med småt, da Gud med stort må forventes at have en anden mening for et troende menneske end hhv. et ikke-troende menneske og en overbevist ateist 23

24 4) DIF ( Kirke i forhold til spørgsmålet om tro på helvede) kombineret med problemtype D (uklart mål) Kan spørgsmålet om tro på helvede formuleres således at det fungerer ens for personer, der er medlem af folkekirken/trossamfund hhv. ikke er? Forslag: Begrebet helvede spørges til på klarere måde. 24

25 5) DIF ( Køn i forhold til spørgsmålet om tro på synden) kombineret med problemtype D (uklart mål) Kan spørgsmålet om tro på synden formuleres således at det fungerer ens for mænd og kvinder? Forslag: Begrebet synden spørges til på klarere måde. Overvejelse: Er der nogen bestemt grund til at der spørges til synden og ikke synd virker som om der spørges til noget bestemt, dog uden at det er helt klart hvad det er? 25

26 Næste skridt 2 muligheder Faglig/teoretisk bearbejdning af spørgsmål (eksperterne) Fokusgruppeinterviews med repræsentanter fra de grupper af respondenter, der definerer exogene variabelkategorier mhp. afdækning af hvordan de problematiske begreber opfattes 26

27 Afprøvning af strategi på 13 læringsstils-skalaer Bedste pilot skalaer 13 skalaer med et varierende antal items inkluderet: 4 skalaer med 8 items alle GLLRM 3 skalaer med 7 items alle GLLRM 5 skalaer med 6 items 4 GLLRM + 1 RM 1 skala med 5 items RM Bedste reviderede skalaer (efter modificering) 13 skalaer med minimum 7 items inkluderet: 8 skalaer med 8 items 6 GLLRM + 2 RM 5 skaler med 7 items 3 GLLRM + 2 RM 27

28 Systematisk kombination af statistisk & indholdsmæssig analyse viste sig effektiv 10 skalaer viste store forbedringer 7 skalaer har flere items 3 skalaer er forbedret fra at være GLLRM til at være RM med samme antal items 1 skala viste ingen nævneværdig forbedring Den bedste skala model (GLLRM) er ikke forbedret + RM har fået tilføjet et item 2 skalaer viste lille forværring GLLRM har fået tilføjet en lokal afhængighed + RM har mistet et item GLLRM tilføjet DIF mht. KØN 28

29 Choice of modificational action based on analyses results Loglinear Rasch analyses results Subject matter analyses results No problem Type B wording similar Type C measure same characteristic Type D unclear measure RM No change No change No change Exchange single item LLRM with No change No change No change Exchange single low uniform LD item ***** LLRM with No change Mutual Exchange single Exchange single moderate modification of item item uniform LD items ***** LLRM with high uniform LD LLRM with uniform DIF Modeling not possible No change No change No change Mutual modification of items Exchange single item ** Exchange single item (consider additional problematic items for modification) Exchange single item Exchange single item ** Exchange single item (consider additional problematic items for modification) Exchange single item ***** Exchange single item Exchange single item Type A wording error Single item modification Single item modification Single item modification Single item modification Single item modification Single item modification 29