Generelle lineære modeller

Transkript

1 Geerelle lieære modeller Regressiosmodeller med é uafhægig itervalskala variabel: Y e eller flere uafhægige variable: X,..,X k De betigede fordelig af Y givet X,..,X k atages at være ormal med e middelværdi, der afhæger af X ere og e varias, der er uafhægig af X ere: E(Y X,..,X k ) f(x,..,x k ) α k + i β X k k - De uafhægige variable ka være kategorivariable eller kvatitative. - Kategoriske variable omkodes som dummy variable. - Iteraktioer ka tilføjes i form af produkt-variable.

2 Forskellige specialtilfælde Uafhægige variable É biær variabel É kategorivariabel med mere ed to kategorier Aalyse omtales som t-test Esidet variasaalyse To eller flere kategorivariable To- eller flersidede variasaalyser E eller flere kvatitative variable Både kategorivariable og kvatitative variable Lieær regressio Geerelle lieære modeller

3 Studet s t-test Det overordede problem: Sammeligig af middelværdier i to grupper Et ekstra problem: Sammeligig af spredige i to grupper Formelle modelforudsætiger: Fordeligere atages at være ormalfordelte ide for hver gruppe Spredige atages at være de samme ide for hver gruppe Modelproblemet: Er modelforudsætigere kritiske? Hvorda ka de kotrolleres? Hvad gør ma, hvis de ikke holder? 3

4 De ideelle t-test problematik: To variashomogee ormalfordeliger med forskellige middelværdier. 4

5 7 Læseprøve resultater Kotrolklasse - maj Atal elever OS400 Forsøgsklasse - maj Atal elever OS400 Læseprøveresultater i kotrol- og forsøgsklasse før forsøg med udervisig i Damark 5

6 Kotrolklasse - oktober Atal elever OS400 Forsøgsklasse - oktober Atal elever OS400 Læseprøveresultater i kotrol- og forsøgsklasse efter forsøgsudervisig i Damark 6

7 Når det drejer sig om politik, tale ma om vestreorieteret og højreorieteret. Hvor på dee skala ville De placere Dem selv? Procet vestre højre Vestre-højre positio Procet vestre højre Vestre-højre positio Ædrede daskeres politiske holdiger sig i periode ? 7

8 Procet utilfreds tilfreds Tilfredshed med job Procet utilfreds tilfreds Tilfredshed med job Tilfredshed med jobbet i 98 og 990. Har tilfredshede ædret sig? 8

9 Fordeligsidikatorer for læseprøveresultater fra forsøget med udervisig af grøladske elever i Damark. Tidspukt Klasse Middelværdi Stadardafvigelse Maj 97 Kotrol Forsøg Oktober 973 Kotrol Forsøg Ka vi påvise e effekt af forsøget? Fordeligsidikatorer for to spørgsmål fra værdiudersøgelsere i 98 og 990 Spørgsmål År Middelværdi Stadardafvigelse Hvor tilfreds er De med Deres arbejde? Placerig på politisk vestre-højre skala? Har holdigere ædret sig fra 98 til 990? 9

10 t-testet for forskellige variaser bruger oplysiger om middelværdier, M og M, og variaser, V og V, i to forskellige grupper. Usikkerhede på estimatere af middelværdiere Var(M ) V / og Var(M ) V / Stadardfejl V s.e.(m ) og s.e.(m ) V Forskelle på middelværdiere, M -M, er et estimat af de sade forskel på de to grupper. Variase på forskelle på de to middelværdier er lig med summe af variasere Var(M -M ) V / + V / V s.e.(m M ) + V 0

11 t-testets ul-hypotese: E(M ) E(M ) E(M )-E(M ) E(M M ) 0 t M V M V + t er e stadardiseret teststørrelse: Middelværdie er lig med 0 og variase lig med, hvis hypotese holder t er fordelt som e såkaldt t-fordelig, hvis atagelse om variashomogee ormalfordeliger i de to grupper er korrekt. Hvis atallet af persoer i de to grupper er stort er t tilærmelsesvist ormalfordelt selvom atagelse om ormalfordeliger ikke holder.

12 Tallee fra tabellere på side 9 idsættes direkte i formle for t-testet. F.eks t ( ) som er klart isigifikat p t-test resultater for forskelle på middelværdiere i tabellere på side 9 t p Læseprøveresultater før forsøg Læseprøveresultater efter forsøg Ædrig i jobtilfredshed Ædrig i politisk placerig

13 t-testets ul-hypoteser Nul-hypotese: Ige ædriger i fordelige af jobtilfredshede fra 98 til 990 Middelværdihypotese: De geemsitlige jobtilfredshed er de samme i 98 og 990 Spredigshypotese: Variase i fordelige af jobtilfredshede er de samme i 98 og 990. Hypotesestrukture bag t-testet 3

14 E strategi for t-test ) I det første tri testes det, om de to variaser er es. ) Middelværdi-hypotese afprøves i det adet tri. Måde, det sker på, afhæger af, om variashypotese blev forkastet eller accepteret. a) Hvis spredigshypotese blev forkastet, foretages et t-test baseret på separate estimater af de to forskellige variaser. Dvs. et test, hvor teststørrelse er defieret, således som det skete tidligere i dette afsit. b) Hvis spredigshypotese blev accepteret, foretages et t-test hvor ma først bereger et samlet estimat af de varias, som i følge de første del af aalyse er de samme for de to grupper. 4

15 t-testet for es variaser Estimatet af de fælles varias Kvadratsummer, SS og SS, bereges i hver af de to grupper: og V SS /( -) SS ( -)V V SS /( -) SS ( -)V Det samlede estimat for de fælles varias, V, i de to grupper er lig med de samlede sum af de to kvadratafvigelser, SS +SS, divideret med det samlede atal frihedsgrader V ( )V + ( )V ( + ) SS + SS + 5

16 t-test med fælles varias t M M V V + M M V + t M M ( ) V + ( ) V + ( + ) Hvis observatioere er ormalfordelte i hver af de to grupper er de eksakte fordelt e såkaldt t-fordelig. Selvom observatioere ikke er ormalfordelte er middelværdiere approksimativt ormalfordelte, pga. de cetrale græseværdisætig. Hvis observatioere ikke er ormalfordelte er t-testet derfor approksimativt t-fordelt. t-testet er derfor robust overfor afvigelser fra ormalfordelige 6

17 Levees test for variashomogeitet Nulhypotese: σ σ, hvor σ i er lig med de teoretiske varias i de i te gruppe. Levees test afprøver dee hypotese ved at se på de absolutte forskelle mellem observatioere og middelværdiere 7

18 Læseprøveresultater før forsøgsudervisig. Klasse Levees test. Et t-test for absolutte forskelle OS400 Elevummer. oktober Middelværdi 973 Absolut forskel Kotrol Middelværdi 35.5 Stadard 3.3 afv. Forsøg t p 0.4 Middelværdi Stadard 3.00 afv. Levees teststørrelse rapporteres altid som e kvadreret teststørrelse, F t.9, p 0.4, 8

19 Udvidede t-test resultater for forskelle på middelværdiere i tabellere på side 9. OS400 før forsøg Levees test t-test t p F.9 samme varias p 0.4 OS400 efter forsøg F.3 p 0.4 samme varias Jobtilfredshed F 4. p 0< forskellig varias Politisk holdig F 6.0 p 0.04 forskellig varias

20 Variasaalyser Sammeligiger af middelværdier i mere ed to grupper Bemærk, at t-testet er defieret som de stadardiserede forskel på to middelværdier: t ( )V + ( )V ( + ) M M + Dette ka ikke umiddelbart geeraliseres til forskelle mellem tre eller flere middelværdier, me det ka reformuleres på e såda måde, at det ka geeraliseres 0

21 Reformulerig af t-testet Det ka vises, at t-testet ka reformuleres som e fuktio af forskelle mellem de ekelte middelværdier og det samlede geemsit: t ( )V + ( )V ( + ) M M + t ( ( M M) + ( M M) ) ( ) V + ( ) V + Bemærk, at vi bruger t i stedet for t. t omtales som regel som e F-test størrelse (F t )

22 Beviset: Bemærk, at Det samlede geemsit i de to grupper ka bereges som et vægtet geemsit af geemsitsværdiere for de ekelte grupper, M M M M M Det samlede geemsit er et vægtet geemsit af geemsitsværdiere i de to grupper

23 t ( M M ) V + V + + M M M M + M + + ( M M ) således at + M M (M M ) og + ( M M ) ( + ) ( M M ) På samme måde ses at + ( M M ) ( + ) ( M M ) Hvis vi lægger disse to samme følger. 3

24 ( ) ( ) ( M M + ) ( M M ) + + ( M M ) ( + ) ( ( ) M M + ( M M ) ) t er derfor lig med t + ( ( M M ) + ( M M ) ) ( ) V + ( ) V + + Dvs. t ( ( M M) + ( M M) ) ( ) V + ( ) V + t-testet ka altså udtrykkes som e fuktio af forskellee mellem middelværdiere idefor gruppere og de samlede middelværdi. 4

25 Fra t-testet til de esidede variasaalyse Formle for t geeraliseres til situatioer hvor ma skal sammelige mere ed to grupper. Termiologiske skift: ) Aalyse omtales som e esidig variasaalyse. ) Atallet af grupper mius, g -, omtales som atallet af frihedsgrader mellem gruppere. Atallet af frihedsgrader mellem gruppere i et t- test er altså lig med. 3) Atallet af persoer mius atallet af grupper omtales som atallet af frihedsgrader mellem persoere. 4) t omdøbes til e F-test størrelse, idet der samtidig divideres med atallet af frihedsgrader mellem gruppere, F t /( g -). 5) Tællere i F omtales som variatioe mellem gruppere. 6) Tællere i ævere omtales som variatioe idefor gruppere. Selvom der tales om e variasaalyse, er der stadig tale om e aalyse af forskelle mellem middelværdier i forskellige grupper. 5

26 De esidede variasaalyse. De geemsitlige politiske holdig i tre aldersgrupper i 98 og 990 Alder Atal Middelværdi Stad.afv Er der forskellig politisk holdig i forskellige aldersgrupper? Et typisk variasaalyse problem. Variasaalyses forudsætig: ) Normalfordeliger ide for gruppere. ) Variashomogeitet. Aalyse er robust overfor afvigelser fra ), me ikke overfor afvigelser fra ). Atagelse om variashomogeitet ka afprøves ved hjælp af Levees test på samme måde som for t-testet. 6

27 Kovetioel afrapporterig af resultater fra e variasaalyse: Variasaalyse af sammehæge mellem alder og politisk holdig Uafhægig variabel Alder df Sum af kvadratafvigelser geemsitlig kvadratafvigelse Mellem grupper Idefor grupper F p Total Alt adet ed F-testværdie og p-værdie og de geemsitlige kvadratafvigelse idefor gruppere skal betragtes som uiteressate mellemregiger. Koklusio: Højsigifikat forskel på gruppere Varias idefor gruppere 3,45 Variashomogeitete afprøves med Levees test: F p Variashomogeitete accepteres. 7

28 Multiple (post hoc) sammeligiger Nul-hypoteses alterativer Alle tre aldersgrupper er forskellige De årige og de årige er holdigsmæssigt es, me afviger fra de ældste gruppe De ygste og de ældste gruppe er holdigsmæssigt es, me afviger fra de årige De årige ligger på samme iveau, som de ældste gruppe, me afviger fra de ygste Fire alterativer til ul-hypotese om uafhægighed mellem alder og politiske holdig MCA-aalyse Parvise sammeligiger af aldersgrupper mht. politisk holdig Sammeligig af t-test df p koklusio 8-9 mod De to grupper er es 8-9 mod de to grupper er forskellige mod de to grupper er forskellige 8

29 Geemsitlig politisk holdig i to aldersgrupper Alder Middelværdi Stadardfejl 95 % kofidesiterval Problemer med multiple test Atal parvise sammeligiger i e MCA-aalyse Atal grupper Atal parvise sammeligiger Stor risiko for fejl af type I, år der er mage grupper 9

30 Boferroi metode Acceptabel samlet risiko for type I fejl α Samlet atal parvise sammeligiger k Risiko for type I fejl for et ekelt test α/k 30

31 Edu et eksempel De geemsitlige politiske holdig i fem aldersgrupper i 98 og 990 Alder Atal Middelværdi Stad.afv Levees test: F 0.94, p 0.44 Variasaalyse: F 7.87, p

32 LSD- og Boferroi aalyser Sammeligi g p-værdi Forskel i flg. LSD Forskel i flg. Boferroi 8-9 & ja ja 8-9 & ja ja 8-9 & ja ja 8-9 & ja ja & ja ja & ja ja & ja ja & ja ej & ej ej 6-75 & ej ej LSD-metodes resultater teger et logisk ikosistet billede af sammehæge mellem alder og politisk holdig: ) De 6-75-årige og de ældste er holdigsmæssigt es ) De årige og de ældste er holdigsmæssigt es Geemsitlig politisk holdig i tre aldersgrupper Alder Middelværdi Stadardfejl 95 % kofidesiterval

33 Hvad hvis variasere er forskellige? Værdiudersøgelsere I hvor høj grad billiger de i skattesyd : slet ikke 0: I høj grad v87 Syde i skat 98,00 990,00 999,00 Total Descriptives 95% Cofidece Iterval for Mea N Mea Std. Deviatio Std. Error Lower Boud Upper Boud Miimum Maximum 057,49,4900,07665,75,574,00 0,00 00,445,659,07095,3059,5843,00 0,00 606,888,66474,06763,7500,056,00 0,00 683,3090,559,04349,37,3943,00 0,00

34 ANOVA v87 Syde i skat Betwee Groups Withi Groups Total Sum of Squares df Mea Square F Sig. 4,436 7,8 4,73, , , , Højsigifikat forskel, me variasere er forskellige: Test of Homogeeity of Variaces v87 Syde i skat Levee Statistic df df Sig. 5, ,000

35 Brug Welch s test i stedet Optios i Oe-way ANOVA 3

36 Welch s test Robust Tests of Equality of Meas v87 Syde i skat Statistic a df df Sig. Welch 0,900 70,86,000 a. Asymptotically F distributed. er også sigifikat 4

37 Welch s test F g g ( ) w M M i i i g (g ) + ( w i ) (i ) g i hvor vægtee w i er givet ved w i i Vi j V g j j 5