Statistik 1TS 2004 Obligatorisk opgave 2

Transkript

1 23. april 2004 Stat 1TS / EH Statistik 1TS 2004 Obligatorisk opgave 2 Formelle forhold: Opgaven stilles fredag d. 23. april Rapporten afleveres senest torsdag d. 13. maj kl. 12. Rapporten afleveres til mig personligt For sent indleverede besvarelser vil ikke blive rettet. Rapporten skal skrives ind i et tekstbehandlingsanlæg (eller på maskine). Håndskrevne besvarelser vil ikke blive accepteret. Opgaven kan besvares i grupper af 1-3 studerende. Grupperne må gerne samarbejde undervejs, men den endelige rapport skal være selvstændigt arbejde for hver gruppe. Software: I princippet er valget af software frit. Det anbefales dog at man bruger R. Rapportens indhold: Besvarelsen skal indeholde tekst, formler og grafer, men ikke program-kode. Ernst Hansen 1

2 Sympativurdering af ansigter II Også i denne rapportopgave retter interessen sig mod de ansigtsvurderinger, der blev indsamlet ved øvelsestimerne i kursets første uge. Eksperimentet er omhyggeligt beskrevet i forbindelse med kursets første rapportopgave. Målet med denne opgave er at beskrive målingerne så godt som det nu er muligt udfra seks faktorer: de fem måder ansigterne varierede på, og en forsøgspersonfaktor. Datamaterialet er gjort tilgængeligt på erhansen/stat1ts 04/doku/data/FaceExperiment.txt Denne fil indeholder indeholder en linie for hver af de 1216 enkeltvurderinger. Kolonnerne svarer til variable: UsrName Time WeekDay Draws Assesment Overall Mouth Nose Eyes Eyelids Forsøgspersonen Rækkefølgen for hver forsøgsperson Hvilken ugedag, forsøgspersonen deltog Ansigtsnummer Sympativurderingen Ansigstform rund/oval Mund åben/lukket Næse forfra/sidefra Øjne runde/ovale Øjenbryn smalle/buskede De sidste fem variable, som vi under et vil referere til faconvariable, kan i princippet udledes af ansigtsnummeret. Variablen UsrName er en tilfældig numerering af de indgående forsøgspersoner, og har ikke anden betydning, end at den kan bruges til at skille personerne ad. Bemærk at UsrName formentlig indlæses som en numerisk variabel - hvis den ikke efterfølgende konverteres til en faktor, risikerer man en meningsforladt analyse. (Noget lignende gælder for Draws, men denne variabel indgår næppe i analysen.) Lineær normal model Udgangspunktet for analysen vil være en lineær normal model. Vi antager altså at sympativurderingerne er uafhængige, normalfordelte med en fælles 2

3 varians σ 2 og med en middelværdistruktur vi vil beskrive i det følgende. Dette udgangspunkt er i høj grad problematisk, set i lyset af to forhold: 1) Den benyttede skala er begrænset - den går fra 0 til 100 2) Målingerne ligger essentielt på et diskret gitter Begge disse forhold udelukker strengt taget en normalfordeling, men den slags plejer man ikke at tage så alvorligt - normalfordelingsmodeller kan stadig være fortræffelige beskrivelser. Problemet i denne sammenhæng er nærmere at de to forhold ødelægger mulighederne for en fælles varians. En begrænset skala skaber nærmest af sig selv variansheterogenitet, fordi der ikke er ret meget plads ude i enderne. Observationer med ekstreme middelværdier kan ikke variere ret meget. Man forsøger ofte at komme uden om denne begrænsning ved at transformere responsensvariablen. Hvis responserne lå i det åbne enhedsinterval, kunne man f.eks. bruge transformationen logit(x) = log x 1 x, der ville give nye observationer med et ubegrænset variationsområde. Logittransformationen er stort set lineær i midten af enhedsintervallet, men strækker enderne voldsomt ud, og på den måde får de observationer, der før var tvunget til at klumpe sig sammen, pludselig plads at brede sig på. Om logittransformationen er det rigtige valg, må man vurdere fra tilfælde til tilfælde - der er mange andre muligheder for hvordan man kan foretage strækningen af intervalenderne. Men når den begrænsede skala kombineres med at observationerne falder på et diskret gitter, så løser en transformation af variablene ingenting. Observationer der ligger oven i hinanden før transformationen, ligger selvfølgelig også oven i hinanden efter transformationen, uanset hvor meget man strækker... Problemerne lader sig kun løse tilfredsstillende, hvis man samtænker transformations- og diskretiseringsaspekterne. Det leder naturligt til en udvidelse af den multiple logistiske regressionsmodel, så den kan tage højde for såkaldt overdispersion. Det er en klasse af modeller, der falder langt uden for hvad vi kan behandle her, men som viser sig at give resultater, der er stort set identiske med hvad vi kan opnå gennem analyse af den simple lineære normale model. 3

4 Derfor fastholder vi antagelsen om normalfordelte observationer med samme varians. Men vi må forberede os på at modelkontrollen nok vil give anledning til usædvanlige fænomener. Lad os nu specificere middelværdistrukturen. Den grundmodel, vi har i tankerne, er en additiv model med de fem faconvariable, skrevet Assesment = Overall + Mouth + Nose + Eyes + Eyelids + støj (1) Idet disse faktorer hver især har to niveauer, indgår der seks parametre i modellen: En parameter beskriver niveauet for referenceansigtet - det kan variere lidt med hvordan man gennemført indlæsningen, men referenceansigtet vil typisk svare til billede nr. 21, der har et aflangt ansigt med lukket mund og aflange øjne, retvendt næse og buskede øjebryn 1. De øvrige fem parametre er de tillæg (positive eller negative) som for hver af dem fem faktorer udløses af ændringer i forhold til referenceansigtet. Hvis man skifter referenceansigt, vil visse af disse tillæg skifte fortegn, men deres numeriske værdi ændres ikke. Modellen er attraktiv, fordi den associerer en letforståelig effekt med hver faktor. Og dermed også en simpel måde at vurdere på, om den enkelte faktor overhovedet har en effekt. Til gengæld er den næppe realistisk i sin grundform, fordi den ikke tager hensyn til at der er forskel på forsøgspersonerne. En teori kunne være at forsøgspersonerne kun influerer på resultaterne gennem et generelt niveau: nogle personer vurderer systematisk alle ansigterne højt, andre vurderer dem lavt. I så fald kunne vi blot tilføje forsøgspersonen som en ny faktor, der adderes til de fem faconfaktorer. Igen ville det være en attraktiv model, fordi resultatet ville være nemt at fortolke. Men vi vælger (i hvert fald i første omgang) en mere fri tilgang, hvor vi lader de seks middelværdiparametre at variere frit fra person til person. Formelt skriver man Assesment = UsrName/(Overall + Mouth + Nose + Eyes + Eyelids) + støj (2) og taler om at modellen (1) er blevet nested i forhold til UsrName. Opgave 1. Estimer parametrene i modellen (2). Lav et QQ-plot af residualerne og et plot af residualerne mod de fittede værdier. Ser disse tegninger ud som du forestiller dig de bør gøre? Gør det nogen forskel om man bruger de rå residualer eller de standardiserede residualer? 1 For hver faktor ordnes de forskellige labels alfabetisk, og referencegruppen svarer til det første label 4

5 Lad os starte med en misspecifikationsundersøgelse, hvor vi sammenholder (1) med den udvidede variant Assesment = (Overall + Mouth + Nose + Eyes + Eyelids) 2 + støj (3) Formelt betyder kvadratet at vi danner alle produktfaktorer af par af de indgående variable, og at vi opstiller den additive model med disse produktfaktorer. Opgave 2. Vis at middelværdirummet for (3) for en enkelt forsøgsperson er 16-dimensionalt. Vi udvider som før denne vekselvirkningsmodel ved at neste den i forhold til UsrName, Assesment = UsrName/(Overall+Mouth+Nose +Eyes +Eyelids) 2 + støj (4) Opgave 3. Estimer parametrene i modellen (4). Udfør et test af den lille model (2) mod vekselvirkningsmodellen. Det ser i ubehagelig grad ud til at der er signifikante vekselvirkninge. Opgave 4. Udfør for hver enkelt forsøgsperson et test af (1) mod (3). Identificer på denne måde de forsøgspersoner, hvor der er konstaterbare vekselvirkninger. Undersøg også hvad det er for vekselvirkninger, der er signifikante. Er der noget mønster i disse vekselvirkninger? Lav en tegning, der illustrerer de relevante vekselvirkninger for de hårdest ramte forsøgspersoner. Opgave 5. Kan man ved at slette en enkelt forsøgsperson eller to fra materialet få accept når man tester (2) mod (4)? Misspecifikationsundersøgelser gennemføres ofte på en sådan måde, at man ikke tager det sædvanlige 5% niveau alt for alvorligt. Måske bruger man et 1% niveau, måske er man endnu mere løs. Sagen er, at man ikke er interesseret i at afvise modellen, men nærmere i at få en fornemmelse af i hvilken retning, problemer med modellen kan ligge. Det er dårlig stil at se helt bort fra forsøgspersoner, der af en eller anden grund ikke passer med det mønster man helst vil se. Et kompromis kan være at gennemføre den resterende analyse både med og uden kritiske personer, for at se om det betyder noget for konklusionen. 5

6 Vi vender nu tilbage til grundmodellen (2). Der er et hav af parametre, fordi alting får lov at afhænge af forsøgspersonen. Opgave 6. Undersøg for hver af de fem faconfaktorer, om de kan indgå i modellen på personuafhængig måde. Altså f.eks. Assesment = Overall+UsrName/(Mouth+Nose+Eyes+Eyelids) + støj (5) Kan man eventuelt helt fjerne en eller flere faktorer fra modellen? Random effects modeller Personafhængige parametre er lidt af en ulykke, fordi de ikke tillader at man siger noget generelt - alle udsagn er begrænset til at handle om de forsøgspersoner man faktisk har målt på. For at komme uden om dette forhold vil man meget ofte forestille sig at de personafhængige parametre i sig selv er realisationer af stokastiske variable. Man taler da om random effects - hvis man hellere vil tale dansk, kan man eventuelt tale om tilfældige virkninger. Tankegangen er at forsøgspersonerne i sig selv er trukket tilfældigt fra en større population, og målet med undersøgelsen er at få sagt noget begavet om hvordan de personafhængige størrelser varierer i populationen. Det er nemmest at forklare random effects i rammen af simpel lineær regression. Antag at vi har forsøgspersoner i = 1,..., N, og at de hver har en række målinger X ij og en tilsvarende række kovariater t ij. Vi kan forestille os at forsøgspersonerne er spædbørn, at målingerne repræsenterer disse børns vægt, og at kovariaterne angiver børnenes alder ved vejningen. Den simple lineære regression, nested i forhold til forsøgspersonerne, siger at X ij = α i + β i t ij + ɛ ij hvor ɛ ij erne er uafhængige N (0, σ 2 )-fordelte variable. At α i erne er forskellige, betyder at børnene vejer forskelligt ved fødslen. At β i erne er forskellige, betyder at børnene tager på i vægt med forskellig hastighed - det kunne f.eks. have at at gøre med barnets helbredstilstand eller kvaliteten af moderens mælk. Sådanne individuelle forskelle er meget almindelige i biologiske sammenhænge, men de repræsenterer en hindring i ethvert forsøg på at forstå hvordan spædbørn generelt vokser sig store. 6

7 Random intercept overbygningen på den nestede model siger, at α i erne er uafhængige, identisk fordelte stokastiske variable, og at α i N (α, ν 2 ) for i = 1,..., N I denne model repræsenterer α den typiske fødselsvægt for et spædbarn. Variansen ν 2 repræsenterer (sammen med normalfordelingsantagelsen) den variabilitet i fødselvægt som populationens spædbørn har omkring dette α. Tilsvarende kan man lave en random slope overbygning på den nestede model, ved at sige at β i erne er uafhængige, identisk fordelte stokastiske variable, og at β i N (β, µ 2 ) for i = 1,..., N Her repræsenterer β populationens typiske væksthastighed, og µ 2 børnenes variabilitet omkring denne populationsværdi. Man taler generelt om random effects modeller, hvis man opfatter en eller flere af de individafhængige parametre som stokastiske. Hvis man både har et random intercept og et random slope, har man således to stokastiske variable per person, og man bør nok overveje om de i så fald er afhængige. Er det f.eks. sådan at børn, der er atypisk store ved fødslen, også vokser atypisk hurtigt? Eller måske omvendt? En random effects overbygning tillader at man kan generalisere til nye observationer. Hvis vi i vægteksemplet antager at α i og β i er uafhængige, så kan man indse at vægten X af et nyt spædabarn, vejet til tid t, er fordelt som X N (α + βt, σ 2 + ν 2 + t 2 µ 2 ) Eller måske mere nyttigt: man vil kunne simulere nye spædbørnspopulationer med et vilkårligt antal børn og et vilkårligt mønster for hvornår de vejes, ved simpelthen at trække et intercept og en hældning for hvert fiktivt barn, og trække et tilstrækkeligt antal støjvariable ɛ. Når man analyserer en random effects model, vil man typisk interessere sig for to ting: er de forskellige random effects uafhængige, og er middelværdien i de forskellige random effects fordelinger nul? Det sidste spørgsmål, stillet i termer af et random slope for spædbørnsvægt, kommer ud på om vægten overhovedet ændres med tiden? Nogle børn øger sikkert vægten, andre taber den (i hvert fald i de første dage efter fødslen) - det kan jo være at det i gennemsnit balancerer ud? 7

8 En måde at analsere en random effects model på, er i en totrinsanalyse. Først analyserer man modellen med personafhængige parametre. Dernæst betragter man estimaterne af de personafhængige parametre som nye observationer, og analyserer dem, uden at skænke det en tanke at disse observationer er afledte. Sympativurdering med random effects I det følgende vil vi formulere os som om alle fem faconfaktorer fortsat indgår i modellen, nested i forhold til UsrName. Hvis du har reduceret i modellen, bør den analyse, der skitseres nedenfor, ændres så den tager højde for denne reduktion. Opgave 7. Undersøg for hver af de fem faconfaktorerer om de tilsvarende personafhængige parameterestimater ser ud som om de kommer fra en normalfordeling. Find i påkommende tilfælde middelværdi og varians for denne normalfordeling. Er der nogen af disse random effects, der kan antages at have middelværdi nul? Undersøg også for hvert par af faktorer om de tilhørende random effects kan antages uafhængige eller ej. Random effects modellen udsagnskraft kan opsummeres på følgende facon: Hvis et tilfældig individ fra den population, som forsøgspersonerne er valgt fra, får forelagt to billeder, der afviger fra hinanden med hensyn til faconvariablen Overall, men som er ens på alle andre punkter, så kan han/hun prioritere på to måder: foretrække det aflange hoved, eller foretrække det runde hoved. Sandynligheden for at foretrække det aflange hoved afhænger ikke af forsøgspersonens generelle vurderingsniveau, og det afhænger ikke af hvordan de to forelagte billeder egentlig ser ud (altså af værdierne af de øvrige faconvariable), og dermed er det et validt udtryk for den prediktive effekt af Overall. Hvis de to muligheder er lige sandsynlige, er der jo f.eks. ikke meget selvstændig information i at kende et billedes Overall-værdi. Opgave 8. Find for hver af de fem faconvariable den sandsynlighed, som den estimerede model tillæger en tilfældig persons prioritering mellem de variablens to niveauer. Kommenter resultaterne. Med en færdig model er vi i stand til at simulere nye datasæt, og vi kan derfor undersøge stabiliteten af de fundne resultater. I simulationerne betragtes det personafhængige niveau (der jo i virkeligheden er den personafhængige 8

9 vurdering af referenceansigtet) som endnu en random effect, uafhængig af de øvrige. Opgave 9. Simuler et nyt datasæt af samme størrelse og struktur som det oprindelige, men med fiktive forsøgspersoner. Diskretiser observationerne ved at afrunde dem til det gitter, du benyttede i rapport 1. Lav modelkontroltegningerne fra opgave 1 for de simulerede, diskretiserede data, og sammenlign med tegningerne for de ægte data. Opgave 10. Vælg den faconvariabel, som du mener har den største prediktive effekt. Simuler et antal (f.eks. 100) datasæt af samme størrels og struktur som det oprindelige, og estimer for hvert af disse datasæt den prediktive effekt af den valgte variabel. Beskriv variabiliteten. Hvilket lys kaster denne undersøgelse over resultaterne fra opgave 8? 9

10 Programmerings-kommentarer Vi vil her komme med enkelte kommentarer til programmeringsarbejdet med opgaven. Lineære normale modeller analyseres ved funktionen lm(). Typisk på formen lm1 <- lm(respons covariater, data = eelworm) hvis man har en dataframe der hedder eelworm. Se på hjælpsiden for denne funktion - specielt argumentet subset kan være relevant. Resultatet af analysen er opsamlet i regressionsobjektet lm1. Hvis man har to faktorer, cov1 og cov2, vil de tre kald lm(respons cov1) lm(respons cov1*cov2) lm(respons cov1 + cov2) give henholdsvis en etsidet variansanalyse med faktoren cov1, en etsidet variansanalyse med produktfaktoren cov1 cov2 og en tosidet variansanalyse. På kursushjemmesiden findes et link til en oversigt over et betragteligt antal modelspecifikationer. Man kan uddrage information fra regressionobjektet på forskellig måde. Dels kan man selvfølgelig udskrive objektet, lm1 - eller bedre summary(lm1). Man kan også gå efter specielle funktioner af objektet, coef(lm1), resid(lm1), fit(lm1) eller deviance(lm1), for henholdsvis de estimerede parametre, residualer, den estimerede middelværdi-vektor og den kvadrerede afstand fra observationen til middelværdiunderrummet. Sammenligning af to regressionobjekter lm1 og lm2, f.eks. i forbindelse med et test, kan ske ved anova(lm2, lm1). 10

11 I princippet bør lm2 svare til en delmodel af lm1, men er rollerne byttet om, gør det ikke det store. Funktionen lm() har en fast procedure for hvordan den skal opstille en designmatrix udfra modelformlen respons covariater. I en række situationer, f.eks. en tosidet varians-analyse med et ikke-sammenhængende design og i mange situationer med flere end to faktorer, så vil søjlerne i en intuitivt opstillet design-matrix have en vis lineær afhængighed. I sådanne situationer sørger lm() selv for at slette et passende antal søjler, sådan at man får en rigtig design-matrix, hvor søjlerne er lineært uafhængige. Man skal tænke sig om, hvis man vil forstå antallet af frihedsgrader i den type modeller, og man skal helt op på mærkerne for at forstå parameterestimaterne. Visse variable skal opfattes som kontinuerte variable, og giver kun anledning til én søjle i designmatricen. Andre skal opfattes som faktorer, og giver anledning til et antal søjler - groft sagt een per gruppe. Det er naturligvis vigtigt at lm() ved om en variabel er af den ene eller den anden slags. Advarsel: Funktionen read.table() opfatter enhver kolonne hvori der forekommer andet end tal, som svarende til en faktor. Kolonner hvori der kun forekommer tal, opfattes derimod som kontinuerte variable. I denne sammenhæng kommer f.eks. UsrName-identifikatoren let til at optræde som en kontinuert variabel - det vil være en alvorlig fejl. En kontinuert variabel kan laves om til en faktor med funktionen factor(). Hvis man er interesseret i at undersøge hvor vigtig enkeltobservationer er for de konklusioner man drager, kan man forsøge at slette observationerne een for een, og se om det ændrer noget. I den forbindelse kan funktionen lm.influence være nyttig. Se dens hjælpeside. Der er ikke indbygget nogen standardfunktion til at finde standardiserede residualer. Men man kan udføre de nødvendige matrixmanipulationer i hånden, eller man kan bruge funktionen stdres() fra MASS-biblioteket. 11