Statistisk modellering og regressionsanalyse

Transkript

1 Statistisk modellering og regressionsanalyse Claus Thorn Ekstrøm KU Biostatistik Oktober 25, 2018 biostatistics.dk/talks/ 1

2 2

3 Hvad er statistik? Statistics is a science, not a branch of mathematics, but uses mathematical models as an essential tool. og -- John Tukey [...] data analysis is detective work - numerical detective work or counting detective work or graphical detective work. -- John Tukey,

4 Hvad bruger vi statistik til? Mønstre. Hvad ser vi? Prædiktion. Hvad forventer vi ved ny observation? Kausalitet. Hvorfor? 4

5 "Konklusionen er tvivlsom selv om graferne viser en tydelig sammenhæng" "Når man beder en hjælp fra en ekspert, får man o te mere at vide, end man ønsker eller kan forstå" "Der er ikke fejl i udregningerne. Resultatet strider mod enhver sund fornu t, men det er ikke desto mindre rigtigt udregnet,..." 5

6 "Strider mod enhver sund fornu t" 6

7 7

8 Population og stikprøve 8

9 9

10 En model er en klasse af funktioner Y i - udfaldet - den forventede værdi f β (x i ) Model fx: Y i = β 0 + β 1 x i f β (x i ) + ε i Støj med middelværdi 0 Interessante spørgsmål: Hvilke værdier af β vil gøre data mest sandsynlige for fast f? Hvordan vælger man f?

11 Global opvarmning 11

12 Residualer

13 Mindste kvadraters metode Minimér de kvadratiske residualer r i = y i f β (x i ) arg min N i=1 (y i f β (x i )) 2 13

14 Mindste kvadraters metode Minimér de kvadratiske residualer r i = y i f β (x i ) arg min N i=1 (y i f β (x i )) 2 Hvor god er modellen? Prædiktionen? Observeret - forventet 13

15 14

16 Fortolkning for lineær regression ^β 0 ^β 1 ^σ Y i = β 0 + β 1 x i + ε i E(ε i ) = 0, V(ε i ) = σ 2 skæring hældning spredning af residualerne β 1 er den interessante parameter. Gennemsnitlig relevante e fekt. kun sjældent relevant. β 0 σ - hvor tæt er modellen og observationerne på hinanden 15

17 Spredningen ^σ er kvadratroden af gennemsnittet af de kvadrerede afvigelser ^σ = N i=1 (y i f β (x i )) 2 N = N i=1 r2 i N Men dette er i forhold til den sande model, hvor β er kendt. 16

18 Spredningen Hvis ^y i er den estimerede værdi for en måling i ud fra en statistisk model, så er residualspredningen s = N i=1 (y i ^y i ) 2 N 2 = N ^r 2 i=1 i N 2 hvor. ^r i = y i ^y i = y i ^β 0 + ^β 1 x i Løst sagt: "Gennemsnitlig" afvigelse mellem observationerne og modellen. 17

19 Spredningen (the dirty business) LS estimaterne kan skrives som ^β = (X X) 1 X y Sæt H = X(X X) 1 X Projektionen på søjlerne udspændt af X. Så er V(y ^y) = V(y X ^β) = V((I H)y) = (I H)V(y)(I H) = σ 2 (I H) 2 = σ 2 (I H) 18

20 Hvad fortæller en statistisk model? Hvis modellen er rimelig så fortæller den noget, om den overordnede sammenhæng i data. Fortæller ikke nødvendigvis noget om årsagssammenhæng. Det kan man nogle gange ud fra designet RCT og modellen kausal inferens. Lineær regression fungerer på samme måde uanset om eller observeret. X X er fast 19

21 Hvornår kan man løbe ind i problemer? Hvis modellen er markant forkert. x på y eller y på x? Outliers. Interpolation og ekstrapolation. Fortolkning af skæringen. Sammenhæng vs årsagssammenhæng. 20

22 Hvornår er en model god? Hvornår er den rigtig?

23 Er lineær regression en god model her? 22

24 Er lineær regression en god model her?

25 Anscombes data Alle har hældning 0. og skæring. Og samme R 2!

26 Residualplot - er antagelserne opfyldte?. Middelværdi ca.. Ingen systematiske afvigelser. Check for outliers. Varianshomogenitet. Ua hængighed - kan ikke ses

27 Er der så ikke noget rigtigt svar? Næh. Eller jo... Viden tilegnes ved, at en påstand stadig holder vand e ter gentagne e terprøvninger. All models are wrong but some are useful George Box 26

28 27

29 R 2 fortæller ikke, hvor korrekt modellen er β 2 R 2 1 V(X) =. β 2 V(X) + σ2 1 28

30 En forkert model kan have R 2 tæt på 1 R 2 =

31 Siger ikke noget om prædiktionsfejl R 2 =

32 Sammenligninger kan ikke bruges til at sammenligne modeller med utransformeret med en model med transformerede R 2 Y Y Kan bruges til at sige noget om forskellige modeller med samme kompleksitet med samme udfald. Men det kan spredningen også. 31

33 sandsynligvis.dk

34 Beskatning og happiness 33

35 Sandsynlighedsregning og statistik er svært Og med hensyn til, hvem der kommer på bibliotekerne, og hvem der ikke kommer, er der en tabel, og dér står, at 39 pct. af den mandlige del af befolkningen aldrig kommer på bibliotekerne, og at 3 pct. af den kvindelige del af befolkningen, altså fordelt gennemsnitligt over alder, aldrig kommer der. Og når jeg lægger mænd og kvinder sammen - det skal man være lidt forsigtig med, men på det her område tør jeg godt - så giver 39 pct. af mændene og 3 pct. af kvinderne befolkningen tilsammen, og det må være 69 pct. Tager jeg fejl? -- Aase D. Madsen, 999