Nanostatistik: Lineær regression

Transkript

1 Nanostatistik: Lineær regression JLJ Nanostatistik: Lineær regression p. 1/69

2 Repetition Model: X 1,...,X n uafhængige, X i N(µ,σ 2 ) X = n 1 n i=1 X i, s 2 = n 1 1 n i=1 (X i X) 2 Teststørrelse: T = n X µ 0 s t[n 1] Accept: t t [n 1] Forkast: t t [n 1] { 95% konfidensinterval µ 0 } n x µ 0 s t [n 1] } {µ 0 x µ 0 t [n 1] n σ = = [ ] x t [n 1] s n, x + t [n 1] s n Nanostatistik: Lineær regression p. 2/69

3 Program for i dag 1. Indledning: sammenhæng mellem to variable 2. Lineær sammenhæng: bedste rette linie 3. Hvor meget sammenhæng er der? 4. Hypoteser om den lineære sammenhæng Nanostatistik: Lineær regression p. 3/69

4 Hvad betyder "sammenhæng"? Eksempel: Iltoptaget i blodet afhænger af pulsen y afhænger af x eller y forklares af x y = funktion(x) Sprogbrug: y er den afhængige variabel og x er den uafhængige variabel Nanostatistik: Lineær regression p. 4/69

5 Iltoptagelse Nanostatistik: Lineær regression p. 5/69

6 Sammenhænge Funktionssammenhæng: y er en funktion af x. Ex: Hvis jeg kender afstanden mellem to galakser så kender jeg også den hastighed hvormed de bevæger sig væk fra hinanden Ex: En målemetode giver et respons der er proportional med koncentrationen af et bestem stof i prøven x kaldes den forklarende (uafhængige) variabel y kaldes den afhængige variabel Nanostatistik: Lineær regression p. 6/69

7 Samvariation Eksempel: Fødselsvægt og scanningsmål y er ikke direkte en funktion af x, men begge er funktioner af én (elller mange) trejde variabel y = f(z), x = g(z) y = f(g 1 (x)) y = f({z : g(z) = x})!! Nanostatistik: Lineær regression p. 7/69

8 Fødselsvægt Nanostatistik: Lineær regression p. 8/69

9 Sammenhænge Biologisk samvariation: x og y er korrelerede indenfor en population Ex: Vægt og højde er positivt korrelerede: den gennemsnitlige vægt for en given højde vil vokse med højden De to variable er på lige fod, men i en analyse kan vi vælge at betragte den ene som forklarende og den anden som afhængig Nanostatistik: Lineær regression p. 9/69

10 Falsk sammenhæng Salget af sololie er højt når salget af ispinde er højt I perioden faldt antallet af fødsler samtidig med at antallet af storkepar i Danmark faldt To eksempler (af hvilken type?): Kosmisk stråling Skatttryk og økonomisk vækst Nanostatistik: Lineær regression p. 10/69

11 Kosmisk stråling Nanostatistik: Lineær regression p. 11/69

12 Skat-vækst Figur 1. Økonomisk vækst og skattetryk for hvert af de 15 EU-lande i Økonomisk vækst (%) y = x Skattetryk (samlede skatter og afgifter i % af BNP) Hver af de 15 prikker viser den økonomiske vækst og skattetryk for et EU-land i Eksempelvis havde Danmark et skattetryk på 49,0% og en vækst på 1,0%. Den rette linie i figuren er lavet ved hjælp af den statistiske metode som hedder simpel lineær regression med mindste kvadraters metode. Denne statistiske metode forsøger at beskrive en række datapunkter bedst muligt ved hjælp af en ret linie. Liniens hældning (-0,1433) kan tolkes som et bud på hvilken påvirkning det havde på den økonomiske vækst for et EU-land i 2001 at have ét procentpoint højere skattetryk i Eksemplet 2001 antyder således, at EU-lande i 2001 tabte 0,1433 procentpoint vækst for hver ekstra procentpoint skattetryk. Som tidligere nævnt kan det forventes, at også tilfældigheder og konjunkturer spiller ind på data. Der er således intet overraskende ved, at punkterne i figur 1 ikke placerer sig nøjagtigt langs den rette linie. For bedst muligt at kunne bedømme betydningen af konjunkturer og tilfældigheder bør man se tallenes udvikling over en længere periode. Ligesom man for 2001 kunne udregne hældningen til 0,1433 kan man lave tilsvarende beregninger for hver af de øvrige 31 år. Jeg har ikke fundet væksttal fra før Nanostatistik: Lineær regression p. 12/69

13 Skat-vækst Figur 2. Ændring i økonomisk vækst pr. procentpoint højere skattetryk for de 15 nuværende EU lande Procentpoint vækst Figur 2 tager hældningen fra den bedste rette linie for hvert år og viser udviklingen over tid. Denne figur viser flere interessante ting: For det første svinger kurven omkring et gennemsnit som er betydeligt lavere end nul. Gennemsnittet for hele perioden har været minus 0,074 procentpoint vækstpåvirkning pr. procentpoint ekstra skattetryk svarende til eksempelvis 1,48 procentpoint tabt vækst om året ved 20 procentpoint højere skattetryk. For det andet har ganske mange af de senere år udvist betydelige negative værdier. Hvert eneste af de seneste seks år har udvist værdier i intervallet minus 0,10 til minus 0,15 svarende til mellem to og tre procentpoint tabt vækst om året pr. 20 procentpoint ekstra skattetryk. 14 af de seneste 15 år viser desuden negative værdier. En logisk forklaring på kurvens lavere niveau de senere år kan være, at den internationale konkurrence er vokset. Vi har fået friere bevægelser af kapital, varer, viden, arbejdskraft og personer, hvilket har givet bedre muligheder til den enkelte for at fravælge høje skatter. Den større internationale konkurrence er et resultatet af både politiske beslutninger og en teknologisk udvikling. For det tredje har der været variationer / konjunkturer over årene. Flere gange har der været perioder på op til 5-7 år med et niveau på den ene eller anden side af gennemsnittet for alle 32 år. Denne observation gør, at estimering af middelværdiens spredning kun giver mening ved at regne på data for en lang årrække hvor konjunkturerne kan antages at have ophævet hinanden. Jeg vurderer, at de 32 års observationer i denne sammenhæng er en acceptabel lang tid til beregning af spredningen. Hvis man forudsætter at de 32 tal er 5 Nanostatistik: Lineær regression p. 13/69

14 Sammenhænge Falsk sammenhæng: Et begrænset datasæt kan på grund af andre faktorer vise en sammenhæng mellem to variable der ikke er forbundne Ex: Fra falder antallet af storkepar i Danmark samtidig med at antallet af fødsler går ned Nanostatistik: Lineær regression p. 14/69

15 Jeres egne eksempler Nanostatistik: Lineær regression p. 15/69

16 Statistik 1) Lave model for sammenhængen hvor der tages hensyn til tilfældig variation 2) Beskrive sammenhængen ved hjælp af parametre 3) Lave skøn over værdien af disse parametre I kurset her: Lineær sammenhæng: y = γ + βx γ: skæring med y-aksen β: hældning Nanostatistik: Lineær regression p. 16/69

17 Hvad skal vi bruge det til? Prediktion: Hvis vi gør sådan og sådan sker der... Hvis vi sænker skatten... Hvis vi sænker dagpengene... Planlægning: Indtægter skal gerne matche udgifter, optimere indtjening Hvor stor skal skatteprocenten være Hvor mange elever skal der være i hver klasse Nanostatistik: Lineær regression p. 17/69

18 Er der en linær sammenhæng Plot data! Den fundne lineære sammenhæng gælder kun indenfor dataområdet! (medmindre der er en teori bagved) En etableret sammenhæng bruges ofte til at sige noget om den afhængige variabel givet kendskab til den forklarende variabel: Forklarende variabel x: nem at måle Afhængige variabel y: svær at måle Ex: kan nemt måle højden på en pige og kan bruge denne til at sige noget om vægten Data fra jer Nanostatistik: Lineær regression p. 18/69

19 Bedste rette linie Hvordan estimerer vi den linære sammenhæng der bedst beskriver data? Lineær sammenhæng?: y-erne ligger ikke på en linie: de spreder sig omkring linien Statistisk model: E(Y i ) = γ + βx i γ: liniens skæring med y-aksen β: liniens hældning Nanostatistik: Lineær regression p. 19/69

20 Mindste kvadraters metode Data: n punkter (x i,y i ) Model: x i -erne opfattes som faste og y i er en observation fra en stokastisk variabel med en fordeling der afhænger af x i, specielt: E(Y i ) = γ + βx i Metode: vælger den linie der minimerer summen af de kvadrerede afstande til linien R(γ,β) = n (Y i γ βx i ) 2 i=1 Find ˆγ og ˆβ ved at minimere R(γ,β) Vis R-plot og minimer R(γ, β) numerisk Nanostatistik: Lineær regression p. 20/69

21 Mindste kvadraters metode x = gennemsnit af x-erne = (x 1 + x x n )/n ȳ = gennemsnit af y-erne = (y 1 + y y n )/n SSD x = Sum of Squared Deviations for x = (x 1 x) 2 + (x 2 x) (x n x) 2 SPD xy = Sum of Product of Deviations for x,y = (x 1 x)(y 1 ȳ) + (x 2 x)(y 2 ȳ) + + (x n x)(y n ȳ) ˆβ = SPD xy SSD x, og ˆγ = ȳ ˆβ x Nanostatistik: Lineær regression p. 21/69

22 Regneregel n SPD xy = (x i x)(y i Ȳ ) i=1 = (x i x)y i Ȳ (x i x) n = (x i x)y i i=1 Nanostatistik: Lineær regression p. 22/69

23 Bevis R(γ, β) = = n (Y i γ βx i ) 2 i=1 n {(Y i Ȳ ) + (Ȳ γ β x) β(x i x)} 2 i=1 = (Y i Ȳ )2 + n(ȳ γ β x)2 + β 2 (x i x) 2 +2(Ȳ γ β x) (Y i Ȳ ) 2β (x i x)(y i Ȳ ) 2β(Ȳ γ β x) (x i x) = (Y i Ȳ )2 + n(ȳ γ β x)2 + β 2 SSD x 2βSPD xy For fast β skal vi vælge γ til ˆγ = Ȳ β x. Indsætter vi dette får vi (Yi Ȳ )2 + β 2 SSD x 2βSPD xy Nanostatistik: Lineær regression p. 23/69

24 Bevis (Yi Ȳ ) 2 + β 2 SSD x 2βSPD xy Differentierer vi mht β fås 2βSSD x 2SPD xy og sætter vi denne lig med 0 får vi ˆβ = SPD xy SSD x Nanostatistik: Lineær regression p. 24/69

25 Prediktion udenfor dataområdet Højde-vægt eksemplet: Højderne er i området cm. Den bedste linie har γ = 124 og β = 1.09 Højden af et nyfødt barn er cirka 50 cm. Vores gæt på fødselsvægten bliver derfor = 69.5 Nanostatistik: Lineær regression p. 25/69

26 Hubble s law In 1929, Edwin Hubble investigated the relationship between distance of a galaxy from the earth and the velocity with which it appears to be receding Big Bang Hubble s law is as follows: Recession Velocity = Ho*Distance Vis R-plot n = 24, x = , ȳ = , SSD x = , SPD xy = ˆβ = , ˆγ = Nogen siger: β = 75 negative hastigheder blandt data? (indirekte målinger) Nanostatistik: Lineær regression p. 26/69

27 Unbiased estimater SPD xy = (x i x)(y i Ȳ ) = (x i x)y i Ȳ (x i x) = (x i x)y i ( ) SPDxy E(ˆβ) = E = 1 E(SPD xy ) = 1 E{(xi x)y i } SSD x SSD x SSD x 1 = (xi x)(γ + βx i ) SSD x β = (xi x)x i = β (xi x)(x i x) = β SSD x SSD x Nanostatistik: Lineær regression p. 27/69

28 Unbiased estimater E(ˆγ) = E(Ȳ ˆβ x) = E(Ȳ ) xe(ˆβ) = 1 n E(Yi ) β x = 1 n (γ + βxi ) β x = γ + β x β x = γ Nanostatistik: Lineær regression p. 28/69

29 V (ˆβ) = V = = ( ) SPDxy 1 Varians = 1 SSD 2 V (SPD xy ) = 1 x SSD 2 x SSD x (xi x) 2 V (Y i ) SSD 2 x 1 SSD 2 SSD x σ 2 = x σ2 SSD x, hvis V (Y i ) σ 2 V {(xi x)y i } Jo større SSD 2 x jo mindre varians: sørge for at x-værdierne er spredt ud Nanostatistik: Lineær regression p. 29/69

30 ˆγ = Ȳ ˆβ x = 1 n Varians Yi x (xi x)y i = Y i SSD x ( 1 n x(x ) i x) SSD x V (ˆγ) = ( 1 n x(x ) i x) 2 V (Y i ) SSD x { n = σ 2 n 2 2 x (xi x) + x2 nssd x SSD 2 x { } 1 = σ 2 n + x2, hvis V (Y i ) σ 2 SSD x (xi x) 2 } Jo længere x er væk fra nul jo mindre ved vi om skæringen med y-aksen Vis R-eksempler Nanostatistik: Lineær regression p. 30/69

31 Skøn over varians Model: Y 1,...,Y n uafhængige, E(Y i ) = γ + βx i V (Y i ) = σ 2 og Skøn over σ 2? σ 2 = E{[Y i E(Y i )] 2 } = E{(Y i γ βx i ) 2 } Bruge s 2 = 1 n 2 Bemærk: n 2! n i=1 (Y i ˆγ ˆβx i ) 2 Nanostatistik: Lineær regression p. 31/69

32 Spredning omkring linien Estimerede varians: s 2 = R(ˆα, ˆβ) n 2 = 1 n 2 n (y i ˆα ˆβx i ) 2 i=1 Estimerede spredning: s = s 2 Fortolkning: cirka 30 procent af punkterne har en lodret afstand til linien der er større end s cirka 5 procent af punkterne har en lodret afstand til linien der er større end 2 s R-eksempler Nanostatistik: Lineær regression p. 32/69

33 E(s 2 ) = σ 2 : Bevis Det i te residual: r i = Y i ˆγ ˆβx i, s 2 = 1 n 2 r 2 i Vi skriver Y i som Y i = γ + βx i + u i, E(u i ) = 0, V (u i ) = σ 2 Vi har Ȳ = γ + β x + ū, og SPD xy = n (x i x)y i = (x i x)(γ + βx i + u i ) i=1 = 0 + β SSD x + (x i x)u i Nanostatistik: Lineær regression p. 33/69

34 Bevis Indsætter vi i ˆβ får vi Dernæst indsættes i r i : ˆβ = SPD xy SSD x = β + 1 SSD x (xi x)u i r i = Y i ˆγ ˆβx i = {γ + βx i + u i } {γ + β x + ū} { β + 1 } (xj x)u j (x i x) SSD x = u i ū x i x SSD x (xj x)u j, Nanostatistik: Lineær regression p. 34/69

35 Bevis Kvadrerer vi disse fås r 2 i = (u i ū) 2 2 (ui ū)(x i x) (xj x)u j + (xi x) 2 SSD 2 x SSD x { } 2 (xj x)u j = (u i ū) 2 1 SSD x { (xj x)u j } 2, E( r 2 i ) = (n 1)σ 2 1 SSD x = (n 1)σ 2 σ2 SSD x (xi x) 2 = (n 1)σ 2 σ 2 = (n 2)σ 2 i (x i x)(x j x)e(u i u j ) j Nanostatistik: Lineær regression p. 35/69

36 Lineær normal model Model: Y 1,...,Y n uafhængige, Y i N(γ + βx i,σ 2 ) Så er ˆγ, ˆβ maximum likelihood estimaterne (mle), og s 2 er næsten mle for σ 2 ˆβ = SSD 1 ) n x 1 Y σ i(x i x) N (β, 2 SSD x ˆγ = ( ) n 1 Y 1n i x(x i x) N (γ,σ ( )) SSD 2 1 x n + SSD x2 x idet sum af uafhængige normalfordelte variable er normalfordelt s 2 σ2 n 2 χ2 [n 2] Nanostatistik: Lineær regression p. 36/69

37 Tegne før regne Modelantagelse: Punkterne spreder sig omkring en ret linie (lineær sammenhæng mellem x og y): ingen systematiske afvigelser Spredningen omkring linien afhænger ikke af x Første plot: Tegne y op mod x R-eksempel Nanostatistik: Lineær regression p. 37/69

38 Residualplot Beregn: ˆγ, ˆβ, og r i = y i ˆγ ˆβx i, i = 1,...,n ˆµ i = ˆγ + ˆβx i (residualer) Andet plot: Tegne r i op mod ˆµ i Afvigelse 1: systematik Afvigelse 2: trompetform R-eksempler Normalitet: lav qq-plot. (Vis Plot) Nanostatistik: Lineær regression p. 38/69

39 Usikkerhed Sande sammenhæng: y = γ + βx Estimerede sammenhæng fra data: y = ˆγ + ˆβx experiment 1 experiment 2 ˆγ 1, ˆβ1 ˆγ 2, ˆβ2 Hvor meget skal vi regne med at ˆγ, ˆβ afviger fra sande værdier γ,β? Nanostatistik: Lineær regression p. 39/69

40 Standardisering af usikkerhed: β Hvor meget afviger ˆβ fra β? σ måler hvor meget punkterne afviger fra linien: jo større σ er jo dårligere er hældningen bestemt: standardiser ved brug af ˆβ β σ SSDx måler hvor meget x-værdierne spreder sig: jo mere spredning jo bedre er hældningen bestemt: standardiser ved brug af Z = ˆβ β σ SSDx Dette er i overensstemmelse med: V (ˆβ) = σ2 SSD x Nanostatistik: Lineær regression p. 40/69

41 Standardisering Hvis Y i N(γ + βx i,σ 2 ) har vi: ˆβ N ( β, σ 2 SSD x ) ˆβ β σ SSDx N(0, 1) Hvis σ 2 er ukendt bruger vi s 2 σ2 n 2 χ2 [n 2] og dermed T = ˆβ β s2 /SSD x t[n 2] Nanostatistik: Lineær regression p. 41/69

42 Test af faglig teori Lad os lave en meget simpel teori for sammenhængen mellem højde og vægt: Alle personer har en omkreds omkring maven på 100cm. Hvis jeg øger højden med 1cm, og denne placeres ved maven øger jeg vægten med (1kg/l)[1 π(100/(2π) 2 ]/1000 = 0.80kg Hypotese: β = 0.8 Statistik: Er data i overensstemmelse med β = 0.8? Svar: har vi fået en typisk værdi: fint har vi fået en atypisk værdi: forkast hypotesen Nanostatistik: Lineær regression p. 42/69

43 Tørvægt - levende vægt Biomasse = levende vægt FW af smådyr i mulden Måles: tørvægt DM Data: 15 målinger af springhale (Folsomia quadrioculata s.l.) log(dm) log(f W) log(dm) log(f W) Vi vil forvente en sammenhæng på formen FW = c DM eller log(fw) = γ + log(dm) Nanostatistik: Lineær regression p. 43/69

44 Teste hældning har givet værdi Model: Y 1,...,Y n uafhængige, Y i N(γ + βx i,σ 2 ) Hypotese: β = β 0, Alternativ: β β 0 test på niveau 5% ( ) Benytter: ˆβ N σ β, 2 SSD x, s 2 n 2 σ2 χ2 [n 2] Teststørrelse: T = ˆβ β 0 s2 /SSD x t[n 2] Accept: t < t [n 2] Forkast: t t [n 2] p-værdi: 2F t[n 2] ( t ) 95% [ konfidensinterval: s ˆβ t [n 2], ˆβ + SSDx ] s t [n 2] SSDx Nanostatistik: Lineær regression p. 44/69

45 Tørvægt - levende vægt Estimater: ˆβ = 1.02, ˆγ = 0.43 SSD x = , s 2 = Test for at β = 1: t = = 0.22, p-værdi = / % [ konfidensinterval for hældning: /1.3684, ] / [0.81, 1.24] = Nanostatistik: Lineær regression p. 45/69

46 Teste at skæringen er kendt Model: Y 1,...,Y n uafhængige, Y i N(γ + βx i,σ 2 ) Hypotese: γ = γ 0, Alternativ: γ γ 0 test på niveau 5% Benytter: ˆγ N (γ,σ ( )) 2 1 n + SSD x2 x Teststørrelse: T = s 2 ( ˆγ γ n Accept: t < t [n 2] Forkast: t t [n 2] p-værdi: 2F t[n 2] ( t ) 95% konfidensinterval: [ ˆγ s 1n + SSD x2 t x [n 2], ˆγ + s ) t[n 2] SSD x2 x 1n + ] SSD x2 t x [n 2] Nanostatistik: Lineær regression p. 46/69

47 Hubble s law Hubble s law is as follows: Recession Velocity = Ho*Distance Teste γ = 0 n = 24, x = , s 2 = , SSD x = , ˆγ = t = ( p-værdi = 0.31 ) = 0.49 Nanostatistik: Lineær regression p. 47/69

48 Hubble s law: nye data The Astrophysical Journal 1990, 1-10 Hubbles lov: v = k H x, hvor x er afstand mellem galakser og v er hastigheden hvormed de bevæger sig væk fra hinanden. De nye data består af afstande x og et mål Z. Hvis Hubbles lov er gældende skal E{log(Z)} = γ + βx med β = 0.2 log(10) For at bestemme konstanten k H i Hubbles lov skal man dividere exp(γ) med en ny afstand µ 0. Man har skønnet µ 0 til ˆµ 0 = 21.9 hvor den stokastiske variabel ˆµ 0 har spredning 0.9. Vis data, to regressionslinier, kontrolplots Nanostatistik: Lineær regression p. 48/69

49 Hubble s law: nye data Teste β = 0.2 log(10): ˆβ = , SSD x = , s 2 = t = = / Estimere γ når β er kendt: Y i βx i N(γ,σ 2 ) ˆγ = Ȳ β x, s2 = n 1 1 n 1 (Y i Ȳ β(x i x)) 2 V (ˆγ) = σ2 n Resultat: ˆγ = 7.075, spredning = ˆk H = exp(ˆγ) ˆµ 0 = 54.0 V (ˆk H ) = ( exp(7.075) 21.9 ) ( exp(7.075) ) = = Nanostatistik: Lineær regression p. 49/69

50 Hubble s law: nye data Tl beregning af varians er brugt: h(γ,µ 0 ) = exp(γ) µ 0, h γ (γ,µ 0 ) = exp(γ) µ 0, h µ0 (γ,µ 0 ) = exp(γ) µ 2 0 Approksimativt 95% konfidensinterval: [ , ] = [49.2, 58.8] Nanostatistik: Lineær regression p. 50/69

51 Estimat af β for kendt γ Model: Y 1,...,Y n uafhængige, Y i N(γ 0 + βx i,σ 2 ), γ 0 kendt Finde ˆβ ved at minimere R(β) = n i=1 (Y i γ 0 βx i ) 2 Da R (β) = 0 er det samme som 2 n 1 x i(y i γ 0 βx i ) = 0 eller n 1 x i(y i γ 0 ) = β n 1 x i ) får vi ˆβ = 1 n 1 x2 i n 1 x i(y i γ 0 ) N (β, σ 2 n 1 x2 i Nanostatistik: Lineær regression p. 51/69

52 Prediktion Ud fra et datasæt har jeg bestemt ˆβ og ˆγ Hvad kan jeg sige om en fremtidig værdi af Y givet at den tilhørende x-værdi er x 0? Vi har at E(Y ) = γ + βx 0. Det er derfor naturligt at prediktere Y ved Y pred = ˆγ + ˆβx 0 Vi kan skrive Y pred som Y pred = n i=1 { 1 Y i n + (x i x) x } 0 x SSD x Det ses herfra at Y pred er normalfordelt og vi får ( 1n Y pred N (γ + βx 0,σ 2 + (x 0 x) 2 )) SSD x Nanostatistik: Lineær regression p. 52/69

53 R 2 -værdien Beregning nedenfor viser at variation i Y = variation omkring linien +variation forklaret ved linien SSD y = {Y i Ȳ }2 = {Y i (ˆγ + ˆβx i ) + (ˆγ + ˆβx i ) Ȳ }2 = {Y i (ˆγ + ˆβx i )} 2 + {(ˆγ + ˆβx i ) Ȳ } 2 +2 {Y i (ˆγ + ˆβx i )}{(ˆγ + ˆβx i ) Ȳ } = {Y i (ˆγ + ˆβx i )} 2 + {(ˆγ + ˆβx i ) Ȳ } 2 Nanostatistik: Lineær regression p. 53/69

54 R 2 -værdien Det sidste led divideret med SSD y er den del af variationen der forklares ved linien, kaldet R 2 : R 2 = {(ˆγ + ˆβxi ) Ȳ }2 SSD y = 1 r 2 i SSD y = 1 (n 2)s2 SSD y. Nanostatistik: Lineær regression p. 54/69

55 R 2 -værdien R 2 = 0: ˆβ = 0 R 2 = 1: r 2 i = 0, dvs alle punkterne ligger på linien Advarsel: R 2 er ikke et udtryk for hvor godt data beskrives ved en lineær sammenhæng R 2 giver mest mening når vi studerer en biologisk samvariation og (X i,y i ) er tilfældige individer fra populationen Nanostatistik: Lineær regression p. 55/69

56 Højde og vægt Vis plot Drenge: ˆγ = 50, ˆβ = 0.69, s 2 = 36.34, SSD x = , R 2 = 0.53 Piger: ˆγ = 176, ˆβ = 1.40, s 2 = 52.84, SSD x = 204, R 2 = 0.44 Test for ens varianser: W = = , p-værdi=0.56 Test for ens hældninger: s 2 = ( )/17 = t = = 1.39, p-værdi= (1/ /204) Nanostatistik: Lineær regression p. 56/69

57 Forurening Til undersøgelse af forureningen i en flod har man indsamlet 10 vandprøver forskellige steder i floden. For hver vandprøve bestemmes logaritmen til koncentrationen af colibakterier. I en afstand af 250 yds fra flodens udløb i havet er der indsamlet prøver i afstandene 0 feet, 50 feet, og 100 feet fra flodbredden. Tilsvarende er der i en afstand af 1300 yds fra flodens udløb i havet indsamlet prøver i afstandene 0 feet, 50 feet, og 100 feet fra flodbredden. Plot af logkoncentration som funktion af afstand fra bredden Plot af gennemsnit som funktion af afstand fra bredden qqplot for normalitet Spørgsmål: Er der samme afhængighed af afstanden til bredden de to steder? Er der forskel på de to steder? Nanostatistik: Lineær regression p. 57/69

58 To regressioner: Teste β 1 = β 2 Model: Y 11,...,Y 1n1 uafhængige, Y 1i N(γ 1 + β 1 x 1i,σ 2 1 ) Y 21,...,Y 2n2 uafhængige, Y 2i N(γ 2 + β 2 x 2i,σ 2 2 ) Hypotese: β 1 = β 2, Alternativ: β 1 β 2 Vi har: ˆβ 1 N ( β 1, ) σ1 2 SSD 1, ˆβ2 N ( β 2, ) σ2 2 SSD 2 s 2 1 σ2 1 n 1 2 χ2 [n 1 2], s 2 2 σ2 2 n 2 2 χ2 [n 2 2] Under hypotesen gælder der: ˆβ 1 ˆβ ( 2 N 0, ) σ1 2 + σ2 2 SSD 1 SSD 2 Hvis σ 2 1 = σ2 2 er s2 = (n 1 2)s 2 1+(n 2 2)s 2 2 n 1 +n 2 4 σ 2 n 1 +n 2 4 χ2 [n 1 +n 2 4] Nanostatistik: Lineær regression p. 58/69

59 To regressioner: Teste β 1 = β 2 σ1 2 = σ2 2 : Test på niveau 5% Teststørrelse: T = s 2 ( ˆβ 1 ˆβ 2 1 SSD SSD 2 Accept: t < t [n 1 + n 2 4] Forkast: t t [n 1 + n 2 4] p-værdi: 2F t[n1 +n 2 4]( t ) ) t[n 1 + n 2 4] Nanostatistik: Lineær regression p. 59/69

60 To regressioner: Teste β 1 = β 2 σ1 2 σ2 2 : Test på niveau 5% ˆβ 1 ˆβ 2 Teststørrelse: T = t[f] s s2 2 SSD 1 SSD 2 Accept: t < t [f] Forkast: t t [f] p-værdi: 2F t[f] ( t ) f = 1 n 1 2 ( s 2 1 ) 2 + s2 2 SSD 1 SSD 2 ( ) s 2 2 ( ) 1 SSD + 1 s n 2 2 SSD 2 Nanostatistik: Lineær regression p. 60/69

61 Forurening Estimater: 250yds: ˆβ = , ˆγ = 2.25, s 2 = yds: ˆβ = , ˆγ = 2.16, s 2 = Test for lineær sammenhæng (ikke gennegået): 250yds: F = 1.33, p-værdi = yds: F = 0.007, p-værdi = 0.93 Test for hældning lig med nul: 250yds: t = 3.00, p-værdi = yds: t = 1.59, p-værdi = 0.12 Test for ens varianser: F = 0.93, p-værdi = 0.84 Test for ens hældning: t = 0.93, p-værdi = 0.36 Nanostatistik: Lineær regression p. 61/69

62 Multipel regression Når man skal vurdere et fosters vægt ud fra ultralydsscanning bruger man typisk to mål: volumen (v) af maven og volumen (w) af hovedet Hvordan skal man kombinere disse i et samlet gæt på vægten? En typisk model vil være på formen y i = α + β 1 v i + β 2 w i + rest Vi har her to forklarende variable istedet for blot én I en generel multipel regressions model har man k forklarende variable, og skriver middelværdien af y i som α + β 1 x 1i + β 2 x 2i + + β k x ki Nanostatistik: Lineær regression p. 62/69

63 Hærdning af klinker Variable: 3CaO Al 2 O 3 indhold = x 1 3CaO SiO 2 indhold = x 2 varmeproduktion under hærdning = y x 1 x 2 y x 1 x 2 y Data: Nanostatistik: Lineær regression p. 63/69

64 To forklarende variable Fordeling af Y i afhænger både af x i og z i Model: Y 1,...,Y n uafhængige, Y i N(γ + βx i + ξz i,σ 2 ) Estimater: ˆβ = SPD xyssd z SPD xz SPD zy SSD x SSD z SPD 2 xz ˆξ = SPD zyssd x SPD xz SPD xy SSD x SSD z SPD 2 xz ˆγ = Ȳ ˆβ x ˆγ z N N N ( β, σ 2 SSD z SSD x SSD z SPD 2 xz ( ξ, σ 2 SSD x SSD x SSD z SPD 2 xz ( γ,σ 2 { 1n + x2 SSD z + z 2 SSD x x zspd xz SSD x SSD z SPD 2 xz ) ) }) s 2 = 1 n 3 n i=1 (Y i ˆγ ˆβx i ˆγz i ) 2 σ2 n 3 χ2 [n 3] Nanostatistik: Lineær regression p. 64/69

65 Bevis For fast ξ kan vi erstatte Y i med Ỹi = Y i ξz i og bruge tidligere estimater: ˆβ(ξ) = SPD xỹ = SPD xy ξ SSD x SSD SPD xz x SSD x Indsætter vi dette i kvadratsummen skal vi minimere R(γ, γ) = = n 1 { Y i γ {( Y i SPD xy SSD x x i ( SPDxy ξ SPD xz SSD x SSD x ) γ ξ ) x i ξz i } 2 ( z i SPD xz SSD x x i )} 2 Vi kan nu bruge tidligere resultater med Ỹi = Y i SPD xy SSD x x i og med x i = z i SPD xz SSD x x i Nanostatistik: Lineær regression p. 65/69

66 Bevis Dette giver: ˆξ = = SPD xỹ SSD x SPD zy SPD xy SPD SSD xx SPD ( xz SPD x SSD xy SPD ) xy SSD x SSD x x SSD z 2 SPD xz SPD SSD zx + SPD2 xz x SSD 2 SSD x x = SPD zyssd x SPD xz SPD xy SSD x SSD z SPD 2 xz Dette indsættes nu i det tidligere ˆβ(ξ) hvorved formlen for ˆβ findes. Nanostatistik: Lineær regression p. 66/69

67 Varmeproduktion Regression paa 3CaO Al 2 O 3 : ˆβ = 1.87, ˆγ = 81.48, s 2 = Teste β = 0: t = 2.62, p-værdi = Regression paa 3CaO SiO 2 : ˆβ = 0.79, ˆγ = 57.42, s 2 = Teste β = 0: t = 3.46, p-værdi = Regression paa (Al,Si): ˆβ = 1.47, ˆξ = 0.66, ˆγ = 52.58, s 2 = 5.8 Teste β = 0: t = 14.4, p-værdi = Teste ξ = 0: t = 12.1, p-værdi = Nanostatistik: Lineær regression p. 67/69

68 Estimation Minimere n i=1 (y i γ β 1 x 1i β k x ki ) 2 Matrixregning X = 1 1 x 11 x 1n. x k1 x kn. (ˆγ, ˆβ) = yx (XX ) 1 Nanostatistik: Lineær regression p. 68/69

69 Estimation i R lsfit(t(x), y)$coef Eller, for eksempel hvis k = 2 og de forklarende variable ligger i vektorerne X 1 og X 2, så skriv lsfit(cbind(x 1,X 2 ),y)$coef Nanostatistik: Lineær regression p. 69/69