Statistik og Sandsynlighedsregning 2

Statistik og Sandsynlighedsregning 2 Normalfordelingen og transformation af kontinuerte fordelinger Helle Sørensen Uge 7, mandag SaSt2 (Uge 7, mandag) Normalford. og transformation 1 / 16

Program Paretofordelingen, med fokus på eksistens af middelværdi/varians Normalfordelingen: tæthed, middelværdi, varians, lineær transformation Transformationssætningen: hvis X har tæthed p, hvad er så tætheden for Y = t(x )? SaSt2 (Uge 7, mandag) Normalford. og transformation 2 / 16

Eksempel: Paretofordelingen X er paretofordelt med parameter α > 0 hvis X har tæthed p(x) = αx (α+1), x > 1 Er p en overhovedet en sandsynlighedstæthed? n 1 [ α p(x)dx = α x α] n = 1 1 n α 1, n så integralet 1 p(x)dx eksisterer og er lig 1. For hvilke værdier af α har X middelværdi? Og hvad er så EX? n 1 xp(x)dx = α α 1 ( 1 n 1 α ) α α 1, 1 α < 0 α α 1 ( 1 n 1 α ), 1 α > 0 log(n), α = 1 X har middelværdi hvis og kun hvis α > 1, og så er EX = α/(α 1). SaSt2 (Uge 7, mandag) Normalford. og transformation 3 / 16

Paretofordelingen For hvilke værdier af α har fordelingen varians? Og hvad er variansen? Pointer: På tilsvarende ses at E(X 2 ) < hvis og kun hvis α > 2, og i så fald er E(X 2 ) = α α 2 Dermed bliver Var(X ) = E(X 2 ) (EX ) 2 = α ( ) α 2 α 2 α = α 1 (α 2)(α 1) 2 Der findes altså fordelinger uden middelværdi og varians Eksistens af varians stærkere end eksistens af middelværdi Hvordan viser det sig at middelværdi og varians ikke eksisterer? SaSt2 (Uge 7, mandag) Normalford. og transformation 4 / 16

Paretofordelingen Simulationer: træk n tilfældige tal fra paretofordelingen, og beregn empirisk middelværdi (gennemsnit) og empirisk varians, se side 103: x = 1 n n i=1 x i, s 2 = 1 n 1 n i=1 (x i x) 2 x og s 2 vil stabilisere sig omkring E(X ) og Var(X ) når n vokser hvis disse størrelser eksisterer. α antal obs. x s 2 100 1.49 0.39 3.5 1000 1.42 0.38 10000 1.40 0.37 100 2988 10 8 0.5 1000 4025 10 10 10000 17040 10 12 Stabilitet omkring E(X ) = 1.4 hhv. Var(X ) = 0.37 Eksplosion! SaSt2 (Uge 7, mandag) Normalford. og transformation 5 / 16

Normalfordelingen: hvad og hvorfor? Standardnormalfordelingen eller N(0, 1) er den kontinuerte fordeling på R med tæthed φ(x) = 1 e x2 /2, x R 2π Hvorfor er den så interessant? Mange pæne matematiske egenskaber kommer os til gode både når vi laver sandsynlighedsregning og statistik Forbavsende mange data kan beskrives vha. normalfordelingen Den centrale grænseværdisætning: summer af (næsten) hvad som helst er normalfordelt, når bare der er led nok i summen Lineære normalfordelingsmodeller: passer godt til mange data; eksakte fordelingsresultater for estimatorer, teststørrelser mm. SaSt2 (Uge 7, mandag) Normalford. og transformation 6 / 16

Standard normalfordelingen Tæthed Fordelingsfunktion Density (φ) 0.0 0.1 0.2 0.3 0.4 0.90 0.05 0.05 4 2 0 2 4 z Cdf (Φ) 0.0 0.2 0.4 0.6 0.8 1.0 4 2 0 2 4 z SaSt2 (Uge 7, mandag) Normalford. og transformation 7 / 16

Carl Friedriech Gauss, 1777 1855 SaSt2 (Uge 7, mandag) Normalford. og transformation 8 / 16

Normalfordelingen Husk: φ(x) = 1 2π e x2 /2, x R Er φ overhovedet en tæthed? φ ikke-negativ Er φ integrabel på (, )? Er integralet lig 1? Se opgave 6.1 i uge 8. Momenter: E( X k < for alle k N da K findes så x k e x2 /2 < Ke x2 /4, x R Hvad er middelværdien, E(X )? Hvad er variansen, Var(X )? E(X 3 ) = 0 og E(X 4 ) = 3: opgave 5.12 på onsdag SaSt2 (Uge 7, mandag) Normalford. og transformation 9 / 16

Fordelingsfunktion Fordelingsfunktionen kaldes Φ: x x Φ(x) = φ(y)dy = φ(y)dy Der findes ikke noget eksplicit udtryk for Φ. Funktionsværdier beregnes vha. computer, lommeregner eller slås op i tabeller. SaSt2 (Uge 7, mandag) Normalford. og transformation 10 / 16

Lineær transformation af standard normalfordelt X Antag at X er N(0,1)-fordelt, og definer Y = µ + σx Så er E(Y ) = µ + σe(x ) = µ, Var(Y ) = σ 2 Var(X ) = σ 2, sd(y ) = σ og vi siger at Y er normalfordelt med middelværdi µ og varians σ 2. Fordelingsfunktion for Y? Tæthed for Y? SaSt2 (Uge 7, mandag) Normalford. og transformation 11 / 16

Transformation af kontinuerte fordelinger Lige før: Hvis X er normalf. N(0,1), så er Y = µ + σx normalf. N(µ,σ 2 ). Mere generelt: Hvis X er kontinuert med tæthed p og t er så pæn at Y = t(x ) er kontinuert, hvad er så tætheden for Y? Løst argument: Husk følgende fortolkning af tætheden p for h lille: P(X [x,x + h]) p(x)h Ønsker en tilsvarende fortolkning for Y s tæthed q for δ lille: t(x + h) t(x) + t (x)h P(Y [y,y + δ]) q(y)δ Regn på P(Y [y,y + δ]) med y = t(x), δ = t (x)h og t voksende SaSt2 (Uge 7, mandag) Normalford. og transformation 12 / 16

Transformationssætningen Antagelser: 1. X koncentreret på interval I fra a til b, dvs. P(X I ) = 1. 2. X kontinuert med tæthed p der er kontinuert på (a,b). 3. t : I R kontinuert. Så er J = t(i ) et interval fra v = inf J til h = supj og Y = t(x ) er koncentreret på (v,h). 4. t kontinuert differentiabel med t (x) 0 for alle x (a,b). Så er t strengt monoton og desuden eksisterer den inverse t 1 : J I. Sætning 5.4.1 Y = t(x ) er kontinuert med tæthed q givet ved { p(t q(y) = 1 (y))/ t (t 1 (y)) y (v,h) 0 ellers NB. d dy t 1 (y) = 1/t (t 1 (y)), så q(y) = p(t 1 (y)) d dy t 1 (y) på (v,h) SaSt2 (Uge 7, mandag) Normalford. og transformation 13 / 16

Bevis Regn på Y s fordelingsfunktion F Y Argumentér for at F Y er kontinuert differentiabel på (v,h) Brug sætning 5.1.6 og slut at Y er kontinuert med tæthed F Y Regn på F Y. SaSt2 (Uge 7, mandag) Normalford. og transformation 14 / 16

Eksempler 1. X eksponentialfordelt med parameter 1. Definer Y = X 2. Er antagelserne opfyldt? Hvad er tætheden for Y? 2. X har tæthed p. Definer Y = a + bx for b 0. t(x) = a + bx opfylder betingelserne da t (x) = b 0. Invers funktion t 1 (y) = (y a)/b med afledet 1/b. Tætheden for Y : q(y) = 1 ( ) y a b p b SaSt2 (Uge 7, mandag) Normalford. og transformation 15 / 16

Resume Vigtige ting fra i dag: Normalfordelingenen: tæthed, fordelingsfunktion, middelværdi, varians, sammenhæng mellem N(0,1) og N(µ,σ 2 ). Transformationssætningen: I skal kunne bruge den! På onsdag: Lidt om fraktiler i normalfordelingen, bla. beregning i R Eksempel på at normalfordelingen kan være nyttig selvom data er meget langt fra at være normalfordelte Lidt mere om transformation Flerdimensionale kontinuerte fordelinger SaSt2 (Uge 7, mandag) Normalford. og transformation 16 / 16