MLR antagelserne. Antagelse MLR.1:(Lineære parametre) Den statistiske model for populationen kan skrives som
|
|
- Helle Asmussen
- 7 år siden
- Visninger:
Transkript
1 MLR antagelserne Antagelse MLR.1:(Lineære parametre) Den statistiske model for populationen kan skrives som y = β 0 + β 1 x 1 + β 2 x β k x k + u, hvor β 0, β 1, β 2,...,β k er ukendte parametere, og u er et uobserveret fejlled. Antagelse MLR.2 (Tilfældig stikprøve) Antagelse MLR.3 (Ingen perfekt kolinearitet) Antagelse MLR.4 (Betingel middelværdi er nul) Antagelse MLR.5 (Homoskedastiske fejlled)
2 Sætninger Vores OLS estimator er opnået ved at minimere RSS = n i=1 û2 i. Sætning 3.1 (OLS estimatorene er centrale) Under antagelse MLR.1 til MLR.4 E[ˆβ j ] = β j, j = 1, 2,...,k, for alle værdier af β j. Sætning 3.2 (Variansen af OLS estimatorerne) Under antagelse MLR.1 til MLR.5, og betinget på stikeprøvens forklarende variable, har vi Var[ˆβ j ] = σ 2 SST j (1 R 2 j ). Vi mangler at vise, at vi ikke kan gøre det bedre!
3 Lineære estimatore Vores estimatore ˆβ 0,..., ˆβ k er såkaldte lineære estimatore. Generelt er en estimator β j lineær, hvis den er på formen β j = n w ij y i, i=1 hvor hver af w ij erne kan være en funktion af alle x ij erne. Eksempel: Ved simpel lineær regression har vi n i=1 ˆβ 1 = (x i x)y i n n i=1 (x i x) 2 = w i y i, i=1 hvor w i = (x i x) n i=1 (x i x) 2.
4 Gauss-Markov Sætningen Under antagelserne MLR.1 til MLR.5 er OLS estimatorene de bedste centrale, lineære estimatore. Med bedste mener vi her, at for alle unbiased, centrale estimatore β j gælder Var[ˆβ j ] Var[ β j ], dvs. OLS estimatorene har mindst varians. På engelsk BLUE (Best Linear Unbiased Estimator).
5 Gauss-Markov Sætningen Sætning 3.4(Gauss-Markov Sætningen) Under antagelserne MLR.1 til MLR.5 er ˆβ 0, ˆβ 1,..., ˆβ n bedste lineære, centrale estimatore af β 0, β 1,...,β n.
6 Repetition af vektor-regning Antag vi har to n-dimensionelle (søjle)vektorer a 1 b 1 a 2 a =. og b = b 2. a n b n Tænk på a og b som to (n 1) matricer. b 1 a b = [ ] b 2 a 1 a 2 a n. = a 1b 1 +a 2 b 2 + a n b n = b n n a i b i. i=1
7 Multipel Lineære Regression Den t te observation fra en multipel lineære regressions model skrives som y t = β 0 + β 1 x t1 + β 2 x t2 + + β k x tk + u t, hvor x tj er værdien af den j te forklarende variable hørende til den t te observation. For den t ter observation definer en 1 (k + 1) rækkevektor x t = [ 1 x t1 x t2 x tk ] Bemærk vi har x t0 = 1. Definer parameter (søjle)vektor β = [ β 0 β 1 β 2 β k ] Vi har nu y t = k x tj β j + u t = x t β + u t. j=0
8 Som matrix-ligning For hver t = 1,...,n har vi y t = x t β + u t. y 1 x 1 β + u 1 x 1 u 1 y 2. = x 2 β + u 2. = x 2. β + u 2. y n x n β + u n x n u n Hvilket kan skrives som y = Xβ + u, hvor y og u er n 1 søjle-vektorer og X er en n (k + 1) matrix. Matricen X kaldes også design-matricen.
9 Design-matricen Design-matricen er en n (k + 1) matrice, bestående af værdiene for de k forklarende variable for de n observationer. x 1 1 x 11 x 12 x 1k x 2 X =. = 1 x 21 x 22 x 2k. = [ x (0) x (1) x (2) x (k)], x n 1 x n1 x n2 x nk hvor x 1j x 2j x nj x (j) =. er en søjle-vektor af de n værdier for den j te forklarende variabel.
10 Estimationsstrategi Vores model: y = Xβ + u Lad ˆβ være et estimat af den sande, men ukendte parameter β Definer den prædikterede værdi som ŷ t = x t ˆβ og residual vektoren som û t = y t ŷ t = y t x t ˆβ. Summen af de kvadrerede residualer er n n RSS = ût 2 2 = (y t x t ˆβ) t=1 t=1 Vi vil finde ˆβ so RSS er mindst mulig!
11 Minimere RSS Vi har altså RSS = n t=1 (y t x t ˆβ) 2. For a minimere differentierer vi mht. ˆβ og sætter lig nul: RSS ˆβ n = 2 x t(y t x t ˆβ) = 0 t=1 Det kan vi skrive om til X (y X ˆβ) = 0 som igen kan skrives om til X y = X X ˆβ. Vi skal bare have isoleret ˆβ.
12 Repetition: Invertible matricer En kvadratisk matrix A er invertibel, hvis der findes en matrix A 1, så AA 1 = A 1 A = I, hvor I er identitets-matricen. Hvis alle søjler i X er lineært uafhængige, så er X X invertibel med symmetrisk invers matrix (X X) 1. Dvs. (X X)(X X) 1 = (X X) 1 (X X) = I. Matricerne X X og (X X) 1 er desuden symmetriske.
13 Repetition: Lineær uafhængighed Vektore x (0), x (1), x (2),...,x (k) er lineært uafhængige, hvis og kun hvis den eneste løsning til a 0 x (0) + a 1 x (1) + a 2 x (2) + + a k x (k) = 0, er at a 0 = a 1 = = a n. Eksempel: Hvis x (1) og x (2) er prisen i hhv. euro og dollar, så har vi lineær uafhængighed. I almindeligehed er dette ikke et problem. Men er to eller flere søjler tæt på at være lineært afhængige, så han variansen af de tilsvarende estimatore være store.
14 Tilbage på sporet Vi skal løse ligningen X y = X X ˆβ. Antag at X X er invertibel. Da har vi X X ˆβ = Xy (X X) 1 X X ˆβ = (X X) 1 Xy ˆβ = (X X) 1 Xy Da vi har fundet ˆβ ved at minimere RSS = n t=1 û2 t kaldes ˆβ en OLS (Ordinarly Least Squares) estimator.
15 Middelværdi for stokastisk vektor Lad z 1,...,z n være stokastiske variable, hvor E[z i ] = µ i. Definer stokastisk vektor z = [z 1 z 2 z n ]. Den forventede værdi af z er E[z 1 ] µ 1 E[z 2 ] E[z] =. = µ 2. = µ E[z n ] µ n Lad A være en k n ikke-stokastisk matrix og b være en k 1 ikke stokastisk vektor. Da gælder E[Az + b] = AE[z] + b.
16 Varians for stokastiske vektorer Antag z er en n 1 stokastisk vektor med middelværdi E[z] = µ. Varians-kovarians-matricen for stokastisk vektor z er en n n matrix givet ved Σ = Var[z] = E[(z µ)(z µ) ] Lad σ ij = Cov(z i, z j ) være kovariasen mellem x i og x j. Da hvor σ 2 i = σ ii = Var[z i ]. σ 2 1 σ 12 σ 1n σ 21 σ2 2 σ 2n Var[z] =., σ n1 σ n2 σn 2
17 Regneregler for Varians Lad A være en k n ikke-stokastisk matrix og b være en k 1 ikke stokastisk vektor. Da gælder Var[Az + b] = AVar[z]A.
18 Antagelser Antagelse E.1 (Lineær i parametrene) Modellen kan skrives som y = Xβ + u. Antagelse E.2 (Ingen perfekt kolinearitet) Design-matricen X har fuld rang. Antagelse E.3 (Betinget nul-middelværdi) De betingede middelværdier E[u t X] = 0 for t = 0,...,n.
19 Sætning: (OLS estimaterne er unbiased) Under antagelse er E.1 til E.3 er OLS estimatoren ˆβ unbiased. Bevis: Vi har ˆβ = (X X) 1 X y = (X X) 1 X (Xβ + u) = (X X) 1 (X X)β + (X X) 1 X u = β + (X X) 1 X u. Den betingede middelværdien af ˆβ givet X er da E[ ˆβ X] = β + (X X) 1 X E[u X] = β + (X X) 1 X 0 = β.
20 Kovarians-matricen for OLS estimatoren Sætning: (Kovarians-matricen for OLS estimatoren) Under antagelse E.1 til E.4 har vi Bevis: Var[ ˆβ X] = σ 2 (X X) 1. Var[ ˆβ X] = Var[(X X) 1 X (Xβ + u) X] = (X X) 1 X Var[u X]((X X) 1 X ) = (X X) 1 X Var[u X]X(X X) 1 = (X X) 1 X (σ 2 I)X(X X) 1 = σ 2 (X X) 1 X X(X X) 1 = σ 2 (X X) 1 Med mindre alle søjlerne X er vinkelrette på hinanden, så vil der være en korrelation mellem de enkelte ˆβ j er.
21 Normal-fordelte fejlled Sidst gennemgik vi antagelse MLR.1 til MLR.5 der gav os estimatore for β i erne og σ 2 der var unbiased. Nu vi vil gerne teste hypoteser som fx. H 0 : β 1 = 0. Til det må vi gøre en fordelingsantagelse: Antagelse MLR.6 (Normalitet) Fejlledene u i er uafhængige af de forklarende variable x 1, x 2,...,x n og er normalfordelte med middelværdi nul og fælles varians σ 2 : u i N(0, σ 2 ).
22 Normal-fordelte estimatore Sætning 4.1: (Normalfordelte estimatore) Under antaglese MLR.1 til MLR.6 og betinget af de forklarende variable har vi: ˆβ j N(β j, Var[ˆβ j ]), hvor Var[ˆβ j ] = σ 2 /(SST j (1 Rj 2 )). Hvis vi standardiserer får vi ˆβ j β j N(0, 1). Var[ˆβ j ] Bemærk: Vi har benyttet den ukendte varians σ 2.
23 Normalt-fordelte estimatore: Matrix-vejen Antagelsen om at u t erne er uafhængige og u t N(0, σ 2 ) kan skrives som u N n (, σ 2 I). N n er notation for en n dimensional normalfordeling. Vi har fra tidligere ˆβ = β + (X X) 1 X u. Vi kender allrede middelværdi og varians for ˆβ, så da en lineær transformation af en normalfordelt stokastisk vektor også er normal fordelt har vi ˆβ N k+1 (β, σ 2 (X X) 1
24 t fordelte standardiserede estimatore Hvis vi erstatter den ukendte varians σ 2 med vores estimator ˆσ 2 ender vi med en t-fordeling: Sætning 4.2: (t fordelte standardiserede estimatore) Under antagelse MLR.1 til MLR.6 gælder ˆβ j β j t n k 1, Var[ˆβ j ] hvor de n k 1 er antallet af frihedsgrader. De k + 1 svarer til antallet af ukendte parametre i modellen. Ovenfor har vi brugt følgende varians: Var[ˆβ j ] = ˆσ 2 /(SST j (1 R 2 j )) Bemærk: Vi nu bruger estimatoren ˆσ 2.
25 Hypotese-test Vi vil gerne teste hypotesen H 0 : β j = 0 H 1 : β j 0 Nul-hypotesen siger at x j ikke har noget betydning for y, når der er taget højde for alle de andre forklarende variable. Under antagelse af MLR.1 til MLR.6 og at H 0 er sand har vi tˆβj ˆβ j se[ˆβ j ] t n k 1. Bemærk: tˆβ j er et eksempel på en teststørrelse. Bemærk: jo længere tˆβj er fra nul, jo mindre tror vi på H 0.
26 p-værdier Definition: (p-værdi) En p-værdi er sandsynligheden for at observere en mere ekstrem teststørrelse næste gang, hvis alle modelantagelser (fx. MLR.1 til MLR.6) er opfyldt og H 0 er sand. Antag T t n k 1, da er p-værdien hørende til H 0 : β j = 0 givet ved P[ T > tˆβj ]. Beslutning: Hvis p-værdien er under vores signifikans-niveau α, så afviser vi H 0 ellers er konklsusionen, at vi ikke kan afvise H 0. Typisk vælger vi signifikans-niveauet til α = 0.05.
27 R-commander Call: lm(formula = vaegt ~ hoejde, data = Dataset) Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-16 *** hoejde < 2e-16 *** --- Signif. codes: 0 *** ** 0.01 * Af den grønne linje fremgår det, at vores model er vaegt = β 0 + β 1 hoejde + u Af den røde linje kan vi aflæse at ˆβ j = , se[ˆβ j ] = og tˆβj = Endelig kan vi aflæse p-værdien svarende til H 0 : β 1 = 0 er mindre end Vi kan med andre ord trygt afvise H 0.
28 En-sidet test Antag vi ønsker at teste følgende hypoteser H 0 : β j 0 H 1 : β j = 0 I dette tilfælde, jo mindre tˆβj er, jo mindre tror vi på H 0. Hvis T t n k 1, så er p-værdien givet ved P[T < tˆβj ] Bemærk: R returnerer altid P[ T > tˆβj ] (svarende til H 0 : β j = 0). Hvis man laver en lille tegning kan man nemt finde ovestående sandsynlighed.
29 Konfidensintervaller Et (1 α)100% kofidensinterval for β j er givet ved ˆβ j ± t n k a,α/2 se(β j ), hvor t n k a,α/2 er α/2100% fraktilen i en t-fordeling med n k 1 frihedsgrader. Bemærk: Antag vi vil teste hypotesen H 0 : β j = K H 1 : β j K Hvis afviser H 0 hypotesen, hvis K falder udenfor (1 α)100% kofidensintervallet, så svarer til at teste på normal vis med et signifikans-niveau på α.
Tænk på a og b som to n 1 matricer. a 1 a 2 a n. For hvert i = 1,..., n har vi y i = x i β + u i.
Repetition af vektor-regning Økonometri: Lektion 3 Matrix-formulering Fordelingsantagelse Hypotesetest Antag vi har to n-dimensionelle (søjle)vektorer a 1 b 1 a 2 a =. og b = b 2. a n b n Tænk på a og
Læs mereØkonometri: Lektion 2 Multipel Lineær Regression 1/27
Økonometri: Lektion 2 Multipel Lineær Regression 1/27 Multipel Lineær Regression Sidst så vi på simpel lineær regression, hvor y er forklaret af én variabel. Der er intet, der forhindre os i at have mere
Læs mereSimpel Lineær Regression: Model
Simpel Lineær Regression: Model Sidst så vi på simpel lineære regression. Det er en statisisk model på formen y = β 0 + β 1 x + u, hvor fejlledet u, har egenskaben E[u x] = 0. Dette betyder bl.a. E[y x]
Læs mereØkonometri Lektion 1 Simpel Lineær Regression 1/31
Økonometri Lektion 1 Simpel Lineær Regression 1/31 Simpel Lineær Regression Mål: Forklare variablen y vha. variablen x. Fx forklare Salg (y) vha. Reklamebudget (x). Statistisk model: Vi antager at sammenhængen
Læs mereØkonometri: Lektion 2 Multipel Lineær Regression 1/33
Økonometri: Lektion 2 Multipel Lineær Regression 1/33 Simpel Lineær Regression: Model Sidst så vi på simpel lineære regression. Det er en statisisk model på formen y = β 0 +β 1 x +u, hvor fejlledet u,
Læs mereØkonometri: Lektion 6 Emne: Heteroskedasticitet
Økonometri: Lektion 6 Emne: Heteroskedasticitet 1 / 32 Konsekvenser af Heteroskedasticitet Antag her (og i resten) at MLR.1 til MLR.4 er opfyldt. Antag MLR.5 ikke er opfyldt, dvs. vi har heteroskedastiske
Læs mereSimpel Lineær Regression
Simpel Lineær Regression Mål: Forklare variablen y vha. variablen x. Fx forklare Salg (y) vha. Reklamebudget (x). Vi antager at sammenhængen mellem y og x er beskrevet ved y = β 0 + β 1 x + u. y: Afhængige
Læs mereAnalysestrategi. Lektion 7 slides kompileret 27. oktober 200315:24 p.1/17
nalysestrategi Vælg statistisk model. Estimere parametre i model. fx. lineær regression Udføre modelkontrol beskriver modellen data tilstrækkelig godt og er modellens antagelser opfyldte fx. vha. residualanalyse
Læs mereKvantitative metoder 2
Kvantitative metoder 2 Den multiple regressionsmodel 5. marts 2007 regressionsmodel 1 Dagens program Emnet for denne forelæsning er stadig den multiple regressionsmodel (Wooldridge kap. 3.4-3.5, E.2) Variansen
Læs mereLagrange multiplier test. Økonometri: Lektion 6 Håndtering ad heteroskedasticitet. Konsekvenser af Heteroskedasticitet
Lagrange multiplier test Et alternativ til F -testet af en eller flere parametre. Økonometri: Lektion 6 Håndtering ad heteroskedasticitet Antag vi har model: y = β 0 + β 1 x 2 + + β k x k + u. Vi ønsker
Læs mereØkonometri: Lektion 6 Emne: Heteroskedasticitet
Økonometri: Lektion 6 Emne: Heteroskedasticitet 1 / 34 Lagrange multiplier test Et alternativ til F -testet af en eller flere parametre. Antag vi har model: Vi ønsker at teste hypotesen y = β 0 + β 1 x
Læs mereØkonometri: Lektion 4. Multipel Lineær Regression: F -test, justeret R 2 og aymptotiske resultater
Økonometri: Lektion 4 Multipel Lineær Regression: F -test, justeret R 2 og aymptotiske resultater 1 / 35 Hypotesetest for én parameter Antag vi har model y = β 0 + β 1 x 2 + β 2 x 2 + + β k x k + u. Vi
Læs mereOversigt. 1 Gennemgående eksempel: Højde og vægt. 2 Korrelation. 3 Regressionsanalyse (kap 11) 4 Mindste kvadraters metode
Kursus 02402 Introduktion til Statistik Forelæsning 11: Kapitel 11: Regressionsanalyse Oversigt 1 Gennemgående eksempel: Højde og vægt 2 Korrelation 3 Per Bruun Brockhoff DTU Compute, Statistik og Dataanalyse
Læs mereForelæsning 11: Kapitel 11: Regressionsanalyse
Kursus 02402 Introduktion til Statistik Forelæsning 11: Kapitel 11: Regressionsanalyse Per Bruun Brockhoff DTU Compute, Statistik og Dataanalyse Bygning 324, Rum 220 Danmarks Tekniske Universitet 2800
Læs mereModule 3: Statistiske modeller
Department of Statistics ST502: Statistisk modellering Pia Veldt Larsen Module 3: Statistiske modeller 31 ANOVA 1 32 Variabelselektion 4 321 Multipel determinationskoefficient 5 322 Variabelselektion med
Læs mereModule 1: Lineære modeller og lineær algebra
Module : Lineære modeller og lineær algebra. Lineære normale modeller og lineær algebra......2 Lineær algebra...................... 6.2. Vektorer i R n................... 6.2.2 Regneregler for vektorrum...........
Læs mere! Variansen på OLS estimatoren. ! Multikollinaritet. ! Variansen i misspecificerede modeller. ! Estimat af variansen på fejlleddet
Dagens program Økonometri Den multiple regressionsmodel 4. februar 003 regressionsmodel Emnet for denne forelæsning er stadig den multiple regressionsmodel (Wooldridge kap. 3.4-3.5)! Opsamling fra sidst
Læs mereReminder: Hypotesetest for én parameter. Økonometri: Lektion 4. F -test Justeret R 2 Aymptotiske resultater. En god model
Reminder: Hypotesetest for én parameter Antag vi har model Økonometri: Lektion 4 F -test Justeret R 2 Aymptotiske resultater y = β 0 + β 1 x 2 + β 2 x 2 + + β k x k + u. Vi ønsker at teste hypotesen H
Læs mereAnvendt Statistik Lektion 8. Multipel Lineær Regression
Anvendt Statistik Lektion 8 Multipel Lineær Regression 1 Simpel Lineær Regression (SLR) y Sammenhængen mellem den afhængige variabel (y) og den forklarende variabel (x) beskrives vha. en SLR: ligger ikke
Læs meremen nu er Z N((µ 1 µ 0 ) n/σ, 1)!! Forkaster hvis X 191 eller X 209 eller
Type I og type II fejl Type I fejl: forkast når hypotese sand. α = signifikansniveau= P(type I fejl) Program (8.15-10): Hvis vi forkaster når Z < 2.58 eller Z > 2.58 er α = P(Z < 2.58) + P(Z > 2.58) =
Læs mereProgram: 1. Repetition: p-værdi 2. Simpel lineær regression. 1/19
Program: 1. Repetition: p-værdi 2. Simpel lineær regression. 1/19 For test med signifikansniveau α: p < α forkast H 0 2/19 p-værdi Betragt tilfældet med test for H 0 : µ = µ 0 (σ kendt). Idé: jo større
Læs mereLøsning eksamen d. 15. december 2008
Informatik - DTU 02402 Introduktion til Statistik 2010-2-01 LFF/lff Løsning eksamen d. 15. december 2008 Referencer til Probability and Statistics for Engineers er angivet i rækkefølgen [8th edition, 7th
Læs mereØkonometri lektion 5 Multipel Lineær Regression. Inferens Modelkontrol Prædiktion
Økonometri lektion 5 Multipel Lineær Regression Inferens Modelkontrol Prædiktion Multipel Lineær Regression Data: Sæt af oservationer (x i, x i,, x ki, y i, i,,n y i er den afhængige variael x i, x i,,
Læs mereØkonometri 1. Dagens program. Den multiple regressionsmodel 18. september 2006
Dagens program Økonometri Den multiple regressionsmodel 8. september 006 Opsamling af statistiske resultater om den simple lineære regressionsmodel (W kap..5). Den multiple lineære regressionsmodel (W
Læs mereTo samhørende variable
To samhørende variable Statistik er tal brugt som argumenter. - Leonard Louis Levinsen Antagatviharn observationspar x 1, y 1,, x n,y n. Betragt de to tilsvarende variable x og y. Hvordan måles sammenhængen
Læs mereMotivation. Konfidensintervaller og vurdering af usikkerhed på estimerede størrelser
Motivation Konfidensintervaller og vurdering af usikkerhed på estimerede størrelser Rasmus Waagepetersen October 26, 2018 Eksempel: En landmåler får til opgave at måle længden λ fra A til B. Entreprenøren
Læs mereØkonometri: Lektion 5. Multipel Lineær Regression: Interaktion, log-transformerede data, kategoriske forklarende variable, modelkontrol
Økonometri: Lektion 5 Multipel Lineær Regression: Interaktion, log-transformerede data, kategoriske forklarende variable, modelkontrol 1 / 35 Veksekvirkning: Motivation Vi har set på modeller som Price
Læs mereKonfidensintervaller og Hypotesetest
Konfidensintervaller og Hypotesetest Konfidensinterval for andele χ -fordelingen og konfidensinterval for variansen Hypoteseteori Hypotesetest af middelværdi, varians og andele Repetition fra sidst: Konfidensintervaller
Læs mereStatistik og Sandsynlighedsregning 2. IH kapitel 12. Overheads til forelæsninger, mandag 6. uge
Statistik og Sandsynlighedsregning 2 IH kapitel 12 Overheads til forelæsninger, mandag 6. uge 1 Fordelingen af én (1): Regressionsanalyse udfaldsvariabel responsvariabel afhængig variabel Y variabel 2
Læs mereModul 6: Regression og kalibrering
Forskningsenheden for Statistik ST501: Science Statistik Bent Jørgensen Modul 6: Regression og kalibrering 6.1 Årsag og virkning................................... 1 6.2 Kovarians og korrelation...............................
Læs mereMultipel Lineær Regression
Multipel Lineær Regression Trin i opbygningen af en statistisk model Repetition af MLR fra sidst Modelkontrol Prædiktion Kategoriske forklarende variable og MLR Opbygning af statistisk model Specificer
Læs mere1 Regressionsproblemet 2
Indhold 1 Regressionsproblemet 2 2 Simpel lineær regression 3 2.1 Mindste kvadraters tilpasning.............................. 3 2.2 Prædiktion og residualer................................. 5 2.3 Estimation
Læs mereTema. Model og modelkontrol ( Fx. en normalfordelt obs. række m. kendt varians) Estimation af parametre. Fordeling. Hypotese og test. Teststørrelse.
Tema Model og modelkontrol ( Fx. en normalfordelt obs. række m. kendt varians) Estimation af parametre. Fordeling. (Fx. x. µ) Hypotese og test. Teststørrelse. (Fx. H 0 : µ = µ 0 ) konfidensintervaller
Læs mereMindste kvadraters tilpasning Prædiktion og residualer Estimation af betinget standardafvigelse Test for uafhængighed Konfidensinterval for hældning
1 Regressionsproblemet 2 Simpel lineær regression Mindste kvadraters tilpasning Prædiktion og residualer Estimation af betinget standardafvigelse Test for uafhængighed Konfidensinterval for hældning 3
Læs mereØkonometri 1. Dagens program. Den simple regressionsmodel 15. september 2006
Dagens program Økonometri Den simple regressionsmodel 5. september 006 Den simple lineære regressionsmodel (Wooldridge kap.4-.6) Eksemplet fortsat: Løn og uddannelse på danske data Funktionel form Statistiske
Læs mereKvantitative Metoder 1 - Forår Dagens program
Dagens program Afsnit 6.1 Den standardiserede normalfordeling Normalfordelingen Beskrivelse af normalfordelinger: - Tæthed og fordelingsfunktion - Middelværdi, varians og fraktiler Lineære transformationer
Læs mereStatistik og Sandsynlighedsregning 2. Repetition og eksamen. Overheads til forelæsninger, mandag 7. uge
Statistik og Sandsynlighedsregning 2 Repetition og eksamen Overheads til forelæsninger, mandag 7. uge 1 Normalfordelingen Erfaringsmæssigt er normalfordelingen velegnet til at beskrive variationen i mange
Læs mereKvantitative metoder 2
Kvantitative metoder Heteroskedasticitet 11. april 007 KM: F18 1 Oversigt: Heteroskedasticitet OLS estimation under heteroskedasticitet (W.8.1-): Konsekvenser af heteroskedasticitet for OLS Gyldige test
Læs mereLogistisk Regression. Repetition Fortolkning af odds Test i logistisk regression
Logistisk Regression Repetition Fortolkning af odds Test i logistisk regression Logisitks Regression: Repetition Y {0,} binær afhængig variabel X skala forklarende variabel π P( Y X x) Odds(Y X x) π /(-π
Læs mereStatistik og Sandsynlighedsregning 2
Statistik og Sandsynlighedsregning 2 Lineære transformationer, middelværdi og varians Helle Sørensen Uge 8, onsdag SaSt2 (Uge 8, onsdag) Lineære transf. og middelværdi 1 / 15 Program I formiddag: Fordeling
Læs mereAnvendt Statistik Lektion 7. Simpel Lineær Regression
Anvendt Statistik Lektion 7 Simpel Lineær Regression 1 Er der en sammenhæng? Plot af mordraten () mod fattigdomsraten (): Scatterplot Afhænger mordraten af fattigdomsraten? 2 Scatterplot Et scatterplot
Læs mereI dag. Statistisk analyse af en enkelt stikprøve med kendt varians Sandsynlighedsregning og Statistik (SaSt) Eksempel: kobbertråd
I dag Statistisk analyse af en enkelt stikprøve med kendt varians Sandsynlighedsregning og Statistik SaSt) Helle Sørensen Først lidt om de sidste uger af SaSt. Derefter statistisk analyse af en enkelt
Læs mereLandmålingens fejlteori - Lektion 2. Sandsynlighedsintervaller Estimation af µ Konfidensinterval for µ. Definition: Normalfordelingen
Landmålingens fejlteori Lektion Sandsynlighedsintervaller Estimation af µ Konfidensinterval for µ - rw@math.aau.dk Institut for Matematiske Fag Aalborg Universitet En stokastisk variabel er en variabel,
Læs mereTema. Dagens tema: Indfør centrale statistiske begreber.
Tema Dagens tema: Indfør centrale statistiske begreber. Model og modelkontrol Estimation af parametre. Fordeling. Hypotese og test. Teststørrelse. konfidensintervaller Vi tager udgangspunkt i Ex. 3.1 i
Læs mereLøsning til eksaminen d. 14. december 2009
DTU Informatik 02402 Introduktion til Statistik 200-2-0 LFF/lff Løsning til eksaminen d. 4. december 2009 Referencer til Probability and Statistics for Engineers er angivet i rækkefølgen [8th edition,
Læs mereProgram. 1. Repetition 2. Fordeling af empirisk middelværdi og varians, t-fordeling, begreber vedr. estimation. 1/18
Program 1. Repetition 2. Fordeling af empirisk middelværdi og varians, t-fordeling, begreber vedr. estimation. 1/18 Fordeling af X Stikprøve X 1,X 2,...,X n stokastisk X stokastisk. Ex (normalfordelt stikprøve)
Læs mereStatistik Lektion 16 Multipel Lineær Regression
Statistik Lektion 6 Multipel Lineær Regression Trin i opbygningen af en statistisk model Repetition af MLR fra sidst Modelkontrol Prædiktion Kategoriske forklarende variable og MLR Opbygning af statistisk
Læs mereLineære normale modeller (4) udkast
E6 efterår 1999 Notat 21 Jørgen Larsen 2. december 1999 Lineære normale modeller (4) udkast 4.5 Regressionsanalyse 4.5.1 Præsentation 1 Regressionsanalyse handler om at undersøge hvordan én målt størrelse
Læs mereStatistik og Sandsynlighedsregning 2
Statistik og Sandsynlighedsregning 2 Normalfordelingens venner og bekendte Helle Sørensen Uge 9, onsdag SaSt2 (Uge 9, onsdag) Normalfordelingens venner 1 / 20 Program Resultaterne fra denne uge skal bruges
Læs mereEksempel Multipel regressions model Den generelle model Estimation Multipel R-i-anden F-test for effekt af prædiktorer Test for vekselvirkning
1 Multipel regressions model Eksempel Multipel regressions model Den generelle model Estimation Multipel R-i-anden F-test for effekt af prædiktorer Test for vekselvirkning PSE (I17) ASTA - 11. lektion
Læs mereModule 9: Residualanalyse
Mathematical Statistics ST6: Linear Models Bent Jørgensen og Pia Larsen Module 9: Residualanalyse 9 Rå residualer 92 Standardiserede residualer 3 93 Ensidig variansanalyse 4 94 Studentiserede residualer
Læs mereDagens Emner. Likelihood-metoden. MLE - fortsat MLE. Likelihood teori. Lineær regression (intro) Vi har, at
Likelihood teori Lineær regression (intro) Dagens Emner Likelihood-metoden M : X i N(µ,σ 2 ) hvor µ og σ 2 er ukendte Vi har, at L(µ,σ 2 1 ) = ( 2πσ 2)n/2 e 1 2 P n (xi µ)2 er tætheden som funktion af
Læs mereLineær regression. Simpel regression. Model. ofte bruges følgende notation:
Lineær regression Simpel regression Model Y i X i i ofte bruges følgende notation: Y i 0 1 X 1i i n i 1 i 0 Findes der en linie, der passer bedst? Metode - Generel! least squares (mindste kvadrater) til
Læs mereDen lineære normale model
Den lineære normale model Ingredienser: V : N-dimensionalt vektorrum. X : Ω V : stokastisk variabel. L : ægte underrum af V, dimension k., : fundamentalt indre produkt på V. Vi laver en hel familie af
Læs mereLøsning til eksaminen d. 29. maj 2009
DTU Informatik 02402 Introduktion til Statistik 20-2-01 LFF/lff Løsning til eksaminen d. 29. maj 2009 Referencer til Probability and Statistics for Engineers er angivet i rækkefølgen [8th edition, 7th
Læs mereKvantitative Metoder 1 - Efterår Dagens program
Dagens program Afsnit 6.1. Ligefordelinger, fra sidst Den standardiserede normalfordeling Normalfordelingen Beskrivelse af normalfordelinger: - Tæthed og fordelingsfunktion - Middelværdi, varians og fraktiler
Læs mereLineær regression: lidt mere tekniske betragtninger om R 2 og et godt alternativ
Lineær regression: lidt mere tekniske betragtninger om R 2 og et godt alternativ Per Bruun Brockhoff, DTU Compute, Claus Thorn Ekstrøm, KU Biostatistik, Ernst Hansen, KU Matematik January 17, 2017 Abstract
Læs mereOversigt. 1 Motiverende eksempel: Højde-vægt. 2 Lineær regressionsmodel. 3 Mindste kvadraters metode (least squares)
Kursus 02402/02323 Introducerende Statistik Forelæsning 8: Simpel lineær regression Oversigt Motiverende eksempel: Højde-vægt 2 Lineær regressionsmodel 3 Mindste kvadraters metode (least squares) Klaus
Læs mereØkonometri: Lektion 7 Emne: Prædiktionsintervaller, RESET teset, proxy variable og manglende data.
Økonometri: Lektion 7 Emne: Prædiktionsintervaller, RESET teset, proxy variable og manglende data. 1 / 32 Motivation Eksempel: Savings = β 0 + β 1 Income + u Vi ved allerede, hvordan vi estimerer regresseionlinjen:
Læs mereAppendiks Økonometrisk teori... II
Appendiks Økonometrisk teori... II De klassiske SLR-antagelser... II Hypotesetest... VII Regressioner... VIII Inflation:... VIII Test for SLR antagelser... IX Reset-test... IX Plots... X Breusch-Pagan
Læs mereMuligheder: NB: test for µ 1 = µ 2 i model med blocking ækvivalent med parret t-test! Ide: anskue β j som stikprøve fra normalfordeling.
Eksempel: dæktyper og brændstofforbrug (opgave 25 side 319) Program: cars 1 2 3 4 5... radial 4.2 4.7 6.6 7.0 6.7... belt 4.1 4.9 6.2 6.9 6.8... Muligheder: 1. vi starter med at gennemgå opgave 7 side
Læs merehvor a og b er konstanter. Ved middelværdidannelse fås videre
Uge 3 Teoretisk Statistik. marts 004. Korrelation og uafhængighed, repetition. Eksempel fra sidste gang (uge ) 3. Middelværdivektor, kovarians- og korrelationsmatrix 4. Summer af stokastiske variable 5.Den
Læs mereStatistik Lektion 3. Simultan fordelte stokastiske variable Kontinuerte stokastiske variable Normalfordelingen
Statistik Lektion 3 Simultan fordelte stokastiske variable Kontinuerte stokastiske variable Normalfordelingen Repetition En stokastisk variabel er en funktion defineret på S (udfaldsrummet, der antager
Læs mereRegneregler for middelværdier M(X+Y) = M X +M Y. Spredning varians og standardafvigelse. 1 n VAR(X) Y = a + bx VAR(Y) = VAR(a+bX) = b²var(x)
Formelsamlingen 1 Regneregler for middelværdier M(a + bx) a + bm X M(X+Y) M X +M Y Spredning varians og standardafvigelse VAR(X) 1 n n i1 ( X i - M x ) 2 Y a + bx VAR(Y) VAR(a+bX) b²var(x) 2 Kovariansen
Læs mereNormalfordelingen og Stikprøvefordelinger
Normalfordelingen og Stikprøvefordelinger Normalfordelingen Standard Normal Fordelingen Sandsynligheder for Normalfordelingen Transformation af Normalfordelte Stok.Var. Stikprøver og Stikprøvefordelinger
Læs mereLogistisk Regression. Repetition Fortolkning af odds Test i logistisk regression
Logistisk Regression Repetition Fortolkning af odds Test i logistisk regression Logistisk Regression: Definitioner For en binær (0/) variabel Y antager vi P(Y)p P(Y0)-p Eksempel: Bil til arbejde vs alder
Læs merePoul Thyregod, introslide.tex Specialkursus vid.stat. foraar Lad θ = θ(β) R k for β B R m med m k
Dagens program: Likelihoodfunktion, begreber : Mandag den 4. februar Den generelle lineære model score-funktion: første afledede af log-likelihood har middelværdien nul observeret information: anden afledede
Læs mereNormalfordelingen. Det centrale er gentagne målinger/observationer (en stikprøve), der kan beskrives ved den normale fordeling: 1 2πσ
Normalfordelingen Det centrale er gentagne målinger/observationer (en stikprøve), der kan beskrives ved den normale fordeling: f(x) = ( ) 1 exp (x µ)2 2πσ 2 σ 2 Frekvensen af observationer i intervallet
Læs mereStikprøver og stikprøve fordelinger. Stikprøver Estimatorer og estimater Stikprøve fordelinger Egenskaber ved estimatorer Frihedsgrader
Stikprøver og stikprøve fordelinger Stikprøver Estimatorer og estimater Stikprøve fordelinger Egenskaber ved estimatorer Frihedsgrader Statistik Statistisk Inferens: Prediktere og forekaste værdier af
Læs mereProgram: 1. Repetition: fordeling af observatorer X, S 2 og t. 2. Konfidens-intervaller, hypotese test, type I og type II fejl, styrke.
Program: 1. Repetition: fordeling af observatorer X, S 2 og t. 2. Konfidens-intervaller, hypotese test, type I og type II fejl, styrke. 1/23 Opsummering af fordelinger X 1. Kendt σ: Z = X µ σ/ n N(0,1)
Læs mereInstitut for Matematiske Fag Aalborg Universitet Specielt: Var(aX) = a 2 VarX 1/40. Lad X α, X β og X γ være stokastiske variable (vinkelmålinger) med
Repetition: Varians af linear kombination Landmålingens fejlteori Lektion 5 Fejlforplantning - rw@math.aau.dk Antag X 1, X,..., X n er uafhængige stokastiske variable, og Y er en linearkombination af X
Læs mereNanostatistik: Opgavebesvarelser
Nanostatistik: Opgavebesvarelser JLJ Nanostatistik: Opgavebesvarelser p. 1/16 Pakkemaskine En producent hævder at poserne indeholder i gennemsnit 16 ounces sukker. Data: 10 pakker sukker: 16.1, 15.8, 15.8,
Læs mere3.600 kg og den gennemsnitlige fødselsvægt kg i stikprøven.
PhD-kursus i Basal Biostatistik, efterår 2006 Dag 1, onsdag den 6. september 2006 Eksempel: Sammenhæng mellem moderens alder og fødselsvægt I dag: Introduktion til statistik gennem analyse af en stikprøve
Læs mereNaturvidenskabelig Bacheloruddannelse Forår 2006 Matematisk Modellering 1 Side 1
Matematisk Modellering 1 Side 1 I nærværende opgavesæt er der 16 spørgsmål fordelt på 4 opgaver. Ved bedømmelsen af besvarelsen vægtes alle spørgsmål lige. Endvidere lægges der vægt på, at det af besvarelsen
Læs mereForelæsning 5: Kapitel 7: Inferens for gennemsnit (One-sample setup)
Kursus 02402 Introduktion til Statistik Forelæsning 5: Kapitel 7: Inferens for gennemsnit (One-sample setup) Per Bruun Brockhoff DTU Compute, Statistik og Dataanalyse Bygning 324, Rum 220 Danmarks Tekniske
Læs mereDen lineære normale model
Den lineære normale model Ingredienser: V : N-dimensionalt vektorrum. X : Ω V : stokastisk variabel. L : ægte underrum af V, dimension k., : fundamentalt indre produkt på V. Vi laver en hel familie af
Læs mereAntag X 1, X 2,..., X n er n uafhængige stokastiske variable, hvor Var(X 1 )=σ 2 1,..., Var(X n )=σ 2 n.
Simple fejlforplantningslov Landmålingens fejlteori Lektion 6 Den generelle fejlforplantningslov Antag X, X,, X n er n uafhængige stokastiske variable, hvor Var(X )σ,, Var(X n )σ n Lad Y g(x, X,, X n ),
Læs mereNormalfordelingen. Statistik og Sandsynlighedsregning 2
Statistik og Sandsynlighedsregning 2 Repetition og eksamen T-test Normalfordelingen Erfaringsmæssigt er normalfordelingen velegnet til at beskrive variationen i mange variable, blandt andet tilfældige
Læs mereenote 5: Simpel lineær regressions analyse Kursus 02402/02323 Introducerende Statistik Oversigt
enote 5: Simpel lineær regressions analse Kursus 02402/02323 Introducerende Statistik Forelæsning 8: Simpel lineær regression To variable: og Beregn mindstekvadraters estimat af ret linje Inferens med
Læs mereTrin 1: Formuler hypotese Spørgsmål der ønskes testet vha. data H 0 : Nul hypotese Formuleres som en ligheds hændelse
Statistik 7. gang 9. HYPOTESE TEST Hypotesetest ved 6 trins raket! : Trin : Formuler hypotese Spørgsmål der ønskes testet vha. data H 0 : Nul hypotese Formuleres som en ligheds hændelse H eller H A : Alternativ
Læs mereKursus 02402/02323 Introducerende Statistik
Kursus 02402/02323 Introducerende Statistik Forelæsning 8: Simpel lineær regression Peder Bacher DTU Compute, Dynamiske Systemer Bygning 303B, Rum 009 Danmarks Tekniske Universitet 2800 Lyngby Danmark
Læs mereØkonometri 1. Inferens i den lineære regressionsmodel 2. oktober Økonometri 1: F8 1
Økonometri 1 Inferens i den lineære regressionsmodel 2. oktober 2006 Økonometri 1: F8 1 Dagens program Opsamling om asymptotiske egenskaber: Asymptotisk normalitet Asymptotisk efficiens Test af flere lineære
Læs mereKursus 02323: Introducerende Statistik. Forelæsning 8: Simpel lineær regression. Peder Bacher
Kursus 02323: Introducerende Statistik Forelæsning 8: Simpel lineær regression Peder Bacher DTU Compute, Dynamiske Systemer Bygning 303B, Rum 009 Danmarks Tekniske Universitet 2800 Lyngby Danmark e-mail:
Læs mereAnvendt Statistik Lektion 9. Variansanalyse (ANOVA)
Anvendt Statistik Lektion 9 Variansanalyse (ANOVA) 1 Undersøge sammenhæng Undersøge sammenhænge mellem kategoriske variable: χ 2 -test i kontingenstabeller Undersøge sammenhæng mellem kontinuerte variable:
Læs mereHypotesetest. Altså vores formodning eller påstand om tingens tilstand. Alternativ hypotese (hvis vores påstand er forkert) H a : 0
Hypotesetest Hypotesetest generelt Ingredienserne i en hypotesetest: Statistisk model, f.eks. X 1,,X n uafhængige fra bestemt fordeling. Parameter med estimat. Nulhypotese, f.eks. at antager en bestemt
Læs mereNote om Monte Carlo metoden
Note om Monte Carlo metoden Kasper K. Berthelsen Version 1.2 25. marts 2014 1 Introduktion Betegnelsen Monte Carlo dækker over en lang række metoder. Fælles for disse metoder er, at de anvendes til at
Læs mereβ = SDD xt SSD t σ 2 s 2 02 = SSD 02 f 02 i=1
Lineær regression Lad x 1,..., x n være udfald af stokastiske variable X 1,..., X n og betragt modellen M 2 : X i N(α + βt i, σ 2 ) hvor t i, i = 1,..., n, er kendte tal. Konkret analyseres (en del af)
Læs mereAnvendt Lineær Algebra
Anvendt Lineær Algebra Kursusgang 4 Anita Abildgaard Sillasen Institut for Matematiske Fag AAS (I17) Anvendt Lineær Algebra 1 / 32 Vægtet mindste kvadraters metode For et lineært ligningssystem (af m ligninger
Læs mereUge 43 I Teoretisk Statistik, 21. oktober Forudsigelser
Uge 43 I Teoretisk Statistik,. oktober 3 Simpel lineær regressionsanalyse Forudsigelser Fortolkning af regressionsmodellen Ekstreme observationer Transformationer Sammenligning af to regressionslinier
Læs mereModule 4: Ensidig variansanalyse
Module 4: Ensidig variansanalyse 4.1 Analyse af én stikprøve................. 1 4.1.1 Estimation.................... 3 4.1.2 Modelkontrol................... 4 4.1.3 Hypotesetest................... 6 4.2
Læs mereEt firma tuner biler. Antallet af en bils cylindere er givet ved den stokastiske variabel X med massetæthedsfunktionen
STATISTIK Skriftlig evaluering, 3. semester, mandag den 6. januar 004 kl. 9.00-13.00. Alle hjælpemidler er tilladt. Opgaveløsningen forsynes med navn og CPR-nr. OPGAVE 1 Et firma tuner biler. Antallet
Læs mereAgenda Sandsynlighedsregning. Regneregler (kap. 3-4) Fordelinger og genkendelse af fordelinger (kap. 3-5) Simultane, marginale og betingede
Agenda Sandsynlighedsregning. Regneregler (kap. 3-4) Fordelinger og genkendelse af fordelinger (kap. 3-5) Simultane, marginale og betingede fordelinger (kap. 4) Middelværdi og varians (kap. 3-4) Fordelingsresultater
Læs mereSandsynlighed og Statistik
36 Sandsynlighed og Statistik 6.1 Indledning Denne note beskriver de statistiske begreber og formler som man med rimelig sandsynlighed kan komme ud for i eksperimentelle øvelser. Alt er yderst korfattet,
Læs mereDagens Emner. Likelihood teori. Lineær regression (intro) p. 1/22
Dagens Emner Likelihood teori Lineær regression (intro) p. 1/22 Likelihood-metoden M : X i N(µ,σ 2 ) hvor µ og σ 2 er ukendte Vi har, at L(µ,σ 2 ) = ( 1 2πσ 2)n/2 e 1 2σ 2 P n (x i µ) 2 er tætheden som
Læs mereProdukt og marked - matematiske og statistiske metoder
Produkt og marked - matematiske og statistiske metoder Rasmus Waagepetersen Institut for Matematiske Fag Aalborg Universitet February 19, 2016 1/26 Kursusindhold: Sandsynlighedsregning og lagerstyring
Læs mereAnvendt Statistik Lektion 9. Variansanalyse (ANOVA)
Anvendt Statistik Lektion 9 Variansanalyse (ANOVA) 1 Undersøge sammenhæng Undersøge sammenhænge mellem kategoriske variable: χ 2 -test i kontingenstabeller Undersøge sammenhæng mellem kontinuerte variable:
Læs mereFejlforplantning. Landmålingens fejlteori - Lektion 5 - Fejlforplantning. Repetition: Varians af linear kombination. Eksempel: Vinkelberegning
Fejlforplantning Landmålingens fejlteori Lektion 5 Fejlforplantning - kkb@math.aau.dk http://people.math.aau.dk/ kkb/undervisning/lf13 Landmåling involverer ofte bestemmelse af størrelser som ikke kan
Læs mereEt eksempel på en todimensional normalfordeling Anders Milhøj September 2006
Et eksempel på en todimensional normalfordeling Anders Milhøj September 006 I dette notat gennemgås et eksempel, der illustrerer den todimensionale normalfordelings egenskaber. Notatet lægger sig op af
Læs mereØkonometri 1. Den simple regressionsmodel 11. september Økonometri 1: F2
Økonometri 1 Den simple regressionsmodel 11. september 2006 Dagens program Den simple regressionsmodel SLR : Én forklarende variabel (Wooldridge kap. 2.1-2.4) Motivation for gennemgangen af SLR Definition
Læs mereRettevejledning til eksamen i Kvantitative metoder 1, 2. årsprøve 2. januar 2007
Rettevejledning til eksamen i Kvantitative metoder 1,. årsprøve. januar 007 I rettevejledningen henvises der til Berry and Lindgren "Statistics Theory and methods"(b&l) hvis ikke andet er nævnt. Opgave
Læs mere