Statstk Lekto 4 Smpel Leær Regresso Smpel leær regresso Mdste kvadraters metode Kovaras og Korrelato
Scatterplot Scatterplot kf Advertsg Epedtures ( ad Sales ( Et scatterplot vser par (, af observatoer. I eksemplet er reklamebudget og afsætge. Sales 4 8 6 4 I scatter plottet er tlføjet e ret le 3 Advertsg 4 5 Bemærk hvorda par af og har tedes tl at lgge omkrg e ret le. hvorda par af og kke falder præcs på le. hvorda le beskrver hvorda geemst afgæger af.
Flere scatterplot
Smpel Leær Regresso (SLR Smpel ford v ku har é forklarede varabel emlg. Leær ford sammehæge mellem og er leær.
Smpel leær regressosmodel β β β d ε ε β + β + ε ε d N(, σ - de afhægge varabel. - de uafhægge varabel faste - det græske bogstav beta - skærgspukt med -akse - hældgskoeffcet - depedet, detcall dstrbuted uafhægg, detsk fordelte - det græske bogstav epslo - det eeste stokastske elemet modelle
Smpel leær regresso tegge Modelle er: β + β + ε ε d N(, σ (, E[ ] β + β Modelle sger: E( β + β V( σ ~ N(β + β, σ β β ε
ANOVA vs SLR j Esdet Varasaalse Smpel Leær Regresso μ + α + ε j β + β + j μ + α + ε j ε 3 ~ N(μ+α 3,σ ~N(β + β,σ j μ + α + ε j μ+α 3 μ..d ormalfordelte fejlled..d. ormalfordelte fejlled 3 4 5 3 4 5 Kategorsk forklarede varabel Kotuert forklarede varabel
Forudsætger for SLR (/3 Der er e leær sammehæg mellem og. Idledede tjek: Scatter plot af (, ser puktere ud tl at lgge lags e le?
Forudsætger for SLR (/3 Værdere af de uafhægge varable atages at være faste dvs. kke stokastske. Mao. Atages at være kedt eller målt ude støj / målefejl Idledede tjek: Logsk sas.
Forudsætger for SLR (3/3 Fejledee ε atages være uafhægge og ormalfordelte med mddelværd og varas σ. Idledede tjek: Se efter dlsede problemer scatter plot af (,.
Eksempel: Reklame budget vs salg Sammehæg mellem det ugetlge reklame-budget og det ugetlg salg? Reklame budget ( Salg ( 4 385 4 5 395 365 3 475 5 44 4 49 4 5 56 4 55 5 48 5 5
Scatterplot SPSS Graphs Chart Bulder Vælg Smple Scatter Placer relevate varable på - og - aksere. Klk OK 3 3
Scatterplot af data SPSS Og hva så?
Estmato Model: β + β + ε ε er..d. N(,σ β, β og σ er modelles parametre ukedte! Estmato af β og β svarer tl at vælge de lje, der passer bedst tl de observerede pukter. Estmerede regressos lje ˆ b + b b er estmat for β og b er estmat for β. hat er estmat for E( Spørgsmål: Hvorda estmerer v β og β?
Resdual led e ˆ ( er de (lodrette afstade fra de estmerede le tl puktet (,. ˆ e Det observerede datapukt ˆ. (, ˆ ˆ b+ b de forvedtede værd De fttede regressosle for gvet
Mdste kvadraters metode V vl fde b og b så summe af de kvadrerede resdualer blver mdst mulg. Dvs, v vl mmere SSE er Sum of Squared Errors. Skrevet ud: SSE ˆ + ( b b e ( e Bemærk: Fukto af to varable (b og b.
Mmerg SSE er e fukto af b og b. SSE b b V vl fde b og b så SSE er mdst mulg.
Mmerg udført Defer fukto Q(b,b SSE. Dvs v skal mmere Q(b,b. Fremgagsmåde: Fd de to partelle afledte og : Q( b, b b " Q dffeteret mht. b - lad som om b Sæt partelle afledte lg ul: ( ( Q( b, b b b b Q( b b, b To lgger med to ubekedte: Løs dem! Q( b b, b er e kostat" Q( b, b b ( ( ( b b (
b b b b b b + To lgger med to ubekedte Idsæt ( på b s plads og reg vdere Resultat: Estmat af β! Isolér b o ( ( ( ( b Estmat af β!
Estmater per hådkraft 4 6 385 485 54 4 4 6 8 5 65 395 565 9875 4 365 335 73 3 9 475 565 45 5 5 44 936 4 6 49 4 96 4 4 764 84 5 5 56 336 8 4 6 55 7565 5 65 48 34 5 5 5 6 55 4 565 5445 595 935
b 69 394 3. - 565-935 ( ( ( ( 5445( 4 ( 4 b b b 69 5445 394 677 97 343.7 4 Estmerede regressos le: ˆ 343.7+ 3.
Samme hstore SPSS Aalze Regresso Lear Placer de afhæge varabel ( -varable Depedet. Placer de uafhægge/ forklarede varable ( varable Idpedet(s. Klk OK.
SPSS output b b Estmerede regressos lje: ˆ 343.76 + 3.
Regeformler For at gøre lvet ldt lettere vl v bruge følgede forkortelser/regeformler Bemærk: Nok at udrege følgede fem udtrk: ( ( SS ( ( SS ( ( SS ( (
Estmateres fordelg Estmatore B svarede tl estmatet b er ( ( SS B SS ( Bemærk at ere store, dvs de er stokastske varable, derfor er B også er e stokastsk varabel. Estmator: Stokastsk varabel. Estmat: Fast tal, dvs. ej stokastsk. Opået ved at dsætte observatoere estmatore.
Estmatore B s fordelg Hvs de leære regressos model er sad gælder der for estmatore B : Mddelværd: Varas: Fordelg: E( B β Var( B B ~ N β, σ ( σ ( Bemærk: Når ( er stor så er Var(b llle!
Estmatore B s fordelg Estmatore B svarede tl estmatet b er Mddelværd Varas Fordelg B B B ( β B E B V ( ( σ N B (, ~ σ β
Estmato af σ varase for fejledee Tdlgere estmerede v varase e uafhægg stkprøve ved s ( For smpel leær regresso bruger v Atal frhedsgrader Mus é, da s volverer ét estmat, emlg. s ( ˆ SSE MSE Mea Squared Error MSE Atal frhedsgrader Mus to, da s volverer to estmater, emlg b og b.
Udregg af SSE Hermed opår v Som desude er e ubased estmator for σ. b SS SS df SSE MSE s ( ( ( ( ( ( ( ( b SS SS b SS SS SS SS b SS b SS SS b SS b b b b b b b ( ( ( ˆ + + +
Kofdesterval for β V har B β ~ t S SS ( (-α% kofdesterval for β er hvor b ± t α, sb s b s SS
Kofdesterval for β V har B β ~ t S SS ( (-α% kofdesterval for β er hvor b s ± t α, sb b s SS
Test af hældg (β Test for om hældge, β, har e bestemt værd, K: H H : : β β K K Hvs H er sad, så gælder der T B K ~ t S SS ( Teststørrelse: t b s K SS
Test af hældg (β Vælg et sgfkasveau, tpsk α.5. Udreg teststørrelse. 8. 7. 6. 5. 4. 3... t Bestem p-værde. Orage område p-værd Beslutg: Hvs p-værde < α afvses H. t-fordelg med - frhedsgrader t
Særlg teressat: H : β Er der e leær sammehæg mellem og? H : β ge leær sammehæg H : β leær sammehæg Følgede er eksempler, hvor H accepteres. Kostat Usstematsk varato Ikke-leær sammehæg
Eksempel: Reklame vs Salg Test for leær sammehæg mellem reklame og salg: H H Teststørrelse: Krtsk værder: t Beslutg: V forkaster H da t >.8. p-værd.7<.5. ± t : : β β s b 3. SS.5, ±.8 5.5 64.67.598
Samme hstore SPSS Aalze Regresso Lear (som sdst I Statstcs vælg: Estmates Cofdes Itervals
SPSS output Parameterestmatere b og b. Estmerede stadardafvgelser, s b og s b. Teststørrelse t. p-værde svarede tl det tosdede test H : β. 95% Kofdestervaller for β og β.
SPSS output SSE SS ( ˆ b SS s MSE SSE
Korrelatoskoeffcet ρ Grade af leær sammehæg mellem de stokastske varable og måles ved korrelatoskoeffcete, ρ: ρ [,] ρ ρ ρ Perfekt leær sammehæg - postv hældg Perfekt leær sammehæg - egatv hældg Ige leær sammehæg
Illustrato af korrelato ρ - ρ ρ ρ -.8 ρ ρ.8
Kovaras Atag at og er stokastske varable. Defto af kovaras mellem og : Cov (, E[ ( μ ( μ ] hvor [ ] og E[ ] μ E μ Bemærk: I SLR er kke stokastsk! Hvs store følges med store : Cov(,> Hvs store følges med små : Cov(,<
Nttg formel ( (, Cov( V( V( E ( E ( E E( E E ( E ( E ( E E E E(( E( E(( V( + + + + + + + + + Bemærk: Varase af (+ er kke bare varase af plus varase af! Eksempel: -
Kovaras, Uafhægghed og Korrelato Egeskab: Hvs og er uafhægge, så er Cov(, Hvs og er ormalfordelte: og er uafhægge Cov(, Defto: Korrelato ρ ρ(, Cov(, σ σ E (( E ( E E( E E( E Hvor σ Var( og σ Var(
Estmato of korrelatoskoef., ρ Estmatet af ρ beteges r: r er stkprøve korrelatoskoeffcete. r SS SS SS ( ( ( ( ( ( ( (
Test for korrelato mellem og Hpoteser H : ρ H : ρ Teststørrelse: t ( r r ( Uder H : t ( ~ t
SPSS output Korrelatoe mellem Reklame budget og Salg. p-værd hørede tl test af hpotese H : ρ.