Supplemet til Kreyszig Forelæsigsoter til Matematik F Idholdsfortegelse side 1. Numerisk itegratio. Fejlvurderig af trapez og Simpso algoritmere 1. Dekompoerig af brøker (Laplace trasformatio) 3. Permutatioer og kombiatioer, teorem 3 3 4. Moivre s sætig 5 5. χ -fordelig og Studet s t-fordelig 8 6. Cetral limit teoremet og ophobigslove 14 7. Regressio ( Midste kvadraters metode ) 17 Jes Jese Ørsted Laboratoriet, NBIfAFG, December
Supplemet til Kreyszig 1 1. Numerisk itegratio. Fejlvurderig af trapez og Simpso algoritmere Kreyszig bestemmer fejle af trapezmetode til at være; (3 )i 17.5 (side 959 i 7. udgave), ɛ = h3 1 f (t) for det ite deliterval mellem x i og x i+1 = x i + h. Itervallets lægde er x = h og x i <t<x i+1.igræseh haves,atx i+1 x i = x og dɛ dx ɛ x = ɛ b h = h 1 f dɛ b (x) ɛ = dx h a dx 1 f (x)dx a og vi får dermed ɛ(trapez) = h 1 [f (b) f (a)] + O(h 3 ) (1.1) Korrektioere til dee fejlvurderig er af størrelsesordee h 3 (hvilket også gælder Kreyszig s resultater). I Simpsos tilfælde beyttes et. grads polyomium som tilærmelse for f(x) og afvigelse er, x x x, f(x) p (x) = 1 3! (x x )(x x 1 )(x x ) [ f (3) (x 1 )+ 1 4 (x x 1)f (4) (x 1 ) ] + O(h 5 ) De tredie afledede af vestre side er f (3) (x) og højre side af ligige giver f (3) (x 1 )+[x 1 4 (x +x 1 + x )]f (4) (x 1 )=f (3) (x 1 )+(x x 1 )f (4) (x 1 ). Idføres s =(x x 1 )/h fås ɛ = x x = h4 6 [f(x) p (x)]dx 1 (s +1)s(s 1)[ f (3) (x 1 )+ 1 4 hsf (4) (x 1 ) ] ds = h5 1 9 f (4) (x 1 ) Leddet proportioalt med h 4 forsvider ved itegratioe, og vi har derfor medtaget korrektioe til æste orde i h. Beyttes x = x x =h fås ved samme procedure som ovefor: ɛ(simpso) = h4 18 [f (b) f (a)] + O(h 5 ) (1.) Simpso algoritme er ikke som umiddelbart forvetet e 3. ordes, me e 4. ordes metode. De udledte udtryk for fejlee i de to tilfælde (1.1) og (1.) er lagt lettere at beytte og mere præcise ed Kreyszig s itervalafgræsiger af fejlee.
Supplemet til Kreyszig. Dekompoerig af brøker (Laplace trasformatio) I regiger med Laplace-trasformatioe sker det tit, at F (s) ereægte brudde ratioal fuktio, dvs. F (s) = P (s) Q m (s) hvor P (s) ogq m (s) erpolyomieris af te heholdsvis mte grad og <m (ægte). For at fide de iverse må F (s) dekompoeres til e sum af stambrøker: Beteger a i de m (ikl. komplekse) rødder i Q m (s), dvs. Q m (s) =K(s a 1 ) k (s a ) l,såerf(s) etydigt bestemt ved udtrykket b k F (s) = (s a 1 ) k + b k 1 (s a 1 ) k 1 + + b 1 + + (.1) s a 1 (s a ) l hvor kostatere i stambrøkeres tællere fides ved at sætte hele udtrykket på fælles brøkstreg med Q m i ævere og beytte, at dee brøks tæller skal være lig P (s). Er alle kostater i P (s) ogq (s) reelle vil evetuelle komplekse rødder optræde i kojugerede par, og d h (s α iβ) h + d h (s α + iβ) h = e h s + f h [(s α) + β ] h + + e 1 s + f 1 (s α) + β (.) dvs., at evetuelle komplekse led i (.1) ka erstattes med led svarede til højre side af ligig (.). Eksempel: F (s) = P 1 (s) Q 5 (s) = s 1 s (s )(s + s +1) = b s + b 1 s + c s + ds + e s + s +1 = (b + b 1 s)(s )(s + s +1)+cs (s + s +1)+(ds + e)s (s ) s (s )(s + s +1) Samles leddee i tællere for hver orde af s fås følgede ligiger: s 4 : b 1 + c + d = s 3 : b b 1 + c d + e = s : b b 1 + c e = s 1 : b b 1 =1 s : b = 1 b = 1 ; b 1 = 3 4 ; c = 8 1 d = 5 7 ; e = 1 7 Bemærk, at c ka bestemmes lagt lettere ved at gage brøkomskrivigere med s og derefter sætte s =, og tilsvarede for b (gag med s og sæt s =). 1 Beyttes omskrivige 7 5s +1 s + s +1 = 1 7 5(s + 1 ) 3 (s + 1 ) + 3 fås 4 f(t) =L 1 {F (s)} = 1 t 3 4 + 8 1 et + 1 7 5cos e t/( 34 t 3si 34 t ) NB: Mathematica dekompoerer brøker med kommadoe: Apart[brøk] c l
Supplemet til Kreyszig 3 3. Permutatioer og kombiatioer, teorem 3 Teorem 3 i.4 i 8. udgave af Kreyszig (teorem 4 i 3.3 i 7. udgave) lyder: Atallet af forskellige kombiatioer med k elemeter, der ka daes ud af forskellige elemeter, er ( ) ( ) + k 1 ude getagelser: med getagelser: k k Her vil vi gere bevise de sidste del af teoremet, ligig (4b). I dette tilfælde ka det ekelte elemet optræde fra til k gage i de forskellige kombiatioer. Læreboge foreslår at bevise sætige ved iduktio: Teoremet er korrekt for = 1 for e vilkårlig værdi af k: Der er ku de ee mulighed, at alle k elemeter er es. Teoremet atages korrekt for 1 elemeter (for e vilkårlig værdi af k), og skal med dee forudsætig vises at være gyldigt for elemeter: Vi starter med de 1 elemeter og daer alle mulige kombiatioer med k elemeter (med getagelser): ( ) 1+k 1 k. Til dette atal muligheder skal adderes dem, hvor det te elemet optræder 1 gag. Dette er lig med atallet af kombiatioer med k 1 elemeter valgt ud bladt de resterede 1elemeter: ( ) 1+k 1 1 k 1. Næste led er de kombiatioer, hvor det te elemet optræder to gage, og hvor der skal vælges k elemeter ud af de 1 elemeter osv., idtil vi år frem til, at alle k-elemeter er det te elemet. Dermed bliver det samlede atal kombiatioer: ( ) ( ) ( ) ( ) ( ) + k + k 3 + k 4 1 + + + + + +1 k k 1 k 1 som ka omskrives til ( ) ( ) k +s k +s = s= s s= Beyttes ligig (13) i boge (med k erstattet med og øverste sum græse 1medk) fås, at summe er lig ( ) ( ) ( ) k +1+ + k 1 + k 1 = = Q.E.D. +1 1 k Ligig (13), som beyttes i beviset, ka ige bevises ved iduktio samt brug af ligig (11) (regeøvelse-opgave).
Permutatioer og kombiatioer, teorem 3 4 Alterativt bevis for Teorem 3 Teorem 3 ka omformuleres til, at atallet af måder k kugler ka fordeles i kasser er ( ) + k 1 k hvis der ikke er begræsiger på hvor mage kugler, der ka være i de ekelte kasser (svarede til Bose-statistik). E kugle i e kasse betyder at dee kasse (elemet) er udtrukket. De kasser stilles på erække,ogdek (sorte) kugler fordeles, fx som vist i figur a), hvor = k = 1. De k kugler plus de 1 skillevægge betragtes uder et, agivet som hvide kugler i figur b). E vilkårlig kombiatio ka fides ved at udvælge k af de hvide kugler i b) til at være sorte kugler og de resterede til at være skillevægge. Et eksempel er vist i figur c). Her er der er 1 kugle i 1. kasse, i. kasse, 1 i 3. kasse, i 4. kasse, osv. Atallet af kombiatioer er derfor det samme som atallet af måder, vi ka udvælge k af de 1+k hvide kugler i b) til at være sorte kugler, hvilket etop er ( ) + k 1 k a) b) c)
Supplemet til Kreyszig 5 4. Moivre s sætig Sadsylighedstæthede for biomialfordelige: f(x) = ( ) p x q x (x =, 1,,) (4.1) x (q =1 p) ka betragtes i to græser: (I) For og p, således at λ = p holdes kostat går biomialfordelige mod Poisso-fordelige: Idføres λ ka f(x) skrives f(x) = ( 1) ( x +1) x λ x x! ( 1 λ ) ( λ) x 1 (4.) hvor ( 1) ( x +1) x =1 ( 1 1 ) x 1 ) ( 1 1 (4.3) for og ( λ) λ ( 1) λ ( 1)( ) λ 3 1 =1 + 1!! 3! 3 + =1 λ + ( 1 1 ) λ! ( 1 1 )( ) λ 3 1 3! + 1 λ + λ! λ3 + = e λ 3! Sidste faktor i (4.) går mod 1, dvs. (4.4) f(x) λx x! e λ for (4.5) som er Poisso-sadsylighedstæthede med middelværdi µ = λ. (II) Ud fra biomial-fordelige ka vi å frem til e kotiuert fordelig ved at fastholde p uder græseovergage.hervedgår middelværdie µ = p og spredige σ = pq begge mod. Dette ødvediggør e ormerig af de opridelige stokastiske variabel X, som erstattes med Z = X µ (4.6) σ Igræse bliver Z e kotiuert stokastisk variabel, og f(z =(x µ)/σ) går over i stadard ormalfordelige med middelværdie og spredige 1, dvs. f(z) φ(z), eller år x er heltallig, F (x) Φ(z =(x +.5 µ)/σ) svarede til ligig (11) på side 19 (1189) i 8. (7.) udgave af boge (De Moivre og Laplace s græseværdisætig).
Moivre s sætig 6 I beviset udyttes det, at det ku er opførsle af f(x) ietætomegafx = µ, der er afgørede, f(x) hvis x µ > rσ, hvorr er af størrelsesordee 5. Det betyder at omege relativt set, rσ/µ = r pq/p for,ogdermed at vi dels ka beytte Stirligs formel for alle faktorere i biomialkoefficiete, over x, og dels udytte e rækkeudviklig mht. /µ, hvor =x µ: Avedes Stirligs formel [ligig (7) side 167 (1163)] i (4.1) fås: π e f(x) πxx x e x π( x)( x) x e +x px q x = πx( x) ( ) p x ( q ) x (4.7) x x Rækkeudvikles kvadratrode til te orde i erstattes de af 1/ πpq. For det æste led fås: ( ) p x [ =exp x l ( µ ) ] [ =exp (µ + )l ( µ ) ] x x µ + hvor og dermed ( p x l ( µ µ + ) ( ) = l 1+ µ µ + 1 ) ] [ x exp [ =exp p x µ ( ) µ ] (x p) p (4.8) og helt aalogt ( ) q x exp [q ( x) x ] [ ] ( x q) =exp q q (4.9) Gager vi de to faktorer samme fås ( ) p x ( ) q x exp [ x x p + ] [ ] =exp (1 p) p(1 p) og år pq = p(1 p) erstattes med σ bliver slutresultatet f(x) 1 [ ] σ π exp (x µ) σ (4.1) som er gyldigt i græse µ = p 1. Det ka tilføjes, at beyttes samme fremgagsmåde ka det vises at sadsylighedstæthede for Poisso fordelige for store værdier af µ ka tilærmes med de ormale fordelig (4.1) med σ = µ. Bemærk, at boges tabel A6 over Poisso-fordelige ku medtager værdier af µ 5. For større værdier af µ ka ma beytte F (x) Φ((x +.5 µ)/ µ), år x er heltallig.
Moivre s sætig 7.3..1-1 1 3 4 5 6.15.1.5 5 1 15.14.1.1.8.6.4. 1 3 4 Figure viser sadsylighedstæthede for e biomialfordelig med p =.3 og = 5, og 4 (puktere) og de tilsvarede ormale fordeligstæthed (de kotiuerte kurver).
Supplemet til Kreyszig 8 5. χ -fordelig og Studet s t-fordelig χ -fordelige afhæger ku af atallet af frihedsgrader, og er defieret ved: Y = Ui (5.1) hvor U i,forhverti, er e uafhægig stokastisk variabel med e frekvesfuktio, som er de stadardiserede ormale fordeligstæthed: φ(u i )= 1 e u i / π Y er de stokastiske variabel svarede til χ (bemærk, at χ opfattes som e betegelse for e variabel y som er ikke-egativ). Fordeligsfuktioe F (χ ) er produktet af frekvesfuktioere (idbyrdes uafhægige stokastiske variable) itegreret over volumeet givet ved y = u i χ : F (χ )= du y χ 1 du du (π) e y/ (5.) Fuktioe, der skal itegreres, afhæger ku af r = y, som ka opfattes som radie af e -dimesioal kugle. Volumeet af de -dimesioal kugle er V = r C, hvor ehedskugles volume (se appedix) er C = π Γ(1 + ) (5.3) og Γ(1 + a) =aγ(a) er gammafuktioe. Volumeet V ka fides ved itegratio af overfladearealet S (r) =dv /dr = r 1 C mht. r. I ligig (5.) ka vi ude videre itegrere over alle de 1 frihedsgrader, der er uafhægige af y = r, hvilket giver: og dermed, at F (χ )= r= χ S (r)(π) e r / dr (5.4) f (χ )=F (χ )= df dr dr dχ = S ( χ ) (π) e χ / 1 = ( χ ) 1 π Γ(1 + e χ / 1 )(π) eller f (χ 1 ( ) )= χ 1 e χ / Γ( ) som er sadsylighedstæthede for χ -fordelige med frihedsgrader. χ χ (5.5) (5.6)
χ -fordelig og Studet s t-fordelig 9 Det ka vises, at middelværdie og variase af χ -fordelige er heholdsvis og : χ = χ f (χ )dχ = (5.7) σ (χ )= χ 4 χ = χ 4 f (χ )dχ = For at udlede teorem 3 i 3.3 (teorem 4 i 4.6) betragter vi de stokastiske størrelse S = 1 (X i µ) (5.8) hvor X i er ormalt fordelt med middelværdie µ og variase σ,ogdermeder S σ = ( ) Xi µ = Ui (5.9) σ beskrevet ved χ -fordelige med -frihedsgrader [højreside er de samme som i ligig (5.1)]. Idfører vi de stokastiske middelværdi X = 1 X i (5.1) ka (5.8) omskrives til S = [ (Xi X)+(X µ) ] = (X i X) + (X µ) (5.11) i i idet ligig (5.1) medfører, at produktet mellem de to led i de firkatede paretes summerer til. Dermed har vi, at S σ = ( Xi X σ ) ( ) X µ + σ/ (5.1) Ifølge 3.3 teorem 1 ( 4.6 teorem ) er X ormalfordelt med middelværdie µ og variase σ /, dvs.atsidsteledpå højre side af (5.1) etop er kvadratet på e stokastisk variabel, som har e stadardiserede ormalfordelig, og dermed, at dette led har e χ -fordelig med 1 frihedsgrad. Af defiitioe (5.1) fremgår det umiddelbart, at summe af to (uafhægige) χ -fordeliger med frihedsgradere 1 og er givet ved χ -fordelige med 1 + frihedsgrader. Det ka vises, at de to led på højre side af (5.1) er statistisk uafhægige (kovariase er ), hvoraf følger, at første led har e χ -fordelig med 1 frihedsgrader. De stokastiske variabel S defieres ved ligige: S = 1 ( Xi X ) σ ( ) Xi X = (5.13) 1 1 σ Sammeliges med (5.1) ses, at ( 1) S er e stokastisk variabel, som har e σ χ -fordelig med 1 frihedsgrader (teorem 3).
χ -fordelig og Studet s t-fordelig 1 Kofidesitervallet udledes ud fra P ( c 1 ( 1) S σ c ) = F (c ) F (c 1 )=γ (5.14) som er opfyldt med F (c 1 )=(1 γ)/ ogf (c )=(1+γ)/, hvor fordeligsfuktioe F er χ -fordelige med 1 frihedsgrader (tabel A1). For et ekelt udfald (stikprøve) atager S værdie s og eller hvor { CONF γ c1 ( 1) s σ c } CONF γ { 1 c s σ 1 c 1 s } (5.15a) s = 1 1 (x i x) ; x = 1 x i (5.15b) Dette resultat ka formuleres lidt aderledes. Vi ka direkte udytte at fordeligsfuktioe for S er faktore σ /( 1) gage χ -fordelige med 1 frihedsgrader, dvs.: og S = σ 1 χ σ (S )= S 4 S ( σ ) σ = (χ ) 1 1 = 1 = σ ( 1) = σ (5.16a) 1 σ 4 σ4 ( 1) = ( 1) 1 (5.16b) σ, ude argumet, er variase af de opridelige fordelig for X, ogerde størrelse vi forsøger at bestemme ud fra stikprøve samme med e vurderig af resultatets pålidelighed. Vi skal seere se ( the cetral limit theorem ), at år 1kaχ -fordelige tilærmes med ormalfordelige med samme middelværdi og varias. Dette ka udyttes til at sige, at hvis 1vil de stokastiske variabel S være beskrevet ved ormalfordelige med middelværdie σ og variase σ 4 /( 1), eller efter lidt regig CONF γ { s 1+c 1 σ s 1 c 1 } ; Φ(c )= γ +1 eller udtrykt på e mere foreklet, og tilærmet ( 1), måde: ; 1 (5.17a) σ s ± c 1 s (5.17b) hvor c =1.96, hvis vi beytter et 95% kofidesiveau.
χ -fordelig og Studet s t-fordelig 11 Studet s t-fordelig: Vi har etop betragtet de stokastiske variabel U = X µ σ/ hvor U er χ -fordelt med 1 frihedsgrad. For at vurdere pålidelighedsitervallet vedebestemmelseaf µ ud fra stikprøveværdie af variase betragter vi u istedet T = X µ S/ = U σ (5.18) S Ifølge (5.13) er S σ = Y p p hvor Y p har e χ -fordelig med p = 1 frihedsgrader. Dvs. vi har (5.19) T p = Y 1 Y p med Y 1 = U (5.) og dermed er fordeligsfuktioe G(t /p) for de stokastiske variabel T /p bestemt, som arealet af f 1 (y 1 )f p (y p )overområdet, hvor y 1 /y p t /p G(t /p) = y p = yp t /p y 1 = f 1 (y 1 )f p (y p )dy 1 dy p (5.1) Defiitioe af fordeligsfuktioer medfører, at G(t /p) =±[F t (t) F t ( t)], hvor + ( ) svarertilt positiv (egativ). Dermed ka t-frekvesfuktioe, f t (t) =F t(t), bestemmes som f t (t) =± d(t /p) dg(t /p) [ dt d(t =( t /p) f1 (y /p) 1 ) ] y1=ypt /p y pf p (y p )dy p (5.) og beyttes ligig (5.6) fås [ 1 f t (t) =( t /p) y 1 ] π 1 e y 1 / = t p π p t 1 p+1 Γ( p ) y 1 =y p t /p (y p ) p 1 e (1+ t p )y p/ dy p 1 y p p Γ( p )(y p ) p 1 e yp/ dy p hvor itegralet udreges til [ ] p+1 Γ( p+1 1+t /p ), og dermed slutresultatet (5.3) f t (t) = 1 Γ( p+1 ) (1+ t pπ Γ( p ) p ) p+1 (5.4)
χ -fordelig og Studet s t-fordelig 1 som er frekvesfuktioe for T i ligig (5.18) med p = 1. Hermed har vi udledt teorem i 3.3 (teorem 3 i 4.6). Idet frekvesfuktioe er lige, f t (t) =f t ( t), har vi at P ( c T = X µ S/ c) = F t (c) F t ( c) =F t (c) 1=γ (5.5) således at F t (c) =(1+γ)/, hvor F t er Studet s t-fordelig med 1 frihedsgrader (tabel A9). Kofidesitervallet er derefter bestemt ved CONF γ { c x µ s/ c } { eller CONF γ x cs µ x + cs } (5.6) E ærmere aalyse af χ og Studet s t fordeligere ka fides som Mathematica programmer på hjemmeside. Teorem 4 i 3.3 (teorem 5 i 4.6), det såkaldte Cetral limit theorem, fortæller at begge fordeliger ærmere sig ormalfordelige, år atallet af frihedsgrader vokser. Som ævt har χ - fordelige med frihedsgrader middelværdie µ = og variase σ =. For Studet s t-fordelig med p frihedsgrader fås: T = ; σ (T )= T T = p (p 3) (5.7) p Variase divergerer og er dermed ikke defieret for p = 1 og p =. Atager vi ige at 1, så betyder cetral limit teoremet at F t (c) Φ(c/σ(T )). Idføres c = c/σ(t )fås at σ(t ) 1, og dermed at c c igræsep = 1 1, og (5.6) ka tilærmes med { CONF γ x c s µ x + c s } ; Φ(c )= γ +1 ; 1 (5.8a) eller µ x ± c s (5.8b) Reultatet ka forbedres (ubetydeligt) ved at erstatte c med c = c 1 3. Bemærk, at år 1 er resultatet det samme, som hvis s ka erstattes med σ, svarede til teorem 1. Dvs., at i dee græse er usikkerhede på bestemmelse af σ ud fra s ude betydig for vurderige af hvor pålideligt µ bestemmes af x.
χ -fordelig og Studet s t-fordelig 13 Appedix Ehedskugles volume i dimesioer, C, ka bestemmes ved at udrege itegralet I = e (x 1 +x + +x) dx 1 dx dx (5.9) dels direkte, som et produkt af Gauss itegraler: e x dx = π I = π (5.3) dels ved at udytte at fuktioe uder itegraltegee ku afhæger af de radiære variabel r (x 1 + x + + x ) 1/. Volumeet af e -dimesioal kugle med radius r er r V (r) = dx 1 dx dx = S (r )dr = r C (5.31) og dermed dv = S (r)dr = r 1 C dr. Det betyder, at udføres alle de 1 itegratioer i (5.9), der er uafhægige af r, fås I = S (r) e r dr = r 1 C e r dr (5.3) 1 = C z 1 e z dz = C Γ( )=C Γ(1 + ) Ved at sammeholde de to resultater for I,fås C = π Γ(1 + ) (5.33)
Supplemet til Kreyszig 14 6. Cetral limit teoremet og ophobigslove Vi skal supplere boge med ogle vigtige resultater. Vi vil starte med at betragte de momet-geererede fuktio, som idføres i.7 opgave 14( 3.5 opgave og 3.6 opgave 16 19): som har egeskabe: G(t) = e tx etx f(x)dx = e tx if(x i ) ( d X ) G(t) = dt i t= (6.1) For de to diskrete fordeliger, heholdsvis biomialfordelige (µ = p, σ = pq) og Poisso-fordelige, har vi fra boges opgaver, at G bi (t) =(pe t + q) og G P (t) =e µ e µet (6.) For Gauss-fordelige er: G(t) = e tx = 1 σ (x µ) ] π e[tx σ dx hvor ekspoete ka omskrives til og dermed, at tx (x µ) σ = µt + 1 σ t (x µ σ t) σ G(t) =e (µt+ 1 σ t ) 1 σ (x µ σ t) π e σ dx Gauss-itegralet er uafhægigt af at µ er erstattet af µ + σ t, og resultatet for de momet-geererede fuktio for ormalfordelige er: G(t) =e (µt+ 1 σ t ) (6.3) Geerelt har vi, at hvis Y er e liearkombiatio af to uafhægige stokastiske variable X 1 og X, Y = a 1 X 1 + a X så er de momet-geererede fuktio for y-fordelige produktet af de to momet-geererede fuktioer G 1 (a 1 t)ogg (a t)forx 1 -ogx -fordeligere: G y (t) = e ty = e ta 1X 1 e ta X = e ta 1X 1 e ta X = G 1 (a 1 t)g (a t) (6.4)
Cetral limit teoremet og ophobigslove 15 Disse to resultater, (6.3 og (6.4), ka beyttes til at eftervise teorem 1 i 3.3 (teorem 1 i 4.6): Summe af to uafhægige stokastiske variable, Y = X 1 +X, som begge har ormalfordeliger med middelværdi µ 1, µ og varias σ1, σ har ormalfordelige med µ = µ 1 + µ og σ = σ1 + σ. Ifølge (6.4) er G y (t) =G 1 (t)g (t) =e (µ 1t+ 1 σ 1 t) e (µ t+ 1 σ t) = e [(µ 1+µ )t+ 1 (σ 1 +σ )t ] (6.5) som er de momet-geererede fuktio for de agive y-fordelig. [ Idskud: Frekvesfuktioe for Y = X 1 + X,bestemtvedvilkårlige (kotiuerte) frekvesfuktioer, f 1 (x) ogf (x), ka skrives som et foldigsitegral: F (y) er produktet af de to frekvesfuktioer itegreret over arealet y = x 1 + x y eller x y x 1,dvs.: y x1 F (y) = f 1(x 1 )f (x )dx 1 dx = f 1(x 1 )F (y x 1 )dx 1 x 1 = x = eller f(y) =F (y) = f 1(x)f (y x)dx (6.6) Foldigsitegralet optræder fx år e resoaskurve, f 1 (x), udmåles med e eksperimetel usikkerhed beskrevet ved e opløsigsfuktio, R(x) = f (x) med µ =. Atages begge fuktioer at være (eller kue tilærmes med) Gauss-fuktioer, bliver resultatet e Gauss-fuktio cetreret omkrig µ 1 med variase σ1 + σ.] Vi har tidligere vist, at biomialfordelige for store værdier af ka tilærmes med ormalfordelige (med µ = p og σ = pq), og tilsvarede for Poissofordelige (for µ 5). Resultatere (6.3) og (6.4) ka u beyttes til at bevise de geerelle sætig the cetral limit theorem : Atag X i, i =1,..., er uafhægige stokastiske variable, som beskrives ved frekvesfuktioere f i (x i ) (der alle ka være forskellige) med middelværdi µ i og varias σi. De stokastiske variabel har følgede egeskaber: (i) Middelværdie er µ = Y = 1 (ii) Variase er σ = 1 i σ i Y = 1 X i (6.7) i µ i
Cetral limit teoremet og ophobigslove 16 (iii) Fordeligsfuktioe for Z = Y µ vil (asymptotisk) Φ(z) (de stadardiserede ormalfordelig) for σ. Bemærk, at teoremet i dee udgave er mere geerelt ed læreboges versio, teorem 4 i 3.3 (teorem 5 i 4.6). Puktere (i) og (ii) følger direkte af teorem 1 og i.9 ( 3.8). Pukt (iii) ka bevises ved at udytte (6.4), geeraliseret til led med a i =1/, dvs. G y (t) = G i (t/) E Taylor-rækkeudviklig af G i (t/) =G i () + G i ()(t/) +1 G i ()(t/) giver ærmest defiitiosmæssigt: ( ) t G i =1+µ i t + 1 (σ i + µ i ) t + =exp [ µ i t + 1 σ i og dermed, at for 1: G y (t) [ t exp µ i + 1 t ] [ 1 σ i =exp µ i t + 1 i t ] ( ) 1 + O 3 1 ] σi t som etop, ifl. (6.3), er de momet-geererede fuktio for ormalfordelige med middelværdi µ (i) og varias σ (ii). i Ophobigslove ka betragtes som et korrolar til the cetral limit theorem. Er Y e geerel fuktio af X i (i =1,...,) ka vi tilærmelsesvis erstatte fuktioe med et lieært udtryk i et område omkrig X i eres middelværdier: Y = ψ(x 1,...,X ) ψ ( X 1,..., X ) + ( ) ψ X i X j = X j ( Xi X i ) Hvis de forskellige variable har e Gauss-fordelig, eller hvis der er mage forskellige bidrag (usikkerhedsberegiger!), vil Y, ifl. heholdsvis (6.5) og (6.7), (tilærmelsesvis) have e ormalfordelig med middelværdie Y = ψ ( X 1,..., X ) (6.8a) og variase σ = i ( ) ψ X i X j = X j σ i (6.8b)
Supplemet til Kreyszig 17 7. Regressio ( Midste kvadraters metode ) E stikprøvemålig af Y som fuktio af x giver talpar (x 1,y 1 ),..., (x,y ). Det atages, at der ikke er oge usikkerhed forbude med målige af x (almidelig variabel), mes Y er e stokastisk variabel der for e bestemt, fastholdt x-værdi har e ormalfordelig med middelværdie Y = µ(x) =κ + κ 1 x og variase σy. Fuktioe µ(x) kaldes for regressioskurve til Y som fuktio af x, heraf avet på de aalyse vi skal foretage. Variase σy atages at være uafhægig af x, ogviøskeratbestemmedeto kostater, κ og κ 1,udfrade talpar i stikprøve og at vurdere pålidelighede af resultatet, år de to parametre erstattes med de tilsvarede stikprøveværdier k og k 1. Idføres betegelse y i = k + k 1 x i (7.1) er opgave at bestemme k og k 1,således at værdiere y i y i for alle i. Maximum likelihood metode fører til resultatet, at de mest sadsylige værdier af de to parametre bestemmes ved at miimere summe af de kvadratiske afvigelser (yi y i ), dvs. ved at miimere fuktioe q = ( ) yi k k 1 x i (7.) mht. k og k 1. Miimumet er bestemt af ligigere: q = (y k i k k 1 x i )= q = (y k i k k 1 x i )x i = 1 eller k + k 1 xi = y i k xi + k 1 x i = (7.3) x i y i hvor alle summer går fra i =1tili =. Resultatet af dee midste kvadraters metode er, i overesstemmelse med 3.9 eller 18.5 ( 4.1 eller 19.5), D = x i ( ) xi x k = i yi x i xi y i D k 1 = x i y i x i yi D (7.4) De rette liiebestemt ( afdisseligiger går igeem måledataeres tygdepukt 1 (x T,y T )= xi, 1 ) yi,dvs.: y T = k + k 1 x T og y i = 1 yi = y T (7.5)
Regressio ( Midste kvadraters metode ) 18 Hvis vi erstatter y i i ligig (7.4) med de tilsvarede stokastiske variabel Y = Y i for x = x i har vi at de stokastiske variable (K og K 1 ) svarede til k og k 1 er fuktioer af de forskellige Y i, og vi ka beytte ophobigslove (6.8) til at bestemme stikprøveværdiere af variasere for κ og κ 1, som vi skal betege s (k )ogs (k 1 ). I e eksperimetel situatio vil stadardafvigelse af y i (σ y ) ofte være ukedt, me atager vi, at de er de samme for alle målepuktere (alle i) kadet vises, at (Y i Y i ) /σy har e χ -fordelige med frihedsgrader. Beviset beytter e omskrivig af [Y i µ(x i )] /σy helt parallelt med ligig (5.1). Frihedsgradere reduceres her med, fordi vi skal beytte to parametre, k og k 1, til at bestemme µ(x i ) ud fra stikprøve. Aalogt med (5.15), eller (5.17), har vi derfor at σ y s(y), hvor s (y) = 1 (y i y i ) ; y i = k + k 1 x i (7.6) Hvis vi øsker at vurdere, hvor stor e tiltro vi ka have til resultatet, er fremgagsmåde de samme som i ligigere (5.14) (5.17) med de eeste forskel at 1 skal erstattes med. Dvs. groft set (95% kofides) er σy s (y)[1 ± 8/( )], år er oget større ed 1. Efter at s(y) er bestemt ka ophobigslove (6.8) udyttes til at berege stikprøve-variase af k : eller xj s (k )= ( ) k s (y) = ( x j x ) i s (y) y i i D [ = ( ) x ( ) j xj x j + ( ) ] xj x s (y) j D s (k )= x j D s (y) (7.7) Helt aalogt ka variase af k 1 udreges til: s (k 1 )= D s (y) (7.8) Kofidesitervallere for κ og κ 1 ka herefter bestemmes på samme måde, som beyttet ved udregige af kofidesitervallet for µ, (5.5) (5.8). Parametere c, som agiver forholdet mellem de halve lægde af kofidesitervallet og stadardafvigelse, er givet ved Studet s t-fordelig med frihedsgrader: F t (c) = 1+γ (7.9)
Regressio ( Midste kvadraters metode ) 19 og derefter har vi, at CONF γ { k1 cs(k 1 ) κ 1 k 1 + cs(k 1 ) } (7.1) og det helt aaloge udtryk for κ. K og K 1 er ikke stokastisk uafhægige. Det er derimod tilfældet for K 1 og tygdepuktsværdie Y T =(1/) Y (x i )med de teoretiske middelværdi µ T =(1/) µ(x i ). Der ka derfor opås e bedre karakteristik af regressioskurve ved at beytte stikprøveværdiere k 1 og y T i stedet for k 1 og k. Kofidesitervallet for µ T er bestemt af samme Studet s t-fordelig (samme c) som ovefor, og idet y T =(1/) y i fås CONF γ { yt cs(y T ) µ T y T + cs(y T ) }, s(y T )= s(y) (7.11) Ma ka sige, at det er tilstrækkeligt at agive stikprøveværdiere af stadardafvigelsere, s(y), s(k ), s(k 1 ), og s(y T ), idet vurderigere af hvor godt σ y, κ, κ 1 og µ T er bestemt, med god tilærmelse, ka afledes af ormalfordelige, hvis 1. Dermed ved vi for eksempel, at c i (7.1) (7.11) er ca., hvis vi forlager 95% kofides, eller 1, hvis vi øjes med 68,6% kofides. Fremstillige ovefor ka geeraliseres på forskellige måder: I) Lieær regressio med polyomier af højere grad ed 1: Avedes midste kvadraters metode på e stikprøve, hvor regressioskurve er et adegrads polyomium y i = k + k 1 x i + k x i fås følgede ligigssystem: k + k 1 xi + k x i = y i k xi + k 1 x i + k x 3 i = x i y i (7.1) k x i + k 1 x 3 i + k x 4 i = x i y i se boges 18.5 ( 19.5 i 7. udgave). Bemærk, at udtrykket er lieært i regressiosparametree, k, k 1 og k. II) Hvis σ y = σ y (x)afhægerafxbetyder det, at de fuktio der skal miimeres for at bestemme de mest sadsylige værdier af k og k 1,er: q = ( ) yi y i = σ y (x i ) ( ) yi k k 1 x i (7.13) σ y (x i ) De geerelle, ikke-lieære regressiosmetode som præseteres edefor i pukt IV er avedelig i dette tilfælde. Her foretages miimerige ved iteratio. III) Lieær regressio i det tilfælde hvor både X og Y er stokastiske variable. Det atages at for e fastholdt værdi af parametere i vil X og Y være stokastisk uafhægige og begge ormalfordelte med middelværdiere µ x (i) og µ y (i) og
Regressio ( Midste kvadraters metode ) stadardafvigelsere σ x (i) ogσ y (i). Stadardafvigelsere atages uafhægige af i og vi idfører forholdet ξ = σ x /σ y. Regressioskurve atages lieær µ y = κ + κ 1 µ x, og udtrykt vha. stikprøveværdiere er opgave at fide de bedst mulige værdier af k og k 1 i ligige y i = k + k 1 x i (7.14) således at (x i, y i ) (x i,y i ) for alle i. I dette tilfælde er fuktioe der skal miimeres: ) ( ) yi y q = ( i xi x + i = 1 ( ) (y σ y σ x σy i k k 1 x i ) xi x + i ξ (7.15) Her er der + ubekedte størrelser k, k 1,ogx i (alle i). q ka miimeres mht. x i ved e geometrisk betragtig: trasformér til et koordiatsystem, hvor x erstattes af x/ξ, og bestem de korteste afstad mellem puktet (x i /ξ, y i )oget pukt (x i /ξ, y i )på de rette liie y i = k + ξk 1 x i /ξ. Resultatet er q(k,k 1 )=Mi [ q(k,k 1, x i )σ y Idføres følgede parametre: ] = 1 1+(ξk 1 ) (y i k k 1 x i ) (7.16) D αβ = α i β i α i βi ; α T = 1 αi (7.17) hvor α og β betyder ete x eller y, såerq(k,k 1 ) miimal år k 1 = 1 [ ] F ± 1+F ξ ; F = D xx ξ D yy ξd xy (7.18) k = y T k 1 x T Forteget fora kvadratrode er bestemt ved, at k 1 har samme forteg som D xy (og r). Bemærk at liie går geem tygdepuktet, se (7.5). Variasere udreges på samme måde som i (7.6) (7.8): s (y) = 1 s (k 1 )= D xx + ξ D yy D xy (y i k k 1 x i ) 1+(ξk 1 ) = k 1s (y) = k 1 1+a ar ( )[1 + (ξk 1 ) ] D yy [ r 1 ( a + 1 )] r a (7.19) s (k )=x T s (k 1 )+ 1 [1 + (ξk 1) ]s (y); s (x) =ξ s (y) Korrelatioskoefficiete ( 3.1 i 8. udgave af Kreyszig) er defieret r = s xy s x s y = D xy Dxx D yy og a = k 1 D xx D yy (7.)
Regressio ( Midste kvadraters metode ) 1 Vi ka skele mellem tre hovedtilfælde: i) (ξk 1 ) 1 k 1 = D xy ; ii) (ξk D 1 ) 1 k 1 = D yy ; eller xx D xy iii) (ξk 1 ) 1 k1 = D yy = k D 1 (i)k 1 (ii) ( geometrisk middelværdi ). xx Hvis korrelatioskoefficiete r ±1 bliver resultatet for regressiosliie uafhægigt af ξ og er dermed uafhægigt af om spredige skyldes usikkerhed på målige af x eller y eller af begge størrelser. Med de forudsætig, at der er e lieær sammehæg mellem x og y, ka vi omvedt slutte, at det er ku hvis r ikke er tæt på 1, at det er afgørede at vurdere om usikkerhede på x er betydede (ξ k 1 1) eller ej. I figurere edefor aalyseres måledatasættet (x, y) = (, 6), (4, 1), (6, 3), (1, 3), (1, 9), (14, 8), (16, ), (18, 11), (3, 11), og (5, 8). Korrelatioskoefficiete for disse 1 talsæt er r =.618 og de ederste figur viser resultatet år spredige alee skyldes usikkerhed på y, hvorimod de øverste viser resultatet år det atages, at usikkerhedere på x og y er lige betydede [tilfælde iii) ξk 1 = 1]. Begge regressiosliier går geem tygdepuktet (x T,y T )=(13, 6.), me har forskellige hældiger. Liiestykkere på hversideafmålepuktere har lægdere: s(x) = 5.8, s(y) =.45 i øverste figur og s(y) = 3.11 i ederste. Når stadardafvigelsere som her er bestemt af måleresultatere, vil regressioskurve skære liiestykkere omkrig målepuktere i ca. /3 af tilfældee. 15 1 k 1 =.48 s(k 1 ) =.41 k =.7 s(k ) = 3.3 5 15 1 k 1 =.98 s(k 1 ) =.134 k =.34 s(k ) =. 5 5 1 15 5 3
Regressio ( Midste kvadraters metode ) IV) Geerel, ikke-lieær regressio. Vi starter med forudsætigere, at vi har e stikprøve med talpar (x 1,y 1 ),..., (x,y ), hvor der ikke er oge usikkerhed forbude med x. Regressioskurve Y = µ(x) atagesatværeere geerel fuktio af x, specificeret ved hjælp af p parametre β 1,...,β p, Y = g(x; β 1,...,β p )=g(x; β) (7.14) hvor β beteger de p dimesioale vektor (β 1,...,β p ). Fuktioe, der skal miimeres er: ( ) yi g(x q = i ; β) (7.15) hvor s i er stadardafvigelse på målige af Y for x = x i (bestemt eksperimeteltellervurderetpå ade måde). Hvis der er mere ed et par parametre vil dette udtryk kue udvikle mage lokale miima, og det vil være svært at fide det rigtige, som ikke ødvedigvis er det absolutte miimumspukt. Metode aveder e iteratio, dvs. vi starter ud med at gætte e løsig β og derefter at udersøge opførsle af q i ærhede af dette pukt. For at gøre dette udyttes e rækkeudviklig af g(x i ; β) til første orde i β β, og følgede p matrix opstilles: {A} ij = g(x i ; β) (7.16) β j β=β og A T beteger de traspoerede matrix. For at opskrive resultatet skal vi idføre {L } ij = δ ij ; y = ( y 1 g(x 1 ; β ),y g(x ; β ),...,y g(x ; β ) ) (7.17) s i L er e (diagoal) matrix og y e dimesioal vektor. E bedre bestemmelse af miimumspuktet (i ærhede af β ) ka herefter fides ved at udrege: β = ( A T L A ) 1 AT L y (7.18) Er β = β et miimumspukt vil β være ulvektore. Hvis ikke, erstattes β med β + β og regige getages. Dette skema getages derefter idtil ma er ået frem til e tilfredsstillede iterativ løsig. I miimumspuktet er variase af de forskellige parametre bestemt ved: s i s (β i )={ ( A T L A ) 1 } ii (7.19) Hvis s i er kostat, s i = s(y), forekles regigere, idet L ka erstattes med ehedsmatrice, år blot det sidste resultat (7.19) multipliceres med s (y). Er s i ikke kedt på ade måde skal der gode argumeter til for ikke at atage e kostat stadardafvigelse. Accepteres dee atagelse ka s(y) bestemmes af stikprøve påheltaalogmåde som i det lieære tilfælde: s y (y) = (7.) p Bemærk, at vi må forlageat er større ed (eller til ød lig med) p, for at atallet af ubekedte ikke skal blive større ed det atal bidiger der er.