Uge 48 II Teoretisk Statistik 7. november 003 Numerisk modelkontrol af diskrete fordelinger: intro Eksempel: kvalitetskontrol Goodness-of-fit test: generel teori Endeligt udfaldsrum Udfaldsrum uden øvre begrænsning Inddeling i grupper i praksis Poissoneksempel: skadestuer (data fra opgave 16.9) Kontrol af diskrete fordelinger n uafhængige observationer 1, n fra en diskret fordeling foreligger. Givet en bestemt fordeling eller fordelingstype: kan observationerne tænkes at stamme fra denne fordeling? Modelkontrol. Muligheder: Fraktildiagrammer. Dur ikke for diskrete fordelinger... Sammenligning af pindediagrammer. Usikkert... Numeriske test; goodness-of-fit test. Udføres som Q-test i multinomialfordelingen. 1
Eksempel: Kvalitetskontrol En arbejdsproces består i at skære plader af et skrøbeligt materiale ud i 10 mindre stykker. Dette er svært: mange mindre stykker går itu! Hver dag udtages en plade, og man tæller op hvor mange af de 10 delstykker, der gik itu: X i. Udfaldsrum: {0,1,,10}. Dette har man gjort i n = 50 dage. Observationer: 1,, 50. Lad z være antal observationer med værdi. Model: X i ~ bin(n = 50, θ), hvor θ er ukendt og derfor må estimeres: 1 m 83 1 (16.7) ˆθ = z 0 = = 0.333 = = nm 10 50 3 () Eksempel: Kvalitetskontrol 0 1 3 4 5 6 7 8 9 10 z 16 8 43 59 39 7 1 0 50 P(X ) θˆ p(θ) ˆ np ˆ (θ) z ˆ -np (θ) q.017.104.99.559.787.93.980.997 1.00 1.00 1.00.017.087.195.6.8.186.057.017.003 1.00 4.5 1.75 48.75 65 57 34 14.5 4.75.75 <3 50
(3) Eksempel: Kvalitetskontrol 0 1 3 4 5 6 7-10 I alt z 16 8 43 59 39 7 16 50 P(X ˆ ) θ p(θ) ˆ np ˆ (θ) z ˆ -np (θ).017.104.99.559.787.93.980.997 1.00.017.087.195.6.8.186.057.0 1.00 4.5 1.75 48.75 65 57 34 14.5 5 50 11.75 6.5-5.75-6 - 18-7 7.75 11 0.00 q 3.49 1.8 0.68 0.55 5.68 1.44 4. 4. 71.05 f = m-r-1 = 8-1-1 = 6 q = 71.05 > χ (6) = 1.59 => H0 skal forkastes, dvs..95 binomialfordelingen kan ikke beskrive antal delstykker itu. (Lidt) forskellige situationer Udfaldsrummet for den givne fordeling har endeligt mange værdier, f. {0,1,,m}. For eksempel binomialfordelingen. Udfaldsrummet for den givne fordeling er uden øvre begrænsning, f. {0,1,,,}. For eksempel poissonfordeling Desuden (giver forskellige antal frihedsgrader i χ -testet): Kontrol af en bestemt fordeling, f. bin(10,0.5). Test af simpel hypotese. Kontrol af fordelingstype, f. bin(10,θ) hvor θ er ukendt og derfor skal estimereres først. Test af parametrisk hypotese. 3
Teoretisk Statistik 7. november 003 Numerisk modelkontrol af diskrete fordelinger: intro Eksempel: kvalitetskontrol Goodness-of-fit test: generel teori Endeligt udfaldsrum Udfaldsrum uden øvre begrænsning Inddeling i grupper i praksis Poissoneksempel: skadestuer (data fra opgave 16.9) Endeligt udfaldsrum Q-testet kan bl.a. benyttes til kontrollere om en given diskret fordeling kan beskrive et givet datamateriale omfattende n uafhængige observationer. Man er interesseret i : 1. om en bestemt fordeling, f.eks. en bin(n = 100, ½)-fordeling kan beskrive materialet,. om en bestemt fordelingstype, f.eks. en bin(n = 100, θ)- fordeling med ukendt parameter θ kan beskrive materialet. } Den ovenfor nævnte fordeling binomialfordelingen er eksempel på en fordeling, hvor den stokastiske variabel X i har endeligt udfaldsrum S = { 0,1,...,m og punktsandsynlighed f(), S. 4
For at bruge Q-testet bringer man observationerne på en form, der muliggør en sammenligning med de forventede værdier i en multinomialfordeling. Vi definerer z = antal observationer af størrelse, = 0,1,,m. Det medfører at vektoren (z 0, z 1,,z m ) kan opfattes som den observerede værdi af en multinomialfordelt stokastisk variabel (Z 0, Z 1,,Z m ) med antalsparameter n og sandsynlighedsparametre p 0,p 1,,p m, hvor (16.18) p = f(), = 0,1,,m. Under disse forudsætninger kan Q-teststørrelsen (16.5) anvendes. Den har her formen Q = m = 0 (Z nf()) nf () Under H 0 : p = f(), dvs. p er de sande sandsynlighedsparametre, vil Q approimativt være χ fordelt med (m+1) - 1= m frihedsgrader. Reglerne for brug af testet er de samme som nævnt tidligere. 5
Endeligt udfaldsrum, test for bestemt fordelingstype Hvis punktsandsynlighederne afhænger af èn ukendt parameter θ må ˆθ bestemmes og kontrollen baseres på Q-teststørrelsen (16.8). Vi finder (16.5) hvor Q = (Z np ˆ ) m = 0 npˆ ˆp = f( θˆ ), = 0,1,...,m. Q-teststørrelsen vil være approimativt χ fordelt med (m+1) = m-1 frihedsgrader. Reglerne for brug af testet er de samme som nævnt tidligere. Udfaldsrum uden øvre begrænsning Har X i punktssh. f 0 ()? (F: er X i Poisson (3)-fordelt?) Sæt * 0 = m f (m) = Σ f 0(). Teststørrelse 6
(Z nf ()) (Z nf (m)) m) m 1 * * 0 m 0 Q = + χ ( * = 0 nf 0() nf 0(m) Har X i punktssh. f(,θ) for et θ? (F: er X i poissonfordelt?) * Sæt f (m, θ ˆ) = f(, θˆ). Teststørrelse Σ = m (Z nf(, ˆθ )) (Z nf (m, θˆ )) m 1 * * m Q = + χ ( ˆ * ˆ = 0 nf (, θ) nf (m, θ) m 1) Gruppering af obs. / hvornår gælder χ -approks? Problemer hvis den forventede værdi er lille i en eller flere celler: Dividerer med noget småt χ -approksimationen gælder ikke Tommelfingerregel: Lav inddeling så den forventede værdi er mindst 3 i alle celler. Kan være nødvendigt at gruppere selv hvis udfaldsrummet er endeligt. gruppere i begge ender af udfaldsrummet. Teoretisk Statistik 7. november 003 Numerisk modelkontrol af diskrete fordelinger: intro Eksempel: kvalitetskontrol Goodness-of-fit test: generel teori 7
Endeligt udfaldsrum Udfaldsrum uden over begrænsning Inddeling i grupper i praksis Poissoneksempel: skadestuer (data fra opgave 16.9) Eksempel: skadestuer (data fra opgave 16.9) 0-3 4 5 6 7 8 9 10 11 I alt z 3 3 6 9 5 3 7 3 3 4 P(X ) λˆ.08.173.301.45.6.79.83.90 1.00.08.091.18.149.15.19.101.07.098 1.00 p() ˆ λ np ˆ ( λ ) z -np ( λˆ ) 3.44 3.8 5.38 6.6 6.3 5.4 4.4 3.0 4.1 4 -.44 -.8.6.74-1.3 -.4.76 -.0-1.1 0.00 q.06.18.9 1.0.7 1.08 1.80.00.30.89 Model: X ~ Ps(λ) med ukendt parameter λ, der må estimeres: 1 m 95 λ= ˆ = z 0 = = 7.0 7 = n 4 f = 9 1 1 = 7 q =.89 χ (7) < χ (7) = 14.07..10.95 H 0 : X ~ Ps(λ) kan altså ikke forkastes. 8
Som et supplement til Goodness-of-fit testet kan man teste H 0 : E[X] = var[x] = λ med et Q-test, der har formen 1 Q = (X X) = SAK /X. n i 1 i X = Ræsonnementet er følgende: Under antagelsen at X ~ Ps(λ) gælder ifølge sætning 7.6 at X N( λλ, ) a X for λ stor. Det medfører videre, at en normeret approimativt normalfordelt stokastisk variabel kan dannes => U i X = i λ i = 1,,n λ (X λ) U ( λ n n i i = χ i= 1 i= 1 a n 1) Indsætter vi herefter i stedet for λ estimatoren X fås 1 Q = (X X) = SAK / X n i 1 i X = X der approimativt er χ (n ) -fordelt. Undersøgelser har vist at denne approimation er god selv for små værdier af λ og n. I skadestueeksemplet fås. 60 q = SAK / = 308.98/ 7.0 = 44.01 χ (40) H 0 kan således ikke forkastes, dvs vi kan have X ~ Ps(λ). 9