Pålidelig kommunikation over støjfyldte kanaler
|
|
- Torben Svendsen
- 8 år siden
- Visninger:
Transkript
1 Pålidelig kommunikation over støjfyldte kanaler Gruppe G3-2 Arild Martin Møller Haugstad Lars Holm Jensen Thanh Dong Nguyen Robert Jørgensgaard Olesen Willard Þór Rafnsson
2
3 Institut for matematiske fag Aalborg Universitet Titel: Pålidelig kommunikation over støjfyldte kanaler Emne: Kodnings- og informationsteori Projectperiode: MAT2, forår 2007 Projektgruppe: G3-2 Gruppemedlemmer: Arild Martin Møller Haugstad Lars Holm Jensen Thanh Dong Nguyen Robert Jørgensgaard Olesen Willard Þór Rafnsson Vejleder: Christian Thommesen Kopier: 8 Sider: 89 Færdiggjort: 25. Maj 2007 Synopsis: Ved kommunikation ved hjælp af kodeord over en støjfyldt kanal risikeres det, at information går tabt, idet der introduceres fejl. Ved at tilføje redundans til kodeordene, kan man med stor sandsynlighed opdage og korrigere et begrænset antal fejl. Redundans gør desværre kommunikationshastigheden lavere. Vi viser i kanalkodningssætningen, at alle kommunikationshastigheder op til kanalkapaciteten er opnåelige, med en fejlsandsynlighed vilkårlig tæt på nul for lange tilfældige koder. Da tilfældige koder ikke er konstruktive, introduceres klassen af lineære koder. Ved hjælp af Varshamov- Gilbert-grænsen vises det, at under forudsætning af passende lav overgangssandsynlighed kan kommunikation foregå ved hjælp af lineære koder, med fejlsandsynlighed vilkårligt tæt på nul for lange koder. Reed-Solomon-koder har den højest mulige fejlkorrigeringsevne for lineære koder. Reed-Solomon-koder er i sig selv uegnede til binære kanaler, da kodelængden altid er mindre end kodealfabetets størrelse. Reed-Solomonkoder bruges derfor i konkatenerede koder, og et eksempel er Justesenkoder, der ovenikøbet er konstruktive og asymptotisk gode. Det følger af den kombinerede kildeog kanalkodningssætning, at det er ligeså effektivt at separere kilde- og kanalkodning som at kombinere disse.
4 Arild Martin Møller Haugstad Lars Holm Jensen Thanh Dong Nguyen Robert Jørgensgaard Olesen Willard Þór Rafnsson 2
5 Indhold Indhold 3 Introduktion 5. Stokastiske variable Kilde Blokkoder Kommunikationshastighed Indkoder og afkoder Diskret hukommelsesfri kanal Motivation Kanalkodningssætningen 9 2. Entropifunktionen Betinget entropi Relativ entropi og gensidig information Chebyshevs ulighed De store tals lov Kanalkapacitet Indbyrdes typiske følger Asymptotisk ækvipartitionsprincip (AEP) Kanalkodningssætningen Klassen af lineære koder Lineære koder Generatormatrix Paritetstjekmatrix Syndrom
6 INDHOLD 3.5 Hamming-afstand Fejlretningsevne for lineære koder Sideklasse til en lineær kode Standardskema Syndromafkodning Varshamov-Gilbert-grænsen 3 4. Binomialfordeling Entropi og binomialkoefficienter Fanos ulighed Varshamov-Gilbert-grænsen Lineær kanalkodning Reed-Solomon-koder MDS koder Reed-Solomon-koder Cykliske koder Generatorpolynomium for cykliske koder Generatormatrix for cykliske koder Vandermonde-matrix Minimumafstand for cykliske koder Cykliske Reed-Solomon-koder Justesen-koder Kombineret kilde- og kanalkodning Kildekodning Præfikskode Krafts ulighed McMillans sætning Huffman-kodning Jensens ulighed Gibbs ulighed Kildekodningssætningen Entropihastighed Kilde-kanalkodningssætningen A Entropi 77 B Afkodning 83 C Endelige legemer 85 Litteratur 89 4
7 KAPITEL Introduktion Vi indleder rapporten med nogle basale definitioner og fundamentale begreber, som er nødvendige for at kunne forstå problemstillingen. Sidst i dette kapitel beskrives motivationen for studiet af fejlkorrigerende koder.. Stokastiske variable Definition. (Hændelse) En hændelse er en delmængde af et udfaldsrum. Definition.2 (Sandsynlighedsmål) [Olo05, Definition.3.] Lad S være et udfaldsrum. P(S) er mængden af alle hændelser af udfaldsrummet. Et sandsynlighedsmål er en funktion Pr : P(S) [0, ], der afbilder hændelser over i sandsynligheder, og opfylder Pr(S) = (den sikre hændelse) og for alle disjunkte hændelser A, A 2,... S gælder ( ) Pr A k = Pr (A k ). k= Definition.3 (Stokastisk variabel) En stokastisk variabel er en funktion X : S R, hvor S er udfaldsrummet for et eksperiment. Hvis billedmængden for X er tællelig, kaldes X en diskret stokastisk variabel. X kaldes en reel stokastisk variabel, når R R. k= 5
8 KAPITEL. INTRODUKTION Definition.4 (Sandsynlighedsfordeling) Mængden P R + kaldes en sandsynlighedsfordeling hvis p =. p P Definition.5 (Frekvensfunktion af en diskret stokastisk variabel) [Olo05, Definition 2.2.2] En frekvensfunktion for en diskret stokastisk variabel X er en afbildning p : X P, givet ved p(x) = Pr (X = x), hvor X er billedmængden for X og P er en sandsynlighedsfordeling..2 Kilde Definition.6 (Kilde) En kilde S er et par (S, p), hvor S er et udfaldsrum og p : S [0, ] er en frekvensfunktion for S..3 Blokkoder Definition.7 (Blokkode) En (M, n)-blokkode C er en delmængde af X n med M elementer, hvor X kaldes kodealfabetet, og c C kaldes kodeord..4 Kommunikationshastighed Definition.8 (Kommunikationshastighed) Kommunikationshastigheden for en (M, n)-blokkode defineres som R = log M n.5 Indkoder og afkoder Definition.9 (Indkoder) En indkoder konverterer kildesymboler w = w w M, hvor w i W til entydige kodeord X n (w) = (X (w),..., X n (w)) C, hvor C er en (M, n)- blokkode. Definition.0 (Afkoder) En afkoder er en funktion Ŵ af udgangsalfabet Y n in i kildealfabet W 6
9 .6. DISKRET HUKOMMELSESFRI KANAL.6 Diskret hukommelsesfri kanal Definition. (Diskret hukommelsesfri kanal) En diskret hukommelsesfri kanal er en tretupel (X, p(y x), Y), hvor X er indgangsalfabetet, Y er udgangsalfabetet. Hvis X er indgangsvariablen og Y er udgangsvariablen, så kan Y kun afhænge af X med den betingede sandsynlighedsfunktion p(y x) = Pr (Y = y X = x)..7 Motivation Denne rapport omhandler pålidelig kommunikation over støjfyldte kanaler. Nedenfor er det generelle problem illustereret: W X n (W ) Kilde Indkoder Kanal Y n Afkoder Ŵ (Y n ) Modtager Kilden udsender beskeder repræsenteret med den stokastiske variabel W. Disse beskeder indkodes til X n (W ). Kanalen introducerer fejl i det afsendte kodeord så det bliver til den stokastiske variabel Y n. Til sidst afkodes og fejlkorrigeres Y n til Ŵ (Y n ), som er den besked modtageren får. Hvis Ŵ (Y n ) W, er der sket en fejl. Nærværende rapport handler om hvordan sandsynligheden for sådanne fejl minimeres, uden at kommunikationshastigheden R går mod nul for kodelængden n gående mod uendelig. 7
10
11 KAPITEL 2 Kanalkodningssætningen I dette kapitel vises det ved hjælp af tilfældige koder, at der findes asymptotiske gode koder. Definition 2. (Asymptotisk gode koder) Lad {C n } n være en følge af (M, n)-blokkoder med minimumafstand d n og hastighed R n. {C n } n kaldes asymptotisk god, hvis lim n R n > 0 og lim n d nn > Entropifunktionen Entropifunktionen er ifølge Sætning A. entydigt bestemt som i følgende definition. Definition 2.2 (Entropi) Lad P = {p,..., p n } være en sandsynlighedsfordeling. Så kaldes H b (p,..., p n ) = p i log b p i = p i log b p i for den b-ære entropi af fordelingen P. Hvor intet andet er nævnt benyttes 2-talslogaritmen, og således implicit den binære entropifunktion. 9
12 KAPITEL 2. KANALKODNINGSSÆTNINGEN 2.2 Betinget entropi Definition 2.3 (Betinget entropi) Lad X, Y være stokastiske variable med frekvensfunktion p. Den betingede entropi er defineret som H(Y X) = x X p(x)h(y X = x), hvor H(Y X = x) er H(Y X = x) = y Y p(y x) log p(y x). Bemærk, at H(Y X) = p(x, y) log p(y x) (2.) x X y Y følger af definitionen af betinget sandsynlighed: p(y x) = p(x, y) p(x). 2.3 Relativ entropi og gensidig information Den relative entropi fortæller noget om afstanden mellem to fordelinger. Definition 2.4 (Relativ entropi) [CT06, side 9] Lad X være en diskret stokastisk variabel med værdimængde X. Lad endvidere p og q være frekvensfunktioner for X. Den relative entropi D mellem p og q er givet ved D(p q) = x X p(x) log p(x) q(x). Relativ entropi er ikke symmetrisk, i modsætning til den gensidige information: Definition 2.5 (Gensidig information) [CT06, side 9] Den gensidige information I er givet ved I(X; Y ) = D(p(x, y) p(x)p(y)), hvor X og Y er stokastiske variable med fællesfordeling p(x, y), og marginalfordelingerne p(x) og p(y). 0
13 2.3. RELATIV ENTROPI OG GENSIDIG INFORMATION Givet to stokastiske variable X og Y fortæller den gensidige information I(X; Y ), hvor mange bits de begge indeholder af information om hinanden. Det vil for eksempel sige, at hvis X og Y er uafhængige, er I(X; Y ) = 0. Da den gensidige information er defineret udfra den relative entropi af en størrelse, udledes følgende sammenhæng mellem gensidig information og entropi: I(X; Y ) = D(p(x, y) p(x)p(y)) = p(x, y) p(x, y) log p(x)p(y) x X,y Y = x X,y Y = x X,y Y = ( p(x, y) log p(x y) p(x) p(x, y) log p(x y) x X,y Y x X,y Y p(x, y) log p(x y)) x X p(x, y) log p(x) p(x) log p(x) = H(X) H(X Y ), (2.2) ved brug af (2.). På tilsvarende udledning følger at I(X; Y ) = H(Y ) H(Y X). Hjælpesætning 2. Lad X og Y være stokastiske variable med billedmængder X og Y. Den gensidige information er da givet ved I(X; Y ) = H(X) + H(Y ) H(X, Y ). (2.3) Bevis I(X; Y ) = x X,y Y = x X,y Y p(x, y) log p(x, y) p(x)p(y) p(x, y) (log p(x, y) log p(x) log p(y)) Ved at ekspandere summen og marginalisere følger det, at den gensidige information I(X; Y ) er lig p(x) log p(x) p(y) log p(y), y Y x X,y Y p(x, y) log p(x, y) x X hvilket er det samme som H(X) + H(Y ) H(X, Y ), som skulle vises.
14 KAPITEL 2. KANALKODNINGSSÆTNINGEN 2.4 Chebyshevs ulighed Definition 2.6 (Middelværdi) [Olo05, Definition 2.4.] Lad X være en diskret stokastisk variabel med billedmængde X = {x, x 2,...} og frekvensfunktion p : X [0, ]. Middelværdien af X defineres som E [X] = x k p(x k ). k= Når den stokastiske variabel fremgår af konteksten skrives middelværdien ofte som µ. Definition 2.7 (Varians) [Olo05, Definition 2.4.3] Lad X være en stokastisk variabel med middelværdi µ. Variansen af X defineres som Var [X] = E [ (X µ) 2]. Når den stokastiske variabel fremgår af konteksten skrives variansen ofte som σ 2, hvor σ 0 kaldes spredningen. Sætning 2.2 (Chebyshevs ulighed) [Olo05, Udsagn 2.4.7] Lad X være en diskret stokastisk variabel med billedmængde {x, x 2,...}, middelværdi µ og varians σ 2. For alle konstanter c > 0 gælder Pr ( X µ cσ) c 2. (2.4) Bevis Der bliver ført bevis for det diskrete tilfælde. Et bevis for det kontinuerte tilfælde er at finde i [Olo05, Udsagn 2.4.7]. Lad p : X [0, ] være frekvensfunktionen til X. Lad c > 0 være givet og lad B = {x i X : x i µ cσ}. Per definition af varians og middelværdi haves σ 2 = E [ (X µ) 2] = (x i µ) 2 p(x i ). Da B er fuldstændigt medtaget i summen, kan vi nu skrive σ 2 B (x i µ) 2 p(x i ) c 2 σ 2 B p(x i ) = c 2 σ 2 Pr (X B), hvor det er anvendt, at (x i µ) 2 c 2 σ 2 per definition af B. Chebyshevs ulighed følger ved at dele ovenstående ulighed med σ 2 c 2. 2
15 2.5. DE STORE TALS LOV Chebyshevs ulighed giver os dermed en vurdering nedadtil af sandsynligheden for at ramme indenfor en givet afstand cσ fra middelværdien µ, givet variansen σ 2, nemlig Pr ( X µ < cσ) > c De store tals lov De store tals lov handler om at den empiriske middelværdi for en uendelig følge af stokastiske variable konvergerer mod den faktiske. Følgende er en svækket udgave af de store tals lov, der antager at variansen af den uendelige følge af stokastiske variable er endelig. Sætning 2.3 (De store tals svage lov) [Tho07] Lad X, X 2,... være en følge af ensfordelte, uafhængige stokastiske variable med E [X i ] = µ, Var [X i ] = σ 2 for i =,..., n, og lad S n = X + + X n. Da gælder det, at hvor Sn n ( ) δ > 0 : lim Pr S n n n µ δ = 0, er middeludtrækningen. Bevis Antag, at følgen af stokastiske variable har en endelig længde n. Fra lineariteten af middelværdi [Olo05, Udsagn 3.6.6] får vi, at E [ ] Sn = n n (E [X ] + + E [X n ]) = nµ n = µ. Fra multiplikationsreglen [Olo05, Udsagn b)] og additionsreglen [Olo05, Udsagn 3.6.4] for varians får vi, at Var [ ] Sn = n n 2 (Var [X ] + + Var [X n ]) = n 2 Var [X + + X n ] = nσ2 n 2 = σ2 n, dermed er standardafvigelsen for Sn n givet ved σ n. 3
16 KAPITEL 2. KANALKODNINGSSÆTNINGEN Indsættes dette i Chebyshevs ulighed, Sætning 2.2, med konstanten c = δ n σ for δ > 0 fås ( ) ) ( ) S n Pr n µ n σ (δ S n = Pr σ n n µ δ σ2 δ 2 n. Sætningen følger ved at tage grænseværdien for n gående mod uendelig i ovenstående ulighed. 2.6 Kanalkapacitet Definition 2.8 (Kanalkapacitet) Kanalkapaciteten for en diskret hukommelsesfri kanal (X, p, Y) defineres som C = max p(x) I (X; Y ), hvor X er indgangsvariablen med indgangsalfabetet X som værdimængde, Y er udgangsvariablen, med udgangsalfabetet Y som værdimængde. Det er værd at bemærke, at kapaciteten som et maksimum er veldefineret, da den gensidige information er konkav, hvorfra det følger, at ethvert lokalt maksimum også er et globalt maksimum. Ved at bruge en diskret hukommelsesfri kanal gentagne gange stiger kapaciteten for antallet af informationsbits per transmission ikke: Hjælpesætning 2.4 [CT06, Hjælpesætning 7.9.2] Lad Y n være udgangsvariablen og X n være indgangsvariablen for en hukommelsesfri kanal med kanalkapacitet C. For alle p(x n ) gælder: I (X n ; Y n ) nc. Bevis Ved gentagen anvendelse af kædereglen for entropi kan fællesentropien for X n og Y n beregnes som H(X n, Y n ) = + H(X i X,..., X i ) H(Y i Y,..., Y i, X,..., X n ) = H(X n ) + H(Y i Y,..., Y i, X n ) (2.5) 4
17 2.7. INDBYRDES TYPISKE FØLGER Ved indsættelse af (2.5) i Hjælpesætning 2. følger nu I (X n ; Y n ) = H(Y n ) + H(X n ) H(X n, Y n ) = H(Y n ) H(Y i Y,..., Y i, X n ) (2.6) Per Definition. kan Y i udelukkende afhænge af X i og derfor følger det fra (2.6), at I (X n ; Y n ) = H(Y n ) H(Y i X i ). (2.7) Da entropien i et sammensat system ikke kan overstige summen af entropier for de enkelte systemer; det vil sige eftersom der gælder H(Y n ) = H(Y i Y,..., Y i ) H(Y i ), 0 I(Y i ; Y,..., Y i ) = H(Y i ) + H(Y i Y,..., Y i ), følger det af (2.7), at I (X n ; Y n ) = H(Y i ) H(Y i X i ) I (X i ; Y i ) nc, per (2.2) og Definition 2.8, som skulle vises. 2.7 Indbyrdes typiske følger Indbyrdes typiske følger A (n) ɛ er mængden af alle følger, af længde n, som kan bruges til at approksimere den sande entropi, med fejlmargin ɛ; approksimationen kaldes også den empiriske entropi. Dette formaliseres i det følgende. Definition 2.9 (Indbyrdes typiske følger) Lad X og Y være stokastiske variable med frekvensfunktion p. For ɛ > 0, kaldes (x n, y n ) X n Y n indbyrdes typiske, skrevet (x n, y n ) A (n) ɛ, hvis følgende er opfyldt: 5
18 KAPITEL 2. KANALKODNINGSSÆTNINGEN i) n log p(xn ) H(X) < ɛ ii) n log p(yn ) H(Y ) < ɛ iii) n log p(xn, y n ) H(X, Y ) < ɛ, hvor p(x n, y n ) = n p(x i, y i ) Intuitivt, er det klart, at for n gående mod uendeligt vil n log p(xn ) gå mod entropien, da lim n n = p(x), når ellers p(x) = Pr (X = x). {X {X,...,X n} X=x} 2.8 Asymptotisk ækvipartitionsprincip (AEP) Bemærk, at en instans af (X, Y ) n kan omskrives til en instans af (X n, Y n ), ved at danne et par bestående af en liste af førsteelementerne og en liste af andenelementerne i (X, Y ) n. Sætning 2.5 (AEP for indbyrdes typiske følger) [CT06, Sætning 7.6.] Lad (X, Y ) n være en følge af n uafhængige ensfordelte par af stokastiske variable, med frekvensfunktionen p(x n, y n ) = n p(x i, y i ). Så gælder det for ethvert ɛ > 0, at ( ) i) lim n Pr (X n, Y n ) A (n) ɛ = ii) A (n) ɛ 2 n(h(x,y )+ɛ). Lad ( X n, Ỹ n ) være et par af uafhængige følger af stokastiske variable med frekvensfunktionen p(x n, y n ) = p(x n ) p(y n ), så gælder ( iii) Pr ( X ) n, Ỹ n ) A ɛ (n) 2 n(i(x;y ) 3ɛ). Bevis Ad i): Lad Z i = log p(x i ) være stokastiske variable, for i =,..., n. Middelværdierne er da givet ved E [Z i ] = x X p(x)( log p(x)) = H(X). 6
19 2.8. ASYMPTOTISK ÆKVIPARTITIONSPRINCIP (AEP) Middeludtrækningen er givet ved S n n = n = n Z i log p(x i ) = n log(p(x ) p(x n )) = n log p(xn ). Det følger nu af De store tals lov, Sætning 2.3, at for ethvert ɛ > 0 ( lim Pr ) n n log p(xn ) H(X) ɛ = 0, og dermed ( lim Pr ) n n log p(xn ) H(X) < ɛ =. (2.8) På tilsvarende vis, lad Z i = log p(y i ) være stokastiske variable, for i =,..., n. Middelværdierne er da givet ved E [ Z i ] = p(y) log p(y) = H(Y ). y Y Middeludtrækningen er givet ved S n n = n log p(yn ). Det følger nu af De store tals lov, Sætning 2.3, at for ethvert ɛ > 0 ( lim Pr ) n n log p(yn ) H(Y ) < ɛ =. (2.9) Igen på tilsvarende vis, lad Ẑi = log p(x i, y i ) være stokastiske variable, for i =,..., n. Middelværdierne er da givet ved ] E [Ẑi = x X,y Y Middeludtrækningen er givet ved p(x, y) log p(x, y) = H(X, Y ). Ŝ n n = n log p(xn, y n ). 7
20 KAPITEL 2. KANALKODNINGSSÆTNINGEN Det følger nu af De store tals lov, Sætning 2.3, at for ethvert ɛ > 0 ( lim Pr ) n n log p(xn, y n ) H(X, Y ) < ɛ =. (2.0) Punkt i) følger nu, da ligning (2.8), (2.9), og (2.0) opfylder Definition 2.9. Ad ii): Den sikre hændelse er mere sandsynlig end (x n, y n ) A (n) ɛ. Vi har derfor, at = p(x n, y n ) (x n,y n ) X n Y n p(x n, y n ). (2.) (x n,y n ) A (n) ɛ Ved udskrivning af Definition 2.9 iii) haves ɛ < n log p(xn, y n ) H(X, Y ) < ɛ. Det følger af den højre ulighed, at p(x n, y n ) nu kan vurderes nedadtil ved addition af H(X, Y ), multiplikation med n, og anvendelse af eksponentialfunktionen med 2 som grundtal, hvorved logaritmefunktionen forsvinder; vurderingen er da givet ved Ved indsættelse af (2.2) i (2.) haves p(x n, y n ) > 2 n(h(x,y )+ɛ). (2.2) (x n,y n ) A (n) ɛ n(h(x,y )+ɛ) 2 = A (n) ɛ 2 n(h(x,y )+ɛ), og resultatet følger ved at isolere A (n) ɛ. Ad iii): Sandsynligheden for at uafhængige stokastiske variable X n og Ỹ n danner typiske følger er givet ved ( Pr ( X ) n, Ỹ n ) A (n) ɛ = p(x n ) p(y n ). (x n,y n ) A (n) ɛ Ved brug af, at logaritmefunktionen er eksponentialfunktionens inverse følger det, at ( Pr ( X ) n, Ỹ n ) A (n) ɛ = 2 log p(xn )+log p(y n), (x n,y n ) A (n) ɛ 8
21 2.9. KANALKODNINGSSÆTNINGEN da log p(x n ) p(y n ) = log p(x n ) + log p(x n ). Fra ii) følger det endvidere, at ( Pr ( X ) n, Ỹ n ) A (n) ɛ 2 n(h(x,y )+ɛ) 2 log p(xn) 2 log p(yn ) 2 n(h(x,y )+ɛ) n(h(x) ɛ) n(h(y ) ɛ), hvor den sidste( ulighed gælder pr Definition 2.9. Det følger nu af Hjælpesætning 2., at Pr ( X n, X ) n ) A (n) ɛ 2 n(i(x;y ) 3ɛ), som skulle vises. 2.9 Kanalkodningssætningen Sætning 2.6 (Kanalkodningssætningen) [CT06, Sætning 7.7.] For en diskret hukommelsesfri kanal, er alle kommunikationshastigheder R under kanalkapaciteten C opnåelige; mere specifikt: i) For enhver kommunikationshastighed R < C, findes en følge af (2 nr, n)- koder med maksimal fejlsandsynlighed λ (n) 0. Desuden er det også en nødvendig betingelse, at R er mindre end kanalkapaciteten C, for at R skal være opnåelig: ii) Enhver følge af (2 nr, n)-koder med λ (n) 0 har R C. Bevis Ad i): Lad C være en tilfældig (2 nr, n)-kode således, at Pr (C) = 2 nr w= n p(x i (w)), (2.3) det vil sige, at hvert kodeord X n (w) = x (w) x n (w), for w =,..., 2 nr, består af n tilfældige kodesymboler, valgt med fordelingen p. Bemærk, at Pr (C) uafhængig af C. Lad W være den stokastiske variabel for beskeden w, der ønskes kommunikeret, og antag, at W er ligefordelt på,..., 2 nr, det vil sige, at Pr (W = w) = 2 nr. (2.4) Lad X n : W X være den stokastiske variabel for kodeordet, der afsendes over kanalen. Lad Y n være den stokastiske variabel for ordet, der modtages via kanalen og lad transitionsmatricen for kanalen være p(y x). Da kanalen er hukommelsesfri følger det, at Pr (y n x n (w)) = n p(y i x i (w)), 9
22 KAPITEL 2. KANALKODNINGSSÆTNINGEN hvor y n = y y n og x n = x (w) x n (w). Lad Ŵ (yn ) være den stokastiske variabel for beskeden beregnet ud fra Y n ved hjælp af sammenhørende typisk afkodning. Sammenhørende typisk afkodning er defineret som enhver algoritme der, efter at have returneret indeks ŵ, opfylder: X n (ŵ) og Y n er sammenhørende typiske. Der findes ikke andre w ŵ, således at X n (w ) og Y n er sammenhørende typiske. Hvis et sådan ŵ ikke findes, returnerer algoritmen et fejlindeks, 0. Lad E være hændelsen, at der sker fejl ved brug af en tilfældig kode, det (n) være sig {Ŵ W }, og lad endvidere P e (C) være sandsynligheden for, at der sker fejl i koden C. Nu kan sandsynligheden for fejl i en tilfældig kode beregnes som Pr (E) = Pr (C) P e (n) (C). C Lad λ w (C) være fejlsandsynligheden ved brug af koden C givet W = w. Da W per antagelse (2.4) er ligefordelt gælder det, at Pr (E) = C Pr (C) 2 nr λ w(c). 2 nr w= Gennemsnittet af λ w (C) over alle koder C er givet ved E [λ w ] = C Pr (C) λ w (C), og dermed er λ w uafhængigt af w, og vi kan derfor vælge W =. Sandsynligheden for fejl i en tilfældig kode kan nu skrives som Pr (E) = Pr (E W = ) = C Pr (C) λ (C). (2.5) Lad E i være hændelserne, at X n (i) og Y n er sammenhørende typiske for i =,..., 2 nr ; altså E i = {(X n (i), Y n ) A (n) ɛ } for i =,..., 2 nr. Det følger nu af (2.5), at sandsynligheden for fejl i en tilfældig kode kan beregnes som Pr (E) = Pr (E W = ) = Pr ( E c E 2 E nr 2 W = ). 20
23 2.9. KANALKODNINGSSÆTNINGEN Da sandsynligheden for en forening af hændelser, er mindre end summen af sandsynligheder for de enkelte hændelser (fordi man jo kun ser bort fra sammenfaldene), har vi nu en øvre grænse for fejl, i en tilfældig kode, som er givet ved 2 nr Pr (E) Pr (E) c + Pr (E i ). (2.6) Det følger af den asymptotiske ækvipartitionsegenskab for sammenhørende typiske følger, Sætning 2.5, at Pr (E c ) 0 for n gående mod uendeligt; det vil sige, at Pr (E c ) < ɛ for store n. Da Y n udelukkende er afhængig af X n () og X n (i) er uafhængige for i =, 2,..., 2 nr, er Y n og X n (i) for i = 2, 3,..., 2 nr uafhængige, og det følger derfor af Sætning 2.5 punkt iii), at 2 nr i=2 Pr (E i ) 2 n(i(x(i);y ) 3ɛ). i=2 2 nr i=2 Da I (X(i); Y ) C for i = 2, 3,..., 2 nr per Definition 2.8, kan summen hæves 2 nr i=2 Pr (E i ) (2 nr n(i(x;y ) 3ɛ) )2 2 n(i(x;y ) R 3ɛ). Følgeligt gælder det for alle ɛ > 0, at når R < I (X; Y ) 3ɛ, så er Pr (E i ) ɛ, 2 nr i=2 for store n. Således kan fejlsandsynligheden for en tilfældig kode per (2.6) vurderes opad med Pr (E) 2ɛ. Bemærk at det er nok at vælge 0 < ɛ < C R, og derfor gælder vurderingen for alle R < C. Da fejlsandsynligheden for en tilfældig kode er Pr (E) 2ɛ for store n, når R < C, må der findes en kode C således, at Pr (E C ) 2ɛ. Da W per antagelse (2.4) er ligefordelt kan fejlsandsynligheden for kodebogen C beregnes som P e (n) (C ) = Pr (E C ) = 2 nr 2 nr λ i 2ɛ. Ved at sortere λ i i ikke stigende rækkefølge og forkaste den første halvdel, haves en reduceret kodebog for hvilken hvert λ i 4ɛ; bevis for dette følger: 2
24 KAPITEL 2. KANALKODNINGSSÆTNINGEN Antag fejlagtigt, at det største λ i i den ikke-forkastede halvdel er skarpt større end 4ɛ, så ville alle λ i i den forkastede halvdel ligeledes være skarpt større end 4ɛ, som følge af den foregående sortering. Heraf følger det, at bidraget fra den forkastede halvdel alene overstiger 2ɛ, hvilket er en modstrid med, at λ i [0; ]. Vi opnår således maksimal fejlsandsynlighed 4ɛ ved at forkaste en passende halvdel af kodeordene i C. Således halveres antallet af kodeord fra 2 nr til 2 nr, hvilket giver en ny kommunikationshastighed R = R /n, som er vilkårligt tæt på R for store n. Eksistensen af en følge af (2 nr, n)-koder med maksimal fejlsandsynlighed λ (n) 4ɛ er nu vist for enhver kommunikationshastighed R skarpt mindre end kanalkapaciteten C. Resultatet følger ved at vælge ɛ < n for hvert n > 0. Ad ii): Lad W være en stokastisk variabel ligefordelt på W = {, 2,..., 2 nr }. W indkodes som X n (W ), der sendes over en hukommelsesfri kanal. Når Y n modtages, estimeres W med Ŵ (Y n ). Vi har fejlsandsynligheden P (Ŵ W ) = 2 nr i λ i = P e (n). Fra Fanos ulighed, Sætning 4.5, fås H(W Ŵ ) H(P (n) e ) + P (n) e log W + P e (n) nr. Vi kan ved brug af ovenstående og (2.2) skrive nr = H(W ) ) = H(W Ŵ (W ) + I ; Ŵ ( ) + P e (n) nr + I W ; Ŵ + P (n) e nr + I (X n ; Y n ) + P e (n) nr + nc, hvor Hjælpesætning 2.4 er benyttet til den sidste ulighed. Ved at dividere med n, får vi der for n gående mod uendelig giver R n + P (n) e R + C, R C, idet antagelsen λ (n) 0 medfører P (n) e 0, for n gående mod uendelig. 22
25 KAPITEL 3 Klassen af lineære koder Klassen af lineære koder er en klasse af behagelige koder, idet en lineær kode er et underrum i et vektorrum, som er et matematisk velkendt begreb. I dette kapitel introduceres lineære koder og syndromafkodning. 3. Lineære koder Definition 3. (Lineær kode) En lineær q-ær (n, k)-blokkode, er et k-dimensionelt underrum af F n q, hvor F q er et endeligt legeme bestående af q elementer. Det vil sige, at kodeordene i en q-ær (n, k)-kode er vektorer på formen c = (c,..., c n ), hvor c,..., c n F n q. Da det typisk kan ses fra sammenhængen, at kodeord er vektorer af en given længde, bliver kodeord oftest blot noteret som c = c c n. 3.2 Generatormatrix Definition 3.2 (Generatormatrix) En generatormatrix G for en (n, k)-blokkode C er en k n-matrix hvor rækkerummet udgør en base for C. 23
26 KAPITEL 3. KLASSEN AF LINEÆRE KODER 3.3 Paritetstjekmatrix Definition 3.3 (Paritetstjek) En vektor h af længden n er et paritetstjek for en (n, k)-blokkode C, hvis Gh T = 0, hvor G er en generatormatrix for C, og 0 er nulvektoren. Således står alle paritetstjek vinkelret på alle kodeord i C. Definition 3.4 (Paritetstjekmatrix) En paritetstjekmatrix H for en (n, k)-blokkode C er en (n k) n-matrix, hvis rækker er lineært uafhængige paritetstjeks for C. Rækkerummet af en vilkårlig paritetstjekmatrix for en (n, k)-blokkode C udgør en base for mængden af alle paritetstjeks for C: Vi har fra Definition 3.3, at mængden af alle paritetstjekvektorer for C udgør nulrummet for en generatormatrix G for C. Vi har også fra Definition 3.3, at en vektor h er en paritetstjekvektor for C uafhængigt af hvilken generatormatrix for C, der tales om. Ergo har alle generatormatricer for C det samme nulrum, hvilket, fra Definition 3.4, har et (n k)-dimensionelt rækkerum for en vilkårlig paritetstjekmatrix H for C som base. Vi kalder dette rum for dualkoden C, C = span(row(h)) = null(g) = {x F n : x c = 0, c C}, (3.) hvor G, H er en vilkårlig generatormatrix og paritetstjekmatrix for C, henholdsvis. Dualkoden til C er C: Vi har fra Definition 3.3 og Definition 3.4, at GH T = 0 k (n k), hvor 0 k (n k) er en k (n k)-nulmatrix. Da får vi fra egenskaber ved matrixmultiplikation, at HG T = (GH T ) T = 0 T k (n k) = 0 (n k) k, (3.2) hvor 0 (n k) k er en (n k) k-nulmatrix. Dette medfører, at G er en paritetstjekmatrix for C, hvilket fra (3.) medfører, at (C ) = C. 3.4 Syndrom Definition 3.5 (Syndrom) Lad H være en paritetstjekmatrix for en q-ær (n, k)-blokkode C og lad r F n q. Da er syndromet s af r givet ved s = syn (r) = Hr T. 24
27 3.5. HAMMING-AFSTAND Derved har vi fra (3.2), at for et modtaget kodeord r = c + e, hvor c er et kodeord og e er fejlvektoren, gælder det, at s = H(c + e) T = He T. 3.5 Hamming-afstand Definition 3.6 (Hamming-vægt og -afstand, minimumafstand) Lad x, y være vektorer i et legeme F n. Hamming-vægten af x, skrevet w H (x), er antallet af ikke-nul koordinater i x. Hamming-afstanden mellem x og y, skrevet d H (x, y) = w H (x y), er antallet af koordinater hvor x og y er forskellige. Minimumafstanden for en kode, skrevet d, er den mindste Hammingafstand mellem ethvert par af forskellige kodeord. Hjælpesætning 3. [JH04, Lemma.2.] Minimumafstanden i en lineær kode er den minimale vægt af ikke-nul ord i koden. Bevis Lad c være et kodeord med minimal vægt, således gælder w H (c) = d H (c, 0). Da 0 er et kodeord må minimumafstanden være mindre end lig w H (c). Lad nu c, c 2 være de kodeord med mindst afstand mellem hinanden. Da d H (c, c 2 ) = w H (c c 2 ) og c c 2 også er et kodeord, må w H (c c 2 ) være mindre end lig minimumafstanden. 3.6 Fejlretningsevne for lineære koder Definition 3.7 (t-fejlkorrigerende kode) [JH04, Definition.2.2] En kode C over F er t-fejlkorrigerende, hvis der for to vilkårlige og forskellige kodeord c i, c j C gælder, at e, e 2 F : w H (e ), w H (e 2 ) t = c i + e c j + e 2. Sætning 3.2 (Fejlretningsevne for blokkoder) [Ple98, Sætning 2] En blokkode C med minimumafstand d er t-fejlkorrigerende, hvis og kun hvis t d 2. 25
28 KAPITEL 3. KLASSEN AF LINEÆRE KODER Bevis (C, d H ) er et metrisk rum. Der vises, at alle kugler omkring kodeord i C med radius t d 2 er disjunkte. Antag fejlagtigt det modsatte. Da eksisterer der kodeord u, v C, hvor u v og B t (u) B t (v). Lad w B t (u) B t (v). Da gælder det fra trekantsuligheden, at d H (u, v) d H (u, w)+d H (w, v) 2t, hvor den sidste ulighed gælder, da kuglerne ikke er disjunkte. Da 2t d fra angivelsen af t fra før, får vi, at d H (u, v) d. Men da d H (u, v) = w H (u v) d, hvor den sidste ulighed gælder da u og v er forskellige og derved at u v 0, fører dette til modstrid. Hvis et modtaget ord r har t eller færre fejl, betyder det, at d H (r, c) t for et entydigt kodeord c C. Koden er derved t-fejlkorrigerende, da koden blot kan rette et modtaget ord til det kodeord, som ordet ligger i en kugle omkring. 3.7 Sideklasse til en lineær kode F n q er ikke bare et vektorrum med koder som underrum, men en abelsk gruppe med koder som undergrupper. Et modtaget ord r ligger derved i en sideklasse til den givne kode. Definition 3.8 (Sideklasse til en lineær kode) [JH04, Definition.3.2] Lad C være en lineær kode og a F n. Mængden a + C = {a + c : c C} er en sideklasse til C, med a som repræsentant. Bemærk, at der til en given (n, k)-kode C findes q n k forskellige sideklasser. En sideklasse a + C kan repræsenteres af et vilkårligt element b a + C, da b = a + c for et c C, og C er lukket under addition og substraktion. Som repræsentant vælges derfor typisk det ord i sideklassen, der har mindst vægt, og dette ord kaldes for en sideklasseleder. Sideklasselederen er et godt estimat af den fejlvektor, der forårsager, at et modtaget ord r lander i den sideklasse sideklasselederen repræsenterer. 3.8 Standardskema Syndromafkodning kan betragtes som en optimering af afkodning ved hjælp af et standardskema. Definition 3.9 (Standardskema) Et standardskema er en tabel, der indeholder alle vektorer i F n q, således at hver række er en sideklasse med den første celle i rækken som sideklasseleder. Et standardskema kaldes ofte Slepian array og standard array i engelsk litteratur. 26
29 3.9. SYNDROMAFKODNING Algoritme 3.: Konstruktion af standardskema Input: En (n, k)-lineær blokkode C Resultat: Et q n k q k -standardskema for C Lad S være et tomt skema Skriv alle koder i C som den første række i S, med 0 i den første søjle sålænge antallet af rækker i S < q n k udfør Vælg en vektor v F n q af minimal vægt, som ikke allerede befinder sig i S Læg v til alle elementer i den første række, og skriv den resulterende række nederst i S returner S Algoritme 3.2: Afkodning ved brug af et standardskema Input: Et standardskema S og et modtaget ord y Resultat: Antaget afsendt ord Afkod y til det ord i den første række af S, som ligger i samme søjle, som y ligger i returner Ordet Eksempel 3. (Afkodning ved brug af et standardskema) Lad C være en lineær (4, 2) blokkode over F n 2 genereret af generatormatricen [ ] 0 0 G =. 0 Standardskemaet for C konstrueret med Algoritme 3. er givet ved Sidekl. ledere Koden C (0, 0, 0, 0) (, 0, 0, ) (0,,, ) (,,, 0) Sideklasser (0, 0, 0, ) (, 0, 0, 0) (0,,, 0) (,,, ) (0, 0,, 0) (, 0,, ) (0,, 0, ) (,, 0, 0) (0,, 0, 0) (,, 0, ) (0, 0,, ) (, 0,, 0) Fra Definition 3.6 og Sætning 3.2 fås, at d = 2 og at C kan rette op til t = d 2 = 0 fejl med garanti. Lad m = (0,,, ) C være den afsendte besked, e = (0, 0,, 0) være fejlvektoren, og r = m + e = (0,, 0, ) være den modtagen besked. r ligger i række 3 og søjle 3, hvilket ved brug af Algoritme 3.2 afkoder til (0,,, ) = m. På den anden side, hvis e = (, 0, 0, 0), så er r = (,,, ), hvilket afkoder til (,,, 0). 3.9 Syndromafkodning En Syndromafkoder er et eksempel på en afkoder for lineære blokkoder, der er let at konstruere, og som ovenikøbet er forholdsvis let beregnelig, når n k 27
30 KAPITEL 3. KLASSEN AF LINEÆRE KODER ikke er for stor. Disse egenskaber gør syndromafkodning egnet som grundlag for vurdering af mere specielle afkodningsskemaer. Syndromafkodere benytter sig af det faktum, at ord, der ligger i den samme sideklasse til C, har samme syndrom. Hjælpesætning 3.3 [JH04, Lemma.3.] Lad C være en lineær blokkode. To ord x, y er i samme sideklasse til C, hvis og kun hvis de har samme syndrom. Bevis Ad x, y har samme syndrom: Antag, at x og y ligger i sideklassen a + C til C, hvor a F n q. Lad H være paritetstjekmatricen til C. Da har vi, at Hx T = H(a + c ) T = Ha T = H(a + c 2 ) T = Hy T, hvor c, c 2 C, hvilket per Definition 3.5 giver, at x og y har samme syndrom. Ad x, y er i samme sideklasse til C: Antag, at x og y har samme syndrom. Lad igen H være paritetstjekmatricen til C. Da har vi fra Definition 3.5, at Hx T = Hy T, hvilket giver, at H(x y) T = 0, hvilket kun er muligt, når x y er et kodeord i C, hvilket medfører, da x y + C og y y + C, at x og y ligger i samme sideklasse. Da der findes q n k forskellige sideklasser til en given (n, k) kode C, findes der derved q n k forskellige syndromer til C. Dette er hele Fq n k. Man kan derved nøjes med at konstruere en opslagstabel, der indeholder syndromer associeret med deres sideklasseleder. Algoritme 3.3: Konstruktion af et syndromskema Input: En paritetstjekmatrix H for en q-ær (n, k)-lineær blokkode C Resultat: Et q n k 2-syndromskema for C Lad S være et tomt skema List alle elementer i F n q i en ikke-aftagende vægt sålænge der er < q n k rækker i S udfør Lad x være det næste element i listen Beregn syn (x) = Hx T hvis syn (x) ikke findes blandt elementerne i den første søjle i S så tilføj rækken [ syn (x) x ] til S returner S Algoritme 3.4: Afkodning ved brug af et syndromskema Input: Et syndromskema S og et modtaget ord y Resultat: Antaget afsendt ord Beregn syn (y) Find rækken [ syn (y) x ] returner y x 28
31 3.9. SYNDROMAFKODNING En syndromafkoder afbilder derved syndromer på fejl, hvilket giver anledning til deres navn. Eksempel 3.2 (Afkodning ved brug af et syndromskema) Lad C være defineret som i Eksempel 3.. Fra Definition 3.4 fås paritetstjekmatricen for C til [ ] 0 0 H =. 0 Syndromskemaet for C konstrueret med Algoritme 3.3 er givet ved Syndrom Sideklasseleder ( ) T 0 0 (0, 0, 0, 0) ( ) T 0 (0, 0, 0, ) ( ) T 0 (0, 0,, 0) ( ) T (0,, 0, 0) Lad igen m = (0,,, ) C være den afsendte besked, e = (0, 0,, 0) være fejlvektoren, og r = m+e = (0,, 0, ) være den modtagen besked. syn (r) = (, 0) T, hvilket ved brug af Algoritme 3.4 afkoder til (0,,, ) = m. På den anden side, hvis e = (, 0, 0, 0), så er r = (,,, ), hvilket afkoder til (,,, 0). Algoritme 3.2 og 3.4 er maksimalsandsynlighedsafkodere 2, idet de afkoder til det nærmeste kodeord. De kan dog begge laves om til en minimumafstandsafkoder 3 ; Algoritme 3.2 bliver en minimumafstandsafkoder ved at fjerne de sideklasser i skemaet, der kan repræsenteres af flere end én sideklasseleder af vægt < d, mens Algoritme 3.4 bliver en minimumafstandsafkoder ved at fjerne de indgange i skemaet, hvor flere end én sideklasseleder af vægt < d har samme syndrom. 2 Maksimalsandsynlighedsafkodning er defineret i Definition B.2. 3 Minimumafstandsafkodning er defineret i Definition B.. 29
32
33 KAPITEL 4 Varshamov-Gilbert-grænsen I dette kapitel vises Varshamov-Gilbert-grænsen, der giver eksistensen af visse lineære (n, k)-koder. Denne bruges efterfølgende til at vise eksistensen af asymptotisk gode lineære koder for binære symmetriske kanaler med lav fejlsandsynlighed. 4. Binomialfordeling Definition 4. (Indikatorvariabel) [Olo05, Definition 2.5.] Lad A være en hændelse. Den diskrete stokastiske variabel I A : S {0, }, defineret ved { når s A, I A (s) = 0 når s / A, kaldes en indikatorvariabel for A. Hvis A indtræffer med sandsynlighed p, har I A frekvensfunktionen { p for k =, p(k) = p for k = 0. Ved n uafhængige gentagelser af A, fås ved summation af I A erne en ny stokastisk variabel X, som har en såkaldt binomialfordeling, der defineres i det følgende. 3
34 KAPITEL 4. VARSHAMOV-GILBERT-GRÆNSEN Definition 4.2 (Binomialfordeling) [Olo05, Definition 2.5.2] Lad X være en stokastisk variabel med værdimængde {0,,..., n}. Hvis p(k) = ( ) n p k ( p) n k k er frekvensfunktionen for X, siges X at have en binomialfordeling, skrevet X bin(n, p). Hjælpesætning 4. [Olo05, Opgave.4.2 (b)] Lad n, k Z +, så gælder ( ) ( ) n n k = n. k k Bevis Per definition af binomialkoefficienten følger det, at ( ) n n! k = k k (n k)!k! kn(n )! = ((n ) (k ))!k(k )! (n )! = n ((n ) (k ))!(k )! ( ) n = n, k som skulle vises. Sætning 4.2 [Olo05, Udsagn 2.5.] Hvis X bin(n, p), så er E [X] = np og Var [X] = np( p). Bevis Lad X i bin(, p). Da er X i en indikatorvariabel, og derved E [X i ] = p. Fra [Olo05, Følgesætning 2.4.5] fås der, at Var [X i ] = E [ Xi 2 ] (E [Xi ]) 2 = p p 2 = p( p). Da X bin(n, p) tilsvarer n uafhængige udførsler af X i, det vil sige, X = n X i, fås der fra [Olo05, Udsagn og 3.6.4], at E [X] = np og Var [X] = np( p), hvilket skulle vises. 32
35 4.2. ENTROPI OG BINOMIALKOEFFICIENTER 4.2 Entropi og binomialkoefficienter Hjælpesætning 4.3 For p (0, ), q = p, λ [0, p], µ = λ, gælder, λn k=0 Bevis For ethvert x (0, ] gælder, λn x λn k=0 ( ) n p k q n k λ λn µ µn p λn q µn. k ( ) n p k q n k k hvoraf vi kan slutte, for x (0, ], λn k=0 λn k=0 k=0 ( n k ( n k ) x k p k q n k ) (px) k q n k = (q + px) n, ( ) n ( n p k q n k x λ (q + px)). k Vi ønsker at minimere ulighedens højre side. Vi finder minimum for ϕ(x) = x λ (q + px), x > 0 ved at finde nulpunkter for ϕ (x) og kontrollere. Dette giver os, ϕ(x) har minimum i x = λq µp. Da λq µp er opfyldt når λ p fås, λn k=0 ( ) ( n p k q n k ϕ k ( )) λq n ( = λ λ µ µ p λ q µ) n. µp Sætning 4.4 Lad H : [0, ] R være entropifunktionen givet ved For 0 λ /2 gælder det, at H(λ) = λ log 2 λ ( λ) log 2 ( λ). nλ k=0 ( ) n 2 nh(λ). k 33
36 KAPITEL 4. VARSHAMOV-GILBERT-GRÆNSEN Bevis Fra Hjælpesætning 4.3 haves λn k=0 Lad p = q = 2, og resultatet følger da ( ) n p k q n k λ λn µ µn p λn q µn. k λ λn µ µn = 2 n( λ log λ µ log µ) = 2 nh(λ). 4.3 Fanos ulighed Definition 4.3 (Markov-kæder) Lad X 0, X, X 2,... være diskrete stokastiske variable med udfaldsrummet S, hvorom det gælder Pr (X t+ = x t+ X 0 = x 0,..., X t = x t ) = Pr (X t+ = x t+ X t = x t ), hvor x 0,..., x t+ S, så kaldes {X t } en Markov-kæde. Sætning 4.5 (Fanos ulighed) [CT06, Sætning 2.0.] For et estimat ( ˆX så er X Y ˆX en Markov-kæde, hvor ˆX = g(y ) og med P e = Pr X ˆX ), gælder at H(P e ) + P e log( X ) H(X Y ). Bevis Definer en stokastisk variabel E, { hvis X E = ˆX, 0 hvis X = ˆX. Vi bruger kæderegelen for entropi til at udvide H(E, X Y ) på to forskellige måder: H(E, X Y ) = H(X Y ) + H(E X, Y ) = H(X Y ), eftersom E er en funktion af X og g(y ) som er kendte, hvor E derved er konstant og derfor H(E X, Y ) = 0, og H(E, X Y ) = H(E Y ) + H(X E, Y ). 34
37 4.4. VARSHAMOV-GILBERT-GRÆNSEN Da betingelser ikke kan øge entropien, har vi H(E Y ) H(E) = H(P e ). For H(X E, Y ) kan vi finde følgende øvre grænse: H(X E, Y ) = e E Pr (E = e, Y = y) H(X E = e, Y = y) y Y = Pr (E = e) Pr (Y = y E = e) H(X E = e, Y = y) e E y Y = ( P e )0 + P e Pr (Y = y E = ) H(X E =, Y = y) y Y (4.) P e log( X ), (4.2) hvor (4.) fås da, når E = 0, så er X konstant og derfor H(X E = 0, Y = y) = 0, og (4.2) fås ved at betragte den betingede stokastiske variabel X E =, Y = y som lige fordelt for hvert y og bemærke, at Tilsammen giver dette os (X E =, Y = y) = X. H(X Y ) = H(E, X Y ) = H(X Y ) + H(E X, Y ) H(P e ) + P e log( X ), hvilket er Fanos ulighed. 4.4 Varshamov-Gilbert-grænsen For at bevise Varshamov-Gilbert-grænsen, får vi brug for en teknik til at udvide lineære koder: Følgende hjælpesætning siger, at hvis man kan finde et ord x i passende Hamming-afstand d fra koden U, kan man udvide koden med alle linearkombinationer af x, samtidigt med, at minimumafstanden d bevares. Hjælpesætning 4.6 Lad U F n q være en lineær (n, k)-kode med minimumafstand mindst d. Hvis der eksisterer et x således, at d H (x, u) d for alle u U, er C = {λx + u λ F q, u U} (4.3) en lineær (n, k + ) kode med minimumafstand mindst d. 35
38 KAPITEL 4. VARSHAMOV-GILBERT-GRÆNSEN Bevis Ad C er en lineær (n, k + ) kode: Nok at vise lineære aflukningsegenskaber, da C F n q, F n q er et vektorrum og x forenet med en vilkårlig base for U udgør en base for C. C er lukket under addition, da λ x + u, λ 2 x + u 2 C = (λ + λ 2 )x + u + u 2 C, og C er lukket under multiplikation, da som skulle vises. λx + u C, f F q = fλx + fu C, Ad d H (λ x + u, λ 2 x + u 2 ) d: Vi deler op i to tilfælde; λ = λ 2 og λ λ 2. For λ = λ 2, har vi, For λ λ 2, har vi, d H (λ x + u, λ 2 x + u 2 ) = d H (u, u 2 ) d. d H (λ x + u, λ 2 x + u 2 ) = d H (λ x λ 2 x, u 2 u ) = d H (x, (λ λ 2 ) (u 2 u )) d. Nu er det nok at påvise eksistensen af et ord i passende afstand fra en lineær kode C, for at vise, at C kan udvides med endnu en dimension. Dette udnyttes i følgende sætning. Sætning 4.7 (Varshamov-Gilbert-grænsen) [JH04, Sætning.2.2] Der findes en q-ær lineær (n, k)-kode med minimumafstand mindst d, hvis ( ) ( ) n n + (q ) + + (q ) d q n k. (4.4) d Bevis Beviset er per induktion over k. Basistrin: For k = : Lad U være den lineære (n, 0) kode. Da U kun består af nulordet, er minimumafstanden for U mindst d. Der findes ( ) n (q ) i i forskellige ord i F n q med Hamming-afstand i til nulordet. Dermed findes der højst ( ) ( ) n n + (q ) + + (q ) d d 36
39 4.5. LINEÆR KANALKODNING forskellige ord i F n q med Hamming-afstand skarpt mindre end d til nulordet. Men der findes i alt q n ord i F n q, så hvis ( ) ( ) n n + (q ) + + (q ) d d < q n, (4.5) følger det, at der findes et ord i F n q med Hamming-afstand mindst d til nulordet og det følger nu af Hjælpesætning 4.6, at C = {λx + u λ F q, u U} er en lineær (n, ) kode, da x udgør en basis for C. Basistrinnet følger nu, da (4.4) er en skarpere ulighed end (4.5) for k =. Induktionstrin: For k = j: Per induktionsantagelse medfører (4.4), at der findes en lineær (m, k) kode med minimumafstand mindst d for alle k < j. Antag, at (4.4) er opfyldt for k = j. Så gælder den svagere ulighed ( ) ( )) n n q ( k + (q ) + + (q ) d < q n d også for k = j. Per induktionsantagelse følger det nu, at der findes en lineær (m, k ) kode U med minimumafstand mindst d for k = j. Men da uligheden er skarp findes et ord i F n q med afstand mindst d til hvert ord i U og det følger nu af Hjælpesætning 4.6, at der findes en lineær (m, k) kode med minimumafstand mindst d for k = j, som skulle vises. 4.5 Lineær kanalkodning Definition 4.4 (Binær symmetrisk kanal) En hukommelsesfri binær kanal, hvori fejl indtræffer med sandsynlighed p u- afhængigt af det transmitterede symbol, kaldes en binær symmetrisk kanal. Sætning 4.8 Givet en binær symmetrisk kanal med overgangssandsynlighed p < 4, så eksisterer en følge af lineære (n, k)-koder således, at i) fejlsandsynlighederne P (n) e går mod 0 for n gående mod uendelig, ii) kommunikationshastighederne R (n) går mod H(2p) for n gående mod uendelig. Bevis Ad i): Lad I i være indikatorvariable for fejl i det i-te modtagne ord. I, I 2,... er en følge af ensfordelte, uafhængige stokastiske variable. Vi bemærker, 37
40 KAPITEL 4. VARSHAMOV-GILBERT-GRÆNSEN E [I i ] = p og Var [I i ] = p( p). Lad S n betegne n I i. Vi har da, fra de store tals svage lov, Sætning 2.3, at ( ) lim Pr S n n n p ɛ = 0. Hvis koden er t-fejlrettende, for t = d 2 n(p + ɛ) går fejlsandsynligheden dermed mod 0. Når vi ser bort fra kommunikationshastigheden, er det klart, vi kan vælge d og k så dette er opfyldt. Ad ii): Da p < 4, kan vi vælge et ɛ så 2p + 3ɛ < 2. Vi vælger d n så d n = 2 n(p + ɛ). Så gælder d n2 (n) n(p + ɛ), og vi har fra i), at P e 0 for n. For ethvert ɛ findes et N så der for alle n > N gælder, at dn n < 2(p+ɛ)+ n < 2p + 3ɛ < 2. Af Sætning 4.4 følger det, når dn n < 2, at d n k=0 ( ) n 2 nh( dn n ), k hvilket udgør venstresiden i (4.4) fra Sætning 4.7. For n > N vælges k n så k n = n( H( dn n )). Af Sætning 4.7 følger det, at da 2 nh( dn n ) 2 n kn, så findes en lineær (n, k n )-kode med minimumafstand mindst d n. Ved indsættelse ses, at kommunikationshastighederne er ( n H R (n) = k ( ( n n H dnn )) n = = n hvoraf vi får lim n R (n) = H(2p), som skulle vises. ( 2 n(p+ɛ) n n )), 38
41 KAPITEL 5 Reed-Solomon-koder Vi vil nu introducere forskellige klasser af koder, med et særligt fokus på Reed-Solomon-koder. Reed-Solomon-koder er interessante, fordi de har bedst mulig fejlretningsegenskab, men også fordi, at de findes i forskellige varianter; eksempelvis findes der Reed-Solomon-koder, der er cykliske. Dette gør, at Reed-Solomon-koder har stor teoretisk og praktisk relevans. I praksis anvendes de blandt andet til fejlretning på CD er og DVD er og ved satellitkommunikation.[jh04, Kapitel 5]. I informationsteori bruges de ofte som grundlag for andre koder, enten i sig selv som en afbildning til en binær kode, eller sammen med andre koder til dannelse af konkatenerede koder. Centralt i dette kapitel er, at Reed-Solomon-koder danner grundlag for Justesen-koder konkatenerede koder, som udgør en klasse af konstruktive a- symptotisk gode koder. 5. MDS koder Sætning 5. (Singletongrænsen) [JH04, Sætning 5..] Lad C være en (n, k)-blokkode med minimumafstand d. Så gælder d n k +. 39
42 KAPITEL 5. REED-SOLOMON-KODER Bevis Lad q betegne størrelsen af alfabetet til C. C har derved q k elementer. Da C har minimumafstand d, kan d faste indgange slettes fra alle kodeord i C uden indflydelse på kodens størrelse. Dette giver en kode, der er en delmængde af F n d+ q, hvilket medfører, at q k q n d+, hvoraf resultatet følger. Definition 5. (MDS-kode) En given (n, k, d)-kode er en MDS-kode, hvis koden opfylder Sætning 5. med lighed. Da fejlretningsegenskaben for en kode er en funktion af minimumafstanden, får vi, at for givne n og k er MDS-koderne de koder, der har bedst fejlretningsegenskab. 5.2 Reed-Solomon-koder Definition 5.2 (Reed-Solomon-kode) [JH04, Definition 5..] Lad F q være et endeligt legeme med q elementer og x,..., x n være forskellige elementer i F q. Lad endvidere P q (k) være mængden af polynomier fra F q [x] af grad < k, givet ved P q (k) = {a k x k + + a x + a 0 a i F q }, k n q. En (n, k)-reed-solomon-kode defineres som C = {(f(x ), f(x 2 ),..., f(x n )) F n q : f P q (k)}. Et kodeord c C siges at være genereret af et polynomium f P q (k), hvis c = (f(x ), f(x 2 ),..., f(x n )). Jævnfør Definition 3.2 har en Reed-Solomon-kode en generatormatrix på formen x x 2 x n......, x k x k 2 x k n og fra Sætning 5.9 ved vi, at koden har en paritetstjekmatrix på formen x x 2 x n x 2 x 2 2 x 2 n (5.) x n k x2 n k xn n k MDS står for Maximum Distance Separable, hvilket kan oversættes til Optimal afstand. 40
43 5.2. REED-SOLOMON-KODER Idéen i Reed-Solomon-koder er således at bruge de data, som ønskes sendt over en støjfyldt kanal, som koefficienter i et (k )-grads polynomium. Polynomiet evalueres i n k forskellige, forudbestemte punkter og derefter sendes resultaterne af evalueringerne over kanalen. Så længe mindst k evalueringer når frem, ved vi fra lineær algebra og Lagrange-interpolation, at modtageren entydigt kan bestemme det oprindelige polynomium, det vil sige beskeden. Man kan også konstruere et polynomium, der giver beskeden ved evaluering i de første k af de n punkter. I det tilfælde, at ingen fejl er sket, kan beskeden læses direkte i de sendte data. Således kan man bytte beregningstid ved indkodning for beregningstid ved afkodning. En sådan kode kaldes systematisk. Idet mængden P q (k) udgør et vektorrum over F q af dimension k, er Reed- Solomon-koder lineære og dermed er enhver linearkombination af to vilkårlige kodeord også et kodeord. Sætning 5.2 En Reed-Solomon-kode er en MDS-kode. Bevis Lad C være en (n, k)-reed-solomon-kode. Fra Sætning 5. vides, at d n k +. Det er derfor nok at vise, at d n k +. Et polynomium f P q (k) kan højst have k nulpunkter, jævnfør Sætning C.3, således har kodeordet, som består af n forskellige evalueringer af f, mindst vægt n k +. Tilsammen giver dette, at d = n k +, dermed opfylder C Definition 5.. Sætning 5.3 Lad C være en (n, k)-reed-solomon-kode og r = c + e være et modtaget ord, hvor c er et kodeord genereret af f(x) og e er fejlen påført ved overførsel gennem en støjfyldt kanal. Antag, at w H (e) t = n k 2. Så findes Q 0, Q F q [x], hvor deg(q 0 ) l 0 := n t og deg(q ) l := n t (k ) således at Q(x, y) := Q 0 (x) + yq (x) F q [x, y]\{0}, opfylder, at Q(x i, r i ) = 0 for i =,..., n og f(x) = Q 0(x) Q (x). (5.2) Bevis Ad Q(x i, r i ) = 0: Bemærk, at Q har l l + koefficienter. Dette kan 4
44 KAPITEL 5. REED-SOLOMON-KODER vurderes nedadtil med n + per definition af t da n k n k l l + = n + + n (k ) n k = 2n 2 k + 2 2n (n k) k + = n +. Eksistensen af Q følger nu, da Q(x i, r i ) = 0; i =,..., n er et homogent lineært ligningssystem med n ligninger og l l + n + ubekendte. Ad (5.2): Da c = (f(x ),..., f(x n )), Q(x i, f(x i ) + e i ) = 0 og {e i = 0 : i =,..., n} n t, må Q(x, f(x)) have mindst n t rødder. Modsat kan Q(x, f(x)) højst have grad n t. Således må Q(x, f(x)) 0, det vil sige, 0 = Q 0 (x)+f(x)q (x) og derfor f(x) = Q 0(x) Q (x). Bemærk, at Q (x) 0, fordi Q 0 (x) + rq (x) har mindst n t rødder og derved deg(q) n t, og deg(q 0 ) n t, hvilket ikke kan gælde, hvis Q (x) = 0. Her er det værd at bemærke, at for r = c + e, w H (e) t så gælder ( Q(x, y) = Q 0 (x) + rq (x) = Q (x) y + Q ) 0(x) = Q (x)(y f(x)) = 0 Q (x) = Q (x i )(r i c i ) = Q (x i )e = 0, i =,..., n, og således må de w H (e) fejl, som optræder i r have indgange blandt Q s nulkomponenters indgange. Af samme grund kaldes Q for fejllokatorpolyno- 42
Elementær sandsynlighedsregning
Elementær sandsynlighedsregning Sandsynlighedsbegrebet Et udfaldsrum S er mængden af alle de mulige udfald af et eksperiment. En hændelse A er en delmængde af udfaldsrummet S. Et sandsynlighedsmål er en
Læs mereAffine rum. a 1 u 1 + a 2 u 2 + a 3 u 3 = a 1 u 1 + (1 a 1 )( u 2 + a 3. + a 3. u 3 ) 1 a 1. Da a 2
Affine rum I denne note behandles kun rum over R. Alt kan imidlertid gennemføres på samme måde over C eller ethvert andet legeme. Et underrum U R n er karakteriseret ved at det er en delmængde som er lukket
Læs mereElementær sandsynlighedsregning
Elementær sandsynlighedsregning Sandsynlighedsbegrebet Et udfaldsrum S er mængden af alle de mulige udfald af et eksperiment. En hændelse A er en delmængde af udfaldsrummet S. Den hændelse, der ikke indeholder
Læs mereFejlkorrigerende koder, secret sharing (og kryptografi)
Fejlkorrigerende koder, secret sharing (og kryptografi) Olav Geil Afdeling for Matematiske Fag Aalborg Universitet Møde for Matematiklærere i Viborg og Ringkøbing amter 7. november, 2006 Oversigt Fejlkorrigerende
Læs mereDefinition. Definitioner
Definition Landmålingens fejlteori Lektion Diskrete stokastiske variable En reel funktion defineret på et udfaldsrum (med sandsynlighedsfordeling) kaldes en stokastisk variabel. - kkb@math.aau.dk http://people.math.aau.dk/
Læs mereKursusindhold: X i : tilfældig værdi af ite eksperiment. Antag X i kun antager værdierne 1, 2,..., M.
Kursusindhold: Produkt og marked - matematiske og statistiske metoder Rasmus Waagepetersen Institut for Matematiske Fag Aalborg Universitet March 1, 2013 Sandsynlighedsregning og lagerstyring Normalfordelingen
Læs mereFejlkorligerende køder Fejlkorrigerende koder
Fejlkorligerende køder Fejlkorrigerende koder Denne note er skrevet med udgangspunkt i [, p 24-243, 249 Et videre studium kan eksempelvis tage udgangspunkt i [2 Eventuelle kommentarer kan sendes til olav@mathaaudk
Læs mereDefinition: Normalfordelingen. siges at være normalfordelt med middelværdi µ og varians σ 2, hvor µ og σ er reelle tal og σ > 0.
Landmålingens fejlteori Lektion 2 Transformation af stokastiske variable - kkb@math.aau.dk http://people.math.aau.dk/ kkb/undervisning/lf12 Institut for Matematiske Fag Aalborg Universitet Repetition:
Læs mereKursusindhold: Produkt og marked - matematiske og statistiske metoder. Monte Carlo
Kursusindhold: Produkt og marked - matematiske og statistiske metoder Rasmus Waagepetersen Institut for Matematiske Fag Aalborg Universitet Sandsynlighedsregning og lagerstyring Normalfordelingen og Monte
Læs mereLandmålingens fejlteori - Lektion 2 - Transformation af stokastiske variable
Landmålingens fejlteori Lektion 2 Transformation af stokastiske variable - kkb@math.aau.dk http://people.math.aau.dk/ kkb/undervisning/lf12 Institut for Matematiske Fag Aalborg Universitet 1/31 Repetition:
Læs mereFejlkorligerende køder Fejlkorrigerende koder
Fejlkorligerende køder Fejlkorrigerende koder Olav Geil Skal man sende en fødselsdagsgave til fætter Børge, så pakker man den godt ind i håb om, at kun indpakningen er beskadiget ved modtagelsen. Noget
Læs mereIteration af et endomorft kryptosystem. Substitutions-permutations-net (SPN) og inversion. Eksklusiv disjunktion og dens egenskaber
Produktsystemer, substitutions-permutations-net samt lineær og differentiel kryptoanalyse Kryptologi, fredag den 10. februar 2006 Nils Andersen (Stinson 3., afsnit 2.7 3.4 samt side 95) Produkt af kryptosystemer
Læs mereLandmålingens fejlteori - Lektion 2. Sandsynlighedsintervaller Estimation af µ Konfidensinterval for µ. Definition: Normalfordelingen
Landmålingens fejlteori Lektion Sandsynlighedsintervaller Estimation af µ Konfidensinterval for µ - rw@math.aau.dk Institut for Matematiske Fag Aalborg Universitet En stokastisk variabel er en variabel,
Læs mereINSTITUT FOR MATEMATISKE FAG c
INSTITUT FOR MATEMATISKE FAG c AALBORG UNIVERSITET FREDRIK BAJERS VEJ 7 G 9220 AALBORG ØST Tlf.: 96 35 89 27 URL: www.math.aau.dk Fax: 98 15 81 29 E-mail: bjh@math.aau.dk Dataanalyse Sandsynlighed og stokastiske
Læs mereKursusindhold: Produkt og marked - matematiske og statistiske metoder. Monte Carlo
Kursusindhold: Produkt og marked - matematiske og statistiske metoder Rasmus Waagepetersen Institut for Matematiske Fag Aalborg Universitet Sandsynlighedsregning og lagerstyring Normalfordelingen og Monte
Læs mere1/41. 2/41 Landmålingens fejlteori - Lektion 1 - Kontinuerte stokastiske variable
Landmålingens fejlteori - lidt om kurset Landmålingens fejlteori Lektion 1 Det matematiske fundament Kontinuerte stokastiske variable - rw@math.aau.dk Institut for Matematiske Fag Aalborg Universitet Kursusholder
Læs mereDenne rapport er udarbejdet i L A TEX
Institut for Matematiske Fag Fredrik Bajers Vej 7G Telefon 99 40 99 40 Fax 98 5 8 29 www.math.aau.dk Titel: Kommunikation over støjfyldte kanaler Projektperiode: P4, forårssemesteret 20 Projektgruppe:
Læs mereMatematik YY Foråret Kapitel 1. Grupper og restklasseringe.
Matematik YY Foråret 2004 Elementær talteori Søren Jøndrup og Jørn Olsson Kapitel 1. Grupper og restklasseringe. Vi vil i første omgang betragte forskellige typer ligninger og søge efter heltalsløsninger
Læs mere3.1 Baser og dimension
SEKTION 3 BASER OG DIMENSION 3 Baser og dimension Definition 3 Lad V være et F-vektorrum Hvis V = {0}, så har V dimension 0 2 Hvis V har en basis bestående af n vektorer, så har V dimension n 3 Hvis V
Læs mereChapter 3. Modulpakke 3: Egenværdier. 3.1 Indledning
Chapter 3 Modulpakke 3: Egenværdier 3.1 Indledning En vektor v har som bekendt både størrelse og retning. Hvis man ganger vektoren fra højre på en kvadratisk matrix A bliver resultatet en ny vektor. Hvis
Læs mereGult Foredrag Om Net
Gult Foredrag Om Net University of Aarhus Århus 8 th March, 2010 Introduktion I: Fra Metriske til Topologiske Rum Et metrisk rum er en mængde udstyret med en afstandsfunktion. Afstandsfunktionen bruges
Læs mereMat H /05 Note 2 10/11-04 Gerd Grubb
Mat H 1 2004/05 Note 2 10/11-04 Gerd Grubb Nødvendige og tilstrækkelige betingelser for ekstremum, konkave og konvekse funktioner. Fremstillingen i Kapitel 13.1 2 af Sydsæters bog [MA1] suppleres her med
Læs meret a l e n t c a m p d k Matematiske Metoder Anders Friis Anne Ryelund 25. oktober 2014 Slide 1/42
Slide 1/42 Hvad er matematik? 1) Den matematiske metode 2) Hvad vil det sige at bevise noget? 3) Hvor begynder det hele? 4) Hvordan vælger man et sæt aksiomer? Slide 2/42 Indhold 1 2 3 4 Slide 3/42 Mængder
Læs mereRegneregler for middelværdier M(X+Y) = M X +M Y. Spredning varians og standardafvigelse. 1 n VAR(X) Y = a + bx VAR(Y) = VAR(a+bX) = b²var(x)
Formelsamlingen 1 Regneregler for middelværdier M(a + bx) a + bm X M(X+Y) M X +M Y Spredning varians og standardafvigelse VAR(X) 1 n n i1 ( X i - M x ) 2 Y a + bx VAR(Y) VAR(a+bX) b²var(x) 2 Kovariansen
Læs mereHilbert rum. Chapter 3. 3.1 Indre produkt rum
Chapter 3 Hilbert rum 3.1 Indre produkt rum I det følgende skal vi gøre brug af komplekse såvel som reelle vektorrum. Idet L betegner enten R eller C minder vi om, at et vektorrum over L er en mængde E
Læs mereProdukt og marked - matematiske og statistiske metoder
Produkt og marked - matematiske og statistiske metoder Rasmus Waagepetersen Institut for Matematiske Fag Aalborg Universitet February 19, 2016 1/26 Kursusindhold: Sandsynlighedsregning og lagerstyring
Læs mereMatricer og lineære ligningssystemer
Matricer og lineære ligningssystemer Grete Ridder Ebbesen Virum Gymnasium Indhold 1 Matricer 11 Grundlæggende begreber 1 Regning med matricer 3 13 Kvadratiske matricer og determinant 9 14 Invers matrix
Læs mereStatistiske modeller
Statistiske modeller Statistisk model Datamatrice Variabelmatrice Hændelse Sandsynligheder Data Statistiske modeller indeholder: Variable Hændelser defineret ved mulige variabel værdier Sandsynligheder
Læs mereKvantitative Metoder 1 - Forår 2007
Dagens program Kapitel 8.7, 8.8 og 8.10 Momenter af gennemsnit og andele kap. 8.7 Eksempel med simulationer Den centrale grænseværdisætning (Central Limit Theorem) kap. 8.8 Simulationer Normalfordelte
Læs mere[FUNKTIONER] Hvornår kan vi kalde en sammenhæng en funktion, og hvilke egenskaber har disse i givet fald. Vers. 2.0
MaB Sct. Knud Gymnasium, Henrik S. Hansen % [FUNKTIONER] Hvornår kan vi kalde en sammenhæng en funktion, og hvilke egenskaber har disse i givet fald. Vers..0 Indhold Funktioner... Entydighed... Injektiv...
Læs mereBilledbehandling og mønstergenkendelse: Lidt elementær statistik (version 1)
; C ED 6 > Billedbehandling og mønstergenkendelse Lidt elementær statistik (version 1) Klaus Hansen 24 september 2003 1 Elementære empiriske mål Hvis vi har observationer kan vi udregne gennemsnit og varians
Læs mereKalkulus 2 - Grænseovergange, Kontinuitet og Følger
Kalkulus - Grænseovergange, Kontinuitet og Følger Mads Friis 8. januar 05 Indhold Grundlæggende uligheder Grænseovergange 3 3 Kontinuitet 9 4 Følger 0 5 Perspektivering 4 Grundlæggende uligheder Sætning
Læs mereSandsynlighedsregning Oversigt over begreber og fordelinger
Tue Tjur Marts 2007 Sandsynlighedsregning Oversigt over begreber og fordelinger Stat. MØK 2. år Kapitel : Sandsynlighedsfordelinger og stokastiske variable En sandsynlighedsfunktion på en mængde E (udfaldsrummet)
Læs mereTaylors formel. Kapitel Klassiske sætninger i en dimension
Kapitel 3 Taylors formel 3.1 Klassiske sætninger i en dimension Sætning 3.1 (Rolles sætning) Lad f : [a, b] R være kontinuert, og antag at f er differentiabel i det åbne interval (a, b). Hvis f (a) = f
Læs mereMM501 forelæsningsslides
MM501 forelæsningsslides uge 40, 2010 Produceret af Hans J. Munkholm bearbejdet af JC 1 Separabel 1. ordens differentialligning En generel 1. ordens differentialligning har formen s.445-8 dx Eksempler
Læs mereFejlkorligerende køder Fejlkorrigerende koder
Fejlkorligerende køder Fejlkorrigerende koder Olav Geil Skal man sende en fødselsdagsgave til fætter Børge, så pakker man den godt ind i håb om, at kun indpakningen er beskadiget ved modtagelsen. Noget
Læs mereSusanne Ditlevsen Institut for Matematiske Fag susanne
Statistik og Sandsynlighedsregning 1 Repetition MS kapitel 1 3 Susanne Ditlevsen Institut for Matematiske Fag Email: susanne@math.ku.dk http://math.ku.dk/ susanne Hvad er sandsynlighed? - beskriver systemer
Læs mereSandsynlighedsregning 4. forelæsning Bo Friis Nielsen
Sandsynlighedsregning 4. forelæsning Bo Friis Nielsen Anvendt Matematik og Computer Science Danmarks Tekniske Universitet 2800 Kgs. Lyngby Danmark Email: bfni@dtu.dk Dagens emner: Afsnit 3.3 og 3.4 Varians/standardafvigelse
Læs mereEksamen 2014/2015 Mål- og integralteori
Eksamen 4/5 Mål- og integralteori Københavns Universitet Institut for Matematiske Fag Formalia Eksamensopgaven består af 4 opgaver med ialt spørgsmål Ved bedømmelsen indgår de spørgsmål med samme vægt
Læs mereKursusindhold: X i : tilfældig værdi af ite eksperiment. Antag X i kun antager værdierne 1, 2,..., M.
Kursusindhold: Produkt og marked - matematiske og statistiske metoder Rasmus Waagepetersen Institut for Matematiske Fag Aalborg Universitet February 9, 2015 Sandsynlighedsregning og lagerstyring Normalfordelingen
Læs mereTidligere Eksamensopgaver MM505 Lineær Algebra
Institut for Matematik og Datalogi Syddansk Universitet Tidligere Eksamensopgaver MM55 Lineær Algebra Indhold Typisk forside.................. 2 Juni 27.................... 3 Oktober 27..................
Læs mereSandsynlighedsregning 4. forelæsning Bo Friis Nielsen
Sandsynlighedsregning 4. forelæsning Bo Friis Nielsen Anvendt Matematik og Computer Science Danmarks Tekniske Universitet 2800 Kgs. Lyngby Danmark Email: bfni@dtu.dk Dagens emner: Afsnit 3.3 og 3.4 Varians/standardafvigelse
Læs mereDifferentialregning. Ib Michelsen
Differentialregning Ib Michelsen Ikast 2012 Forsidebilledet Tredjegradspolynomium i blåt med rød tangent Version: 0.02 (18-09-12) Denne side er (~ 2) Indholdsfortegnelse Introduktion...5 Definition af
Læs mereSandsynlighedsregning 4. forelæsning Bo Friis Nielsen
Sandsynlighedsregning 4. forelæsning Bo Friis Nielsen Anvendt Matematik og Computer Science Danmarks Tekniske Universitet 2800 Kgs. Lyngby Danmark Email: bfni@dtu.dk Dagens emner: Afsnit 3.3 og 3.4 Varians/standardafvigelse
Læs mereMatematisk modellering og numeriske metoder. Lektion 16
Matematisk modellering og numeriske metoder Lektion 16 Morten Grud Rasmussen 6. november, 2013 1 Interpolation [Bogens afsnit 19.3 side 805] 1.1 Interpolationspolynomier Enhver kontinuert funktion f på
Læs mereOversigt. Kursus Introduktion til Statistik. Forelæsning 2: Kapitel 4, Diskrete fordelinger. Per Bruun Brockhoff. Stokastiske Variable
Kursus 02402 Introduktion til Statistik Forelæsning 2: Kapitel 4, Diskrete fordelinger Per Bruun Brockhoff DTU Compute, Statistik og Dataanalyse Bygning 324, Rum 220 Danmarks Tekniske Universitet 2800
Læs mere4 Oversigt over kapitel 4
IMM, 2002-09-14 Poul Thyregod 4 Oversigt over kapitel 4 Introduktion Hidtil har vi beskæftiget os med data. Når data repræsenterer gentagne observationer (i bred forstand) af et fænomen, kan det være bekvemt
Læs mereStatistik og Sandsynlighedsregning 2
Statistik og Sandsynlighedsregning 2 Uafhængighed og reelle transformationer Helle Sørensen Uge 8, mandag SaSt2 (Uge 8, mandag) Uafh. og relle transf. 1 / 16 Program I dag: Uafhængighed af kontinuerte
Læs mereStatistik Lektion 3. Simultan fordelte stokastiske variable Kontinuerte stokastiske variable Normalfordelingen
Statistik Lektion 3 Simultan fordelte stokastiske variable Kontinuerte stokastiske variable Normalfordelingen Repetition En stokastisk variabel er en funktion defineret på S (udfaldsrummet, der antager
Læs mereLineære normale modeller (1) udkast. 1 Flerdimensionale stokastiske variable
E6 efterår 999 Notat 8 Jørgen Larsen 22. november 999 Lineære normale modeller ) udkast Ved hjælp af lineær algebra kan man formulere og analysere de såkaldte lineære normale modeller meget overskueligt
Læs mereForelæsning 2: Kapitel 4, Diskrete fordelinger
Kursus 02402 Introduktion til Statistik Forelæsning 2: Kapitel 4, Diskrete fordelinger Per Bruun Brockhoff DTU Compute, Statistik og Dataanalyse Bygning 324, Rum 220 Danmarks Tekniske Universitet 2800
Læs mereTeoretisk Statistik, 9 marts nb. Det forventes ikke, at alt materialet dækkes d. 9. marts.
Teoretisk Statistik, 9 marts 2005 Empiriske analoger (Kap. 3.7) Normalfordelingen (Kap. 3.12) Opsamling på Kap. 3 nb. Det forventes ikke, at alt materialet dækkes d. 9. marts. 1 Empiriske analoger Betragt
Læs mereDesignMat Uge 1 Gensyn med forårets stof
DesignMat Uge 1 Gensyn med forårets stof Preben Alsholm Efterår 2010 1 Hovedpunkter fra forårets pensum 11 Taylorpolynomium Taylorpolynomium Det n te Taylorpolynomium for f med udviklingspunkt x 0 : P
Læs mereModul 2: Sandsynlighedsmodeller og diskrete stokastiske variable
Forskningsenheden for Statistik ST501: Science Statistik Bent Jørgensen Modul 2: Sandsynlighedsmodeller og diskrete stokastiske variable 2.1 Sandsynlighedsbegrebet............................... 1 2.1.1
Læs mereNote om Monte Carlo metoden
Note om Monte Carlo metoden Kasper K. Berthelsen Version 1.2 25. marts 2014 1 Introduktion Betegnelsen Monte Carlo dækker over en lang række metoder. Fælles for disse metoder er, at de anvendes til at
Læs mereSandsynlighedsregning 11. forelæsning Bo Friis Nielsen
Sandsynlighedsregning 11. forelæsning Bo Friis Nielsen Matematik og Computer Science Danmarks Tekniske Universitet 28 Kgs. Lyngby Danmark Email: bfni@imm.dtu.dk Dagens nye emner afsnit 6.3 (og 6.4 Betingede
Læs mereLandmålingens fejlteori - Repetition - Kontinuerte stokastiske variable - Lektion 3
Landmålingens fejlteori Repetition - Kontinuerte stokastiske variable Lektion 4 - kkb@math.aau.dk http://people.math.aau.dk/ kkb/undervisning/lf10 Institut for Matematiske Fag Aalborg Universitet 29. april
Læs mereMM501/MM503 forelæsningsslides
MM501/MM503 forelæsningsslides uge 50, 2009 Produceret af Hans J. Munkholm 1 Separabel 1. ordens differentialligning En generel 1. ordens differentialligning har formen dx Eksempler = et udtryk, der indeholder
Læs mere1 Vektorrum. MATEMATIK 3 LINEÆR ALGEBRA M. ANV. 4. oktober Miniprojekt: Lineær algebra på polynomier
MATEMATIK 3 LINEÆR ALGEBRA M. ANV. 4. oktober 2017 Miniprojekt: Lineær algebra på polynomier Grupperne forventes at regne de små opgaver i afsnittene 1 5 i løbet af de første 4 halve dage. Dernæst tilføjes
Læs mereAlgebra - Teori og problemløsning
Algebra - Teori og problemløsning, januar 05, Kirsten Rosenkilde. Algebra - Teori og problemløsning Kapitel -3 giver en grundlæggende introduktion til at omskrive udtryk, faktorisere og løse ligningssystemer.
Læs mereKursusgang 3 Matrixalgebra Repetition
Kursusgang 3 Repetition - froberg@mathaaudk http://peoplemathaaudk/ froberg/oecon3 Institut for Matematiske Fag Aalborg Universitet 12 september 2008 1/12 Lineære ligningssystemer Et lineært ligningssystem
Læs mereDesignMat. Preben Alsholm. September Egenværdier og Egenvektorer. Preben Alsholm. Egenværdier og Egenvektorer
DesignMat September 2008 fortsat Eksempel : et Eksempel 4 () af I II uden I Lad V være et vektorrum over L (enten R eller C). fortsat Eksempel : et Eksempel 4 () af I II uden I Lad V være et vektorrum
Læs mereTeoretisk Statistik, 16. februar Generel teori,repetition
1 Uge 8 Teoretisk Statistik, 16. februar 2004 1. Generel teori, repetition 2. Diskret udfaldsrum punktssh. 3. Fordelingsfunktionen 4. Tæthed 5. Transformationer 6. Diskrete vs. Kontinuerte stokastiske
Læs mereMatematisk modellering og numeriske metoder. Lektion 4
Matematisk modellering og numeriske metoder Lektion 4 Morten Grud Rasmussen 17. september, 013 1 Homogene andenordens lineære ODE er [Bogens afsnit.1] 1.1 Linearitetsprincippet Vi så sidste gang, at førsteordens
Læs mereBesvarelser til Calculus og Lineær Algebra Globale Forretningssystemer Eksamen - 8. Juni 2015
Besvarelser til Calculus og Lineær Algebra Globale Forretningssystemer Eksamen - 8. Juni 05 Mikkel Findinge Bemærk, at der kan være sneget sig fejl ind. Kontakt mig endelig, hvis du skulle falde over en
Læs mereMere om differentiabilitet
Mere om differentiabilitet En uddybning af side 57 i Spor - Komplekse tal Kompleks funktionsteori er et af de vigtigste emner i matematikken og samtidig et af de smukkeste I bogen har vi primært beskæftiget
Læs mereMatematik. 1 Matematiske symboler. Hayati Balo,AAMS. August, 2014
Matematik Hayati Balo,AAMS August, 2014 1 Matematiske symboler For at udtrykke de verbale udsagn matematisk korrekt, så det bliver lettere og hurtigere at skrive, indføres en række matematiske symboler.
Læs mereKvantitative Metoder 1 - Forår 2007
Dagens program Kapitel 4: Diskrete fordelinger Afsnit 4.1-4.2, 4.7: Bernoulli fordeling Binomial fordeling Store Tals Lov (Laws of Averages, Laws of Large Numbers) 1 Bernoulli fordeling Kvantitative Metoder
Læs mereEn martingalversion af CLT
Kapitel 11 En martingalversion af CLT Når man har vænnet sig til den centrale grænseværdisætning for uafhængige, identisk fordelte summander, plejer næste skridt at være at se på summer af stokastiske
Læs mereTØ-opgaver til uge 46
TØ-opgaver til uge 46 Først laver vi en liste over de ligninger med mere i [ITP], der skal bruges: [1]: Ligning (2.5) på side 4. [2]: Sætning 3.1, ligning (3.3) på side 7. [3]: Sætning 3.1, ligning (3.4)
Læs mereLandmålingens fejlteori Lektion 1 Det matematiske fundament Kontinuerte stokastiske variable
Landmålingens fejlteori Lektion 1 Det matematiske fundament Kontinuerte stokastiske variable - rw@math.aau.dk Institut for Matematiske Fag Aalborg Universitet 1/41 Landmålingens fejlteori - lidt om kurset
Læs mere13.1 Matrixpotenser og den spektrale radius
SEKTION 3 MATRIXPOTENSER OG DEN SPEKTRALE RADIUS 3 Matrixpotenser og den spektrale radius Cayley-Hamilton-sætningen kan anvendes til at beregne matrixpotenser: Proposition 3 (Lasalles algoritme) Lad A
Læs mereMatroider Majbritt Felleki
18 Rejselegatsformidlingsaktivitet Matroider Majbritt Felleki Den amerikanske matematiker Hassler Whitney fandt i 1935 sammenhænge mellem sætninger i grafteori og sætninger i lineær algebra. Dette førte
Læs mereRepetition. Diskrete stokastiske variable. Kontinuerte stokastiske variable
Normal fordelingen Normal fordelingen Egenskaber ved normalfordelingen Standard normal fordelingen Find sandsynligheder ud fra tabel Transformation af normal fordelte variable Invers transformation Repetition
Læs mereK 7 - og K 4,4 -minors i grafer
Aalborg Universitet Det Teknisk-Naturvidenskabelige Fakultet Institut for Matematiske Fag K 7 - og K 4,4 -minors i grafer Aalborg Universitet Det Teknisk-Naturvidenskabelige Fakultet Institut for Matematiske
Læs mere5.3 Konvergens i sandsynlighed Konvergens i sandsynlighed 55. Hvis vi regner den karakteristiske funktion for X, v ud i argumentet 1, fås
5.3. Konvergens i sandsynlighed 55 BEVIS: Lad φ 1, φ 2,... og φ være de karakteristiske funktioner for X 1, X 2,... og X. Hvis vi regner den karakteristiske funktion for X, v ud i argumentet 1, fås φ X,v
Læs mereProdukt og marked - matematiske og statistiske metoder
Produkt og marked - matematiske og statistiske metoder Rasmus Waagepetersen Institut for Matematiske Fag Aalborg Universitet February 11, 2016 1/22 Kursusindhold: Sandsynlighedsregning og lagerstyring
Læs mereNanostatistik: Stokastisk variabel
Nanostatistik: Stokastisk variabel JLJ Nanostatistik: Stokastisk variabel p. 1/29 Repetition Ω: udfaldsrummet: alle de mulige udfald af et experiment P(A): ss for hændelsen A = frekvens i uafhængige gentagelser
Læs mereKvantitative Metoder 1 - Efterår 2006. Dagens program
Dagens program Afsnit 2.4-2.5 Bayes sætning Uafhængige stokastiske variable - Simultane fordelinger - Marginale fordelinger - Betingede fordelinger Uafhængige hændelser - Indikatorvariable Afledte stokastiske
Læs merePolynomier. Indhold. Georg Mohr-Konkurrencen. 1 Polynomier 2. 2 Polynomiumsdivision 4. 3 Algebraens fundamentalsætning og rødder 6
Indhold 1 Polynomier 2 Polynomier 2 Polynomiumsdivision 4 3 Algebraens fundamentalsætning og rødder 6 4 Koefficienter 8 5 Polynomier med heltallige koefficienter 9 6 Mere om polynomier med heltallige koefficienter
Læs mereMomenter som deskriptive størrelser. Hvad vi mangler fra onsdag. Momenter for sandsynlighedsmål
Hvad vi mangler fra onsdag Momenter som deskriptive størrelser Sandsynlighedsmål er komplicerede objekter de tildeler numeriske værdier til alle hændelser i en σ-algebra. Vi har behov for simplere, deskriptive
Læs mereHvad vi mangler fra onsdag. Vi starter med at gennemgå slides fra onsdag.
Hvad vi mangler fra onsdag Vi starter med at gennemgå slides 34-38 fra onsdag. Slide 1/17 Niels Richard Hansen MI forelæsninger 6. December, 2013 Momenter som deskriptive størrelser Sandsynlighedsmål er
Læs mereModule 1: Lineære modeller og lineær algebra
Module : Lineære modeller og lineær algebra. Lineære normale modeller og lineær algebra......2 Lineær algebra...................... 6.2. Vektorer i R n................... 6.2.2 Regneregler for vektorrum...........
Læs mereGamle eksamensopgaver (MASO)
EO 1 Gamle eksamensopgaver (MASO) Opgave 1. (Vinteren 1990 91, opgave 1) a) Vis, at rækken er divergent. b) Vis, at rækken er konvergent. Opgave 2. (Vinteren 1990 91, opgave 2) Gør rede for at ligningssystemet
Læs mereVi indleder med at minde om at ( a) = a gælder i enhver gruppe.
0.1: Ringe 1. Definition: Ring En algebraisk struktur (R, +,, 0,, 1) kaldes en ring hvis (R, +,, 0) er en kommutativ gruppe og (R,, 1) er en monoide og hvis er såvel venstre som højredistributiv mht +.
Læs mereMatematik og FormLineære ligningssystemer
Matematik og Form Lineære ligningssystemer Institut for Matematiske Fag Aalborg Universitet 2014 Ligningssystemer og matricer Til et ligningssystem svarer der en totalmatrix [A b] bestående af koefficientmatrix
Læs mereLineær Algebra F08, MØ
Lineær Algebra F08, MØ Vejledende besvarelser af udvalgte opgaver fra Ugeseddel 3 og 4 Ansvarsfraskrivelse: Den følgende vejledning er kun vejledende. Opgaverne kommer i vilkårlig rækkefølge. Visse steder
Læs mereProgram. Statistik og Sandsynlighedsregning. Eksempler. Sandsynlighedstæthed og sandsynlighedsmål
Program Statistik og Sandsynlighedsregning Sandsynlighedstætheder og kontinuerte fordelinger på R Varians og middelværdi Normalfordelingen Susanne Ditlevsen Uge 48, tirsdag Tætheder og fordelingsfunktioner
Læs mereπ er irrationel Frank Nasser 10. december 2011
π er irrationel Frank Nasser 10. december 2011 2008-2011. Dette dokument må kun anvendes til undervisning i klasser som abonnerer på MatBog.dk. Se yderligere betingelser for brug her. Indhold 1 Introduktion
Læs mereLineær Algebra - Beviser
Lineær Algebra - Beviser Mads Friis 8 oktober 213 1 Lineære afbildninger Jeg vil i denne note forsøge at give et indblik i, hvor kraftfuldt et værktøj matrix-algebra kan være i analyse af lineære funktioner
Læs mereLineære 1. ordens differentialligningssystemer
enote enote Lineære ordens differentialligningssystemer Denne enote beskriver ordens differentialligningssystemer og viser, hvordan de kan løses enoten er i forlængelse af enote, der beskriver lineære
Læs mereI n f o r m a t i o n s - & k o d n i n g s t e o r i
& I n f o r m a t i o n s - & k o d n i n g s t e o r i p å l i d e l i g k o m m u n i k a t i o n o v e r s t ø j f y l d t e k a n a l e r Anders Ellern Bilgrau Peter Enemark Lund Katrine Olsen Inge
Læs mereLad os som eksempel se på samtidigt kast med en terning og en mønt:
SANDSYNLIGHEDSREGNING Stokastisk eksperiment Et stokastisk eksperiment er et eksperiment, hvor vi fornuftigvis ikke på forhånd kan have en formodning om resultatet af eksperimentet Til gengæld kan vi prøve
Læs mereLøsning til eksamen 16/
1 IMM - DTU 245 Probability 24-5-11 BFN/bfn Løsning til eksamen 16/12 23 Spørgsmål 1) 2 44% Man benytter formlen for skalering og positionsskift i forbindelse med varians og standardafvigelse, samt formlen
Læs mereVektorrum. enote Generalisering af begrebet vektor
enote 7 1 enote 7 Vektorrum I denne enote opstilles en generel teori for mængder, for hvilke der er defineret addition og multiplikation med skalar, og som opfylder de samme regneregler som geometriske
Læs mereBinomial fordeling. n f (x) = p x (1 p) n x. x = 0, 1, 2,...,n = x. x x!(n x)! Eksempler. Middelværdi np og varians np(1 p). 2/
Program: 1. Repetition af vigtige sandsynlighedsfordelinger: binomial, (Poisson,) normal (og χ 2 ). 2. Populationer og stikprøver 3. Opsummering af data vha. deskriptive størrelser og grafer. 1/29 Binomial
Læs mereGrundlæggende Matematik
Grundlæggende Matematik Hayati Balo, AAMS August 2012 1. Matematiske symboler For at udtrykke de verbale udsagn matematisk korrekt, så det bliver lettere og hurtigere at skrive, indføres en række matematiske
Læs mereMatematisk modellering og numeriske metoder. Lektion 5
Matematisk modellering og numeriske metoder Lektion 5 Morten Grud Rasmussen 19. september, 2013 1 Euler-Cauchy-ligninger [Bogens afsnit 2.5, side 71] 1.1 De tre typer af Euler-Cauchy-ligninger Efter at
Læs mereMatematik for økonomer 3. semester
Matematik for økonomer 3. semester cand.oecon. studiet, 3. semester Planchesæt 2 - Forelæsning 3 Esben Høg Aalborg Universitet 10. september 2009 Institut for Matematiske Fag Aalborg Universitet Esben
Læs mereqwertyuiopåasdfghjklæøzxcvbnmqw ertyuiopåasdfghjklæøzxcvbnmqwert yuiopåasdfghjklæøzxcvbnmqwertyui Polynomier opåasdfghjklæøzxcvbnmqwertyuiopå
qwertyuiopåasdfghjklæøzxcvbnmqw ertyuiopåasdfghjklæøzxcvbnmqwert yuiopåasdfghjklæøzxcvbnmqwertyui Polynomier opåasdfghjklæøzxcvbnmqwertyuiopå Kort gennemgang af polynomier og deres egenskaber. asdfghjklæøzxcvbnmqwertyuiopåasd
Læs mere