Pålidelig kommunikation over støjfyldte kanaler

Pålidelig kommunikation over støjfyldte kanaler Gruppe G3-2 Arild Martin Møller Haugstad Lars Holm Jensen Thanh Dong Nguyen Robert Jørgensgaard Olesen Willard Þór Rafnsson

Institut for matematiske fag Aalborg Universitet Titel: Pålidelig kommunikation over støjfyldte kanaler Emne: Kodnings- og informationsteori Projectperiode: MAT2, forår 2007 Projektgruppe: G3-2 Gruppemedlemmer: Arild Martin Møller Haugstad Lars Holm Jensen Thanh Dong Nguyen Robert Jørgensgaard Olesen Willard Þór Rafnsson Vejleder: Christian Thommesen Kopier: 8 Sider: 89 Færdiggjort: 25. Maj 2007 Synopsis: Ved kommunikation ved hjælp af kodeord over en støjfyldt kanal risikeres det, at information går tabt, idet der introduceres fejl. Ved at tilføje redundans til kodeordene, kan man med stor sandsynlighed opdage og korrigere et begrænset antal fejl. Redundans gør desværre kommunikationshastigheden lavere. Vi viser i kanalkodningssætningen, at alle kommunikationshastigheder op til kanalkapaciteten er opnåelige, med en fejlsandsynlighed vilkårlig tæt på nul for lange tilfældige koder. Da tilfældige koder ikke er konstruktive, introduceres klassen af lineære koder. Ved hjælp af Varshamov- Gilbert-grænsen vises det, at under forudsætning af passende lav overgangssandsynlighed kan kommunikation foregå ved hjælp af lineære koder, med fejlsandsynlighed vilkårligt tæt på nul for lange koder. Reed-Solomon-koder har den højest mulige fejlkorrigeringsevne for lineære koder. Reed-Solomon-koder er i sig selv uegnede til binære kanaler, da kodelængden altid er mindre end kodealfabetets størrelse. Reed-Solomonkoder bruges derfor i konkatenerede koder, og et eksempel er Justesenkoder, der ovenikøbet er konstruktive og asymptotisk gode. Det følger af den kombinerede kildeog kanalkodningssætning, at det er ligeså effektivt at separere kilde- og kanalkodning som at kombinere disse.

Arild Martin Møller Haugstad Lars Holm Jensen Thanh Dong Nguyen Robert Jørgensgaard Olesen Willard Þór Rafnsson 2

Indhold Indhold 3 Introduktion 5. Stokastiske variable........................ 5.2 Kilde................................ 6.3 Blokkoder............................. 6.4 Kommunikationshastighed.................... 6.5 Indkoder og afkoder....................... 6.6 Diskret hukommelsesfri kanal.................. 7.7 Motivation............................. 7 2 Kanalkodningssætningen 9 2. Entropifunktionen........................ 9 2.2 Betinget entropi.......................... 0 2.3 Relativ entropi og gensidig information............. 0 2.4 Chebyshevs ulighed........................ 2 2.5 De store tals lov......................... 3 2.6 Kanalkapacitet.......................... 4 2.7 Indbyrdes typiske følger..................... 5 2.8 Asymptotisk ækvipartitionsprincip (AEP)........... 6 2.9 Kanalkodningssætningen..................... 9 3 Klassen af lineære koder 23 3. Lineære koder........................... 23 3.2 Generatormatrix......................... 23 3.3 Paritetstjekmatrix........................ 24 3.4 Syndrom.............................. 24 3

INDHOLD 3.5 Hamming-afstand......................... 25 3.6 Fejlretningsevne for lineære koder................ 25 3.7 Sideklasse til en lineær kode................... 26 3.8 Standardskema.......................... 26 3.9 Syndromafkodning........................ 27 4 Varshamov-Gilbert-grænsen 3 4. Binomialfordeling......................... 3 4.2 Entropi og binomialkoefficienter................. 33 4.3 Fanos ulighed........................... 34 4.4 Varshamov-Gilbert-grænsen................... 35 4.5 Lineær kanalkodning....................... 37 5 Reed-Solomon-koder 39 5. MDS koder............................ 39 5.2 Reed-Solomon-koder....................... 40 5.3 Cykliske koder.......................... 44 5.4 Generatorpolynomium for cykliske koder............ 45 5.5 Generatormatrix for cykliske koder............... 47 5.6 Vandermonde-matrix....................... 48 5.7 Minimumafstand for cykliske koder............... 49 5.8 Cykliske Reed-Solomon-koder.................. 5 5.9 Justesen-koder.......................... 52 6 Kombineret kilde- og kanalkodning 59 6. Kildekodning........................... 59 6.2 Præfikskode............................ 60 6.3 Krafts ulighed........................... 60 6.4 McMillans sætning........................ 62 6.5 Huffman-kodning......................... 64 6.6 Jensens ulighed.......................... 68 6.7 Gibbs ulighed........................... 70 6.8 Kildekodningssætningen..................... 7 6.9 Entropihastighed......................... 73 6.0 Kilde-kanalkodningssætningen.................. 73 A Entropi 77 B Afkodning 83 C Endelige legemer 85 Litteratur 89 4

KAPITEL Introduktion Vi indleder rapporten med nogle basale definitioner og fundamentale begreber, som er nødvendige for at kunne forstå problemstillingen. Sidst i dette kapitel beskrives motivationen for studiet af fejlkorrigerende koder.. Stokastiske variable Definition. (Hændelse) En hændelse er en delmængde af et udfaldsrum. Definition.2 (Sandsynlighedsmål) [Olo05, Definition.3.] Lad S være et udfaldsrum. P(S) er mængden af alle hændelser af udfaldsrummet. Et sandsynlighedsmål er en funktion Pr : P(S) [0, ], der afbilder hændelser over i sandsynligheder, og opfylder Pr(S) = (den sikre hændelse) og for alle disjunkte hændelser A, A 2,... S gælder ( ) Pr A k = Pr (A k ). k= Definition.3 (Stokastisk variabel) En stokastisk variabel er en funktion X : S R, hvor S er udfaldsrummet for et eksperiment. Hvis billedmængden for X er tællelig, kaldes X en diskret stokastisk variabel. X kaldes en reel stokastisk variabel, når R R. k= 5

KAPITEL. INTRODUKTION Definition.4 (Sandsynlighedsfordeling) Mængden P R + kaldes en sandsynlighedsfordeling hvis p =. p P Definition.5 (Frekvensfunktion af en diskret stokastisk variabel) [Olo05, Definition 2.2.2] En frekvensfunktion for en diskret stokastisk variabel X er en afbildning p : X P, givet ved p(x) = Pr (X = x), hvor X er billedmængden for X og P er en sandsynlighedsfordeling..2 Kilde Definition.6 (Kilde) En kilde S er et par (S, p), hvor S er et udfaldsrum og p : S [0, ] er en frekvensfunktion for S..3 Blokkoder Definition.7 (Blokkode) En (M, n)-blokkode C er en delmængde af X n med M elementer, hvor X kaldes kodealfabetet, og c C kaldes kodeord..4 Kommunikationshastighed Definition.8 (Kommunikationshastighed) Kommunikationshastigheden for en (M, n)-blokkode defineres som R = log M n.5 Indkoder og afkoder Definition.9 (Indkoder) En indkoder konverterer kildesymboler w = w w M, hvor w i W til entydige kodeord X n (w) = (X (w),..., X n (w)) C, hvor C er en (M, n)- blokkode. Definition.0 (Afkoder) En afkoder er en funktion Ŵ af udgangsalfabet Y n in i kildealfabet W 6

.6. DISKRET HUKOMMELSESFRI KANAL.6 Diskret hukommelsesfri kanal Definition. (Diskret hukommelsesfri kanal) En diskret hukommelsesfri kanal er en tretupel (X, p(y x), Y), hvor X er indgangsalfabetet, Y er udgangsalfabetet. Hvis X er indgangsvariablen og Y er udgangsvariablen, så kan Y kun afhænge af X med den betingede sandsynlighedsfunktion p(y x) = Pr (Y = y X = x)..7 Motivation Denne rapport omhandler pålidelig kommunikation over støjfyldte kanaler. Nedenfor er det generelle problem illustereret: W X n (W ) Kilde Indkoder Kanal Y n Afkoder Ŵ (Y n ) Modtager Kilden udsender beskeder repræsenteret med den stokastiske variabel W. Disse beskeder indkodes til X n (W ). Kanalen introducerer fejl i det afsendte kodeord så det bliver til den stokastiske variabel Y n. Til sidst afkodes og fejlkorrigeres Y n til Ŵ (Y n ), som er den besked modtageren får. Hvis Ŵ (Y n ) W, er der sket en fejl. Nærværende rapport handler om hvordan sandsynligheden for sådanne fejl minimeres, uden at kommunikationshastigheden R går mod nul for kodelængden n gående mod uendelig. 7

KAPITEL 2 Kanalkodningssætningen I dette kapitel vises det ved hjælp af tilfældige koder, at der findes asymptotiske gode koder. Definition 2. (Asymptotisk gode koder) Lad {C n } n være en følge af (M, n)-blokkoder med minimumafstand d n og hastighed R n. {C n } n kaldes asymptotisk god, hvis lim n R n > 0 og lim n d nn > 0. 2. Entropifunktionen Entropifunktionen er ifølge Sætning A. entydigt bestemt som i følgende definition. Definition 2.2 (Entropi) Lad P = {p,..., p n } være en sandsynlighedsfordeling. Så kaldes H b (p,..., p n ) = p i log b p i = p i log b p i for den b-ære entropi af fordelingen P. Hvor intet andet er nævnt benyttes 2-talslogaritmen, og således implicit den binære entropifunktion. 9

KAPITEL 2. KANALKODNINGSSÆTNINGEN 2.2 Betinget entropi Definition 2.3 (Betinget entropi) Lad X, Y være stokastiske variable med frekvensfunktion p. Den betingede entropi er defineret som H(Y X) = x X p(x)h(y X = x), hvor H(Y X = x) er H(Y X = x) = y Y p(y x) log p(y x). Bemærk, at H(Y X) = p(x, y) log p(y x) (2.) x X y Y følger af definitionen af betinget sandsynlighed: p(y x) = p(x, y) p(x). 2.3 Relativ entropi og gensidig information Den relative entropi fortæller noget om afstanden mellem to fordelinger. Definition 2.4 (Relativ entropi) [CT06, side 9] Lad X være en diskret stokastisk variabel med værdimængde X. Lad endvidere p og q være frekvensfunktioner for X. Den relative entropi D mellem p og q er givet ved D(p q) = x X p(x) log p(x) q(x). Relativ entropi er ikke symmetrisk, i modsætning til den gensidige information: Definition 2.5 (Gensidig information) [CT06, side 9] Den gensidige information I er givet ved I(X; Y ) = D(p(x, y) p(x)p(y)), hvor X og Y er stokastiske variable med fællesfordeling p(x, y), og marginalfordelingerne p(x) og p(y). 0

2.3. RELATIV ENTROPI OG GENSIDIG INFORMATION Givet to stokastiske variable X og Y fortæller den gensidige information I(X; Y ), hvor mange bits de begge indeholder af information om hinanden. Det vil for eksempel sige, at hvis X og Y er uafhængige, er I(X; Y ) = 0. Da den gensidige information er defineret udfra den relative entropi af en størrelse, udledes følgende sammenhæng mellem gensidig information og entropi: I(X; Y ) = D(p(x, y) p(x)p(y)) = p(x, y) p(x, y) log p(x)p(y) x X,y Y = x X,y Y = x X,y Y = ( p(x, y) log p(x y) p(x) p(x, y) log p(x y) x X,y Y x X,y Y p(x, y) log p(x y)) x X p(x, y) log p(x) p(x) log p(x) = H(X) H(X Y ), (2.2) ved brug af (2.). På tilsvarende udledning følger at I(X; Y ) = H(Y ) H(Y X). Hjælpesætning 2. Lad X og Y være stokastiske variable med billedmængder X og Y. Den gensidige information er da givet ved I(X; Y ) = H(X) + H(Y ) H(X, Y ). (2.3) Bevis I(X; Y ) = x X,y Y = x X,y Y p(x, y) log p(x, y) p(x)p(y) p(x, y) (log p(x, y) log p(x) log p(y)) Ved at ekspandere summen og marginalisere følger det, at den gensidige information I(X; Y ) er lig p(x) log p(x) p(y) log p(y), y Y x X,y Y p(x, y) log p(x, y) x X hvilket er det samme som H(X) + H(Y ) H(X, Y ), som skulle vises.

KAPITEL 2. KANALKODNINGSSÆTNINGEN 2.4 Chebyshevs ulighed Definition 2.6 (Middelværdi) [Olo05, Definition 2.4.] Lad X være en diskret stokastisk variabel med billedmængde X = {x, x 2,...} og frekvensfunktion p : X [0, ]. Middelværdien af X defineres som E [X] = x k p(x k ). k= Når den stokastiske variabel fremgår af konteksten skrives middelværdien ofte som µ. Definition 2.7 (Varians) [Olo05, Definition 2.4.3] Lad X være en stokastisk variabel med middelværdi µ. Variansen af X defineres som Var [X] = E [ (X µ) 2]. Når den stokastiske variabel fremgår af konteksten skrives variansen ofte som σ 2, hvor σ 0 kaldes spredningen. Sætning 2.2 (Chebyshevs ulighed) [Olo05, Udsagn 2.4.7] Lad X være en diskret stokastisk variabel med billedmængde {x, x 2,...}, middelværdi µ og varians σ 2. For alle konstanter c > 0 gælder Pr ( X µ cσ) c 2. (2.4) Bevis Der bliver ført bevis for det diskrete tilfælde. Et bevis for det kontinuerte tilfælde er at finde i [Olo05, Udsagn 2.4.7]. Lad p : X [0, ] være frekvensfunktionen til X. Lad c > 0 være givet og lad B = {x i X : x i µ cσ}. Per definition af varians og middelværdi haves σ 2 = E [ (X µ) 2] = (x i µ) 2 p(x i ). Da B er fuldstændigt medtaget i summen, kan vi nu skrive σ 2 B (x i µ) 2 p(x i ) c 2 σ 2 B p(x i ) = c 2 σ 2 Pr (X B), hvor det er anvendt, at (x i µ) 2 c 2 σ 2 per definition af B. Chebyshevs ulighed følger ved at dele ovenstående ulighed med σ 2 c 2. 2

2.5. DE STORE TALS LOV Chebyshevs ulighed giver os dermed en vurdering nedadtil af sandsynligheden for at ramme indenfor en givet afstand cσ fra middelværdien µ, givet variansen σ 2, nemlig Pr ( X µ < cσ) > c 2. 2.5 De store tals lov De store tals lov handler om at den empiriske middelværdi for en uendelig følge af stokastiske variable konvergerer mod den faktiske. Følgende er en svækket udgave af de store tals lov, der antager at variansen af den uendelige følge af stokastiske variable er endelig. Sætning 2.3 (De store tals svage lov) [Tho07] Lad X, X 2,... være en følge af ensfordelte, uafhængige stokastiske variable med E [X i ] = µ, Var [X i ] = σ 2 for i =,..., n, og lad S n = X + + X n. Da gælder det, at hvor Sn n ( ) δ > 0 : lim Pr S n n n µ δ = 0, er middeludtrækningen. Bevis Antag, at følgen af stokastiske variable har en endelig længde n. Fra lineariteten af middelværdi [Olo05, Udsagn 3.6.6] får vi, at E [ ] Sn = n n (E [X ] + + E [X n ]) = nµ n = µ. Fra multiplikationsreglen [Olo05, Udsagn 3.6.7 b)] og additionsreglen [Olo05, Udsagn 3.6.4] for varians får vi, at Var [ ] Sn = n n 2 (Var [X ] + + Var [X n ]) = n 2 Var [X + + X n ] = nσ2 n 2 = σ2 n, dermed er standardafvigelsen for Sn n givet ved σ n. 3

KAPITEL 2. KANALKODNINGSSÆTNINGEN Indsættes dette i Chebyshevs ulighed, Sætning 2.2, med konstanten c = δ n σ for δ > 0 fås ( ) ) ( ) S n Pr n µ n σ (δ S n = Pr σ n n µ δ σ2 δ 2 n. Sætningen følger ved at tage grænseværdien for n gående mod uendelig i ovenstående ulighed. 2.6 Kanalkapacitet Definition 2.8 (Kanalkapacitet) Kanalkapaciteten for en diskret hukommelsesfri kanal (X, p, Y) defineres som C = max p(x) I (X; Y ), hvor X er indgangsvariablen med indgangsalfabetet X som værdimængde, Y er udgangsvariablen, med udgangsalfabetet Y som værdimængde. Det er værd at bemærke, at kapaciteten som et maksimum er veldefineret, da den gensidige information er konkav, hvorfra det følger, at ethvert lokalt maksimum også er et globalt maksimum. Ved at bruge en diskret hukommelsesfri kanal gentagne gange stiger kapaciteten for antallet af informationsbits per transmission ikke: Hjælpesætning 2.4 [CT06, Hjælpesætning 7.9.2] Lad Y n være udgangsvariablen og X n være indgangsvariablen for en hukommelsesfri kanal med kanalkapacitet C. For alle p(x n ) gælder: I (X n ; Y n ) nc. Bevis Ved gentagen anvendelse af kædereglen for entropi kan fællesentropien for X n og Y n beregnes som H(X n, Y n ) = + H(X i X,..., X i ) H(Y i Y,..., Y i, X,..., X n ) = H(X n ) + H(Y i Y,..., Y i, X n ) (2.5) 4

2.7. INDBYRDES TYPISKE FØLGER Ved indsættelse af (2.5) i Hjælpesætning 2. følger nu I (X n ; Y n ) = H(Y n ) + H(X n ) H(X n, Y n ) = H(Y n ) H(Y i Y,..., Y i, X n ) (2.6) Per Definition. kan Y i udelukkende afhænge af X i og derfor følger det fra (2.6), at I (X n ; Y n ) = H(Y n ) H(Y i X i ). (2.7) Da entropien i et sammensat system ikke kan overstige summen af entropier for de enkelte systemer; det vil sige eftersom der gælder H(Y n ) = H(Y i Y,..., Y i ) H(Y i ), 0 I(Y i ; Y,..., Y i ) = H(Y i ) + H(Y i Y,..., Y i ), følger det af (2.7), at I (X n ; Y n ) = H(Y i ) H(Y i X i ) I (X i ; Y i ) nc, per (2.2) og Definition 2.8, som skulle vises. 2.7 Indbyrdes typiske følger Indbyrdes typiske følger A (n) ɛ er mængden af alle følger, af længde n, som kan bruges til at approksimere den sande entropi, med fejlmargin ɛ; approksimationen kaldes også den empiriske entropi. Dette formaliseres i det følgende. Definition 2.9 (Indbyrdes typiske følger) Lad X og Y være stokastiske variable med frekvensfunktion p. For ɛ > 0, kaldes (x n, y n ) X n Y n indbyrdes typiske, skrevet (x n, y n ) A (n) ɛ, hvis følgende er opfyldt: 5

KAPITEL 2. KANALKODNINGSSÆTNINGEN i) n log p(xn ) H(X) < ɛ ii) n log p(yn ) H(Y ) < ɛ iii) n log p(xn, y n ) H(X, Y ) < ɛ, hvor p(x n, y n ) = n p(x i, y i ) Intuitivt, er det klart, at for n gående mod uendeligt vil n log p(xn ) gå mod entropien, da lim n n = p(x), når ellers p(x) = Pr (X = x). {X {X,...,X n} X=x} 2.8 Asymptotisk ækvipartitionsprincip (AEP) Bemærk, at en instans af (X, Y ) n kan omskrives til en instans af (X n, Y n ), ved at danne et par bestående af en liste af førsteelementerne og en liste af andenelementerne i (X, Y ) n. Sætning 2.5 (AEP for indbyrdes typiske følger) [CT06, Sætning 7.6.] Lad (X, Y ) n være en følge af n uafhængige ensfordelte par af stokastiske variable, med frekvensfunktionen p(x n, y n ) = n p(x i, y i ). Så gælder det for ethvert ɛ > 0, at ( ) i) lim n Pr (X n, Y n ) A (n) ɛ = ii) A (n) ɛ 2 n(h(x,y )+ɛ). Lad ( X n, Ỹ n ) være et par af uafhængige følger af stokastiske variable med frekvensfunktionen p(x n, y n ) = p(x n ) p(y n ), så gælder ( iii) Pr ( X ) n, Ỹ n ) A ɛ (n) 2 n(i(x;y ) 3ɛ). Bevis Ad i): Lad Z i = log p(x i ) være stokastiske variable, for i =,..., n. Middelværdierne er da givet ved E [Z i ] = x X p(x)( log p(x)) = H(X). 6

2.8. ASYMPTOTISK ÆKVIPARTITIONSPRINCIP (AEP) Middeludtrækningen er givet ved S n n = n = n Z i log p(x i ) = n log(p(x ) p(x n )) = n log p(xn ). Det følger nu af De store tals lov, Sætning 2.3, at for ethvert ɛ > 0 ( lim Pr ) n n log p(xn ) H(X) ɛ = 0, og dermed ( lim Pr ) n n log p(xn ) H(X) < ɛ =. (2.8) På tilsvarende vis, lad Z i = log p(y i ) være stokastiske variable, for i =,..., n. Middelværdierne er da givet ved E [ Z i ] = p(y) log p(y) = H(Y ). y Y Middeludtrækningen er givet ved S n n = n log p(yn ). Det følger nu af De store tals lov, Sætning 2.3, at for ethvert ɛ > 0 ( lim Pr ) n n log p(yn ) H(Y ) < ɛ =. (2.9) Igen på tilsvarende vis, lad Ẑi = log p(x i, y i ) være stokastiske variable, for i =,..., n. Middelværdierne er da givet ved ] E [Ẑi = x X,y Y Middeludtrækningen er givet ved p(x, y) log p(x, y) = H(X, Y ). Ŝ n n = n log p(xn, y n ). 7

KAPITEL 2. KANALKODNINGSSÆTNINGEN Det følger nu af De store tals lov, Sætning 2.3, at for ethvert ɛ > 0 ( lim Pr ) n n log p(xn, y n ) H(X, Y ) < ɛ =. (2.0) Punkt i) følger nu, da ligning (2.8), (2.9), og (2.0) opfylder Definition 2.9. Ad ii): Den sikre hændelse er mere sandsynlig end (x n, y n ) A (n) ɛ. Vi har derfor, at = p(x n, y n ) (x n,y n ) X n Y n p(x n, y n ). (2.) (x n,y n ) A (n) ɛ Ved udskrivning af Definition 2.9 iii) haves ɛ < n log p(xn, y n ) H(X, Y ) < ɛ. Det følger af den højre ulighed, at p(x n, y n ) nu kan vurderes nedadtil ved addition af H(X, Y ), multiplikation med n, og anvendelse af eksponentialfunktionen med 2 som grundtal, hvorved logaritmefunktionen forsvinder; vurderingen er da givet ved Ved indsættelse af (2.2) i (2.) haves p(x n, y n ) > 2 n(h(x,y )+ɛ). (2.2) (x n,y n ) A (n) ɛ n(h(x,y )+ɛ) 2 = A (n) ɛ 2 n(h(x,y )+ɛ), og resultatet følger ved at isolere A (n) ɛ. Ad iii): Sandsynligheden for at uafhængige stokastiske variable X n og Ỹ n danner typiske følger er givet ved ( Pr ( X ) n, Ỹ n ) A (n) ɛ = p(x n ) p(y n ). (x n,y n ) A (n) ɛ Ved brug af, at logaritmefunktionen er eksponentialfunktionens inverse følger det, at ( Pr ( X ) n, Ỹ n ) A (n) ɛ = 2 log p(xn )+log p(y n), (x n,y n ) A (n) ɛ 8

2.9. KANALKODNINGSSÆTNINGEN da log p(x n ) p(y n ) = log p(x n ) + log p(x n ). Fra ii) følger det endvidere, at ( Pr ( X ) n, Ỹ n ) A (n) ɛ 2 n(h(x,y )+ɛ) 2 log p(xn) 2 log p(yn ) 2 n(h(x,y )+ɛ) n(h(x) ɛ) n(h(y ) ɛ), hvor den sidste( ulighed gælder pr Definition 2.9. Det følger nu af Hjælpesætning 2., at Pr ( X n, X ) n ) A (n) ɛ 2 n(i(x;y ) 3ɛ), som skulle vises. 2.9 Kanalkodningssætningen Sætning 2.6 (Kanalkodningssætningen) [CT06, Sætning 7.7.] For en diskret hukommelsesfri kanal, er alle kommunikationshastigheder R under kanalkapaciteten C opnåelige; mere specifikt: i) For enhver kommunikationshastighed R < C, findes en følge af (2 nr, n)- koder med maksimal fejlsandsynlighed λ (n) 0. Desuden er det også en nødvendig betingelse, at R er mindre end kanalkapaciteten C, for at R skal være opnåelig: ii) Enhver følge af (2 nr, n)-koder med λ (n) 0 har R C. Bevis Ad i): Lad C være en tilfældig (2 nr, n)-kode således, at Pr (C) = 2 nr w= n p(x i (w)), (2.3) det vil sige, at hvert kodeord X n (w) = x (w) x n (w), for w =,..., 2 nr, består af n tilfældige kodesymboler, valgt med fordelingen p. Bemærk, at Pr (C) uafhængig af C. Lad W være den stokastiske variabel for beskeden w, der ønskes kommunikeret, og antag, at W er ligefordelt på,..., 2 nr, det vil sige, at Pr (W = w) = 2 nr. (2.4) Lad X n : W X være den stokastiske variabel for kodeordet, der afsendes over kanalen. Lad Y n være den stokastiske variabel for ordet, der modtages via kanalen og lad transitionsmatricen for kanalen være p(y x). Da kanalen er hukommelsesfri følger det, at Pr (y n x n (w)) = n p(y i x i (w)), 9

KAPITEL 2. KANALKODNINGSSÆTNINGEN hvor y n = y y n og x n = x (w) x n (w). Lad Ŵ (yn ) være den stokastiske variabel for beskeden beregnet ud fra Y n ved hjælp af sammenhørende typisk afkodning. Sammenhørende typisk afkodning er defineret som enhver algoritme der, efter at have returneret indeks ŵ, opfylder: X n (ŵ) og Y n er sammenhørende typiske. Der findes ikke andre w ŵ, således at X n (w ) og Y n er sammenhørende typiske. Hvis et sådan ŵ ikke findes, returnerer algoritmen et fejlindeks, 0. Lad E være hændelsen, at der sker fejl ved brug af en tilfældig kode, det (n) være sig {Ŵ W }, og lad endvidere P e (C) være sandsynligheden for, at der sker fejl i koden C. Nu kan sandsynligheden for fejl i en tilfældig kode beregnes som Pr (E) = Pr (C) P e (n) (C). C Lad λ w (C) være fejlsandsynligheden ved brug af koden C givet W = w. Da W per antagelse (2.4) er ligefordelt gælder det, at Pr (E) = C Pr (C) 2 nr λ w(c). 2 nr w= Gennemsnittet af λ w (C) over alle koder C er givet ved E [λ w ] = C Pr (C) λ w (C), og dermed er λ w uafhængigt af w, og vi kan derfor vælge W =. Sandsynligheden for fejl i en tilfældig kode kan nu skrives som Pr (E) = Pr (E W = ) = C Pr (C) λ (C). (2.5) Lad E i være hændelserne, at X n (i) og Y n er sammenhørende typiske for i =,..., 2 nr ; altså E i = {(X n (i), Y n ) A (n) ɛ } for i =,..., 2 nr. Det følger nu af (2.5), at sandsynligheden for fejl i en tilfældig kode kan beregnes som Pr (E) = Pr (E W = ) = Pr ( E c E 2 E nr 2 W = ). 20

2.9. KANALKODNINGSSÆTNINGEN Da sandsynligheden for en forening af hændelser, er mindre end summen af sandsynligheder for de enkelte hændelser (fordi man jo kun ser bort fra sammenfaldene), har vi nu en øvre grænse for fejl, i en tilfældig kode, som er givet ved 2 nr Pr (E) Pr (E) c + Pr (E i ). (2.6) Det følger af den asymptotiske ækvipartitionsegenskab for sammenhørende typiske følger, Sætning 2.5, at Pr (E c ) 0 for n gående mod uendeligt; det vil sige, at Pr (E c ) < ɛ for store n. Da Y n udelukkende er afhængig af X n () og X n (i) er uafhængige for i =, 2,..., 2 nr, er Y n og X n (i) for i = 2, 3,..., 2 nr uafhængige, og det følger derfor af Sætning 2.5 punkt iii), at 2 nr i=2 Pr (E i ) 2 n(i(x(i);y ) 3ɛ). i=2 2 nr i=2 Da I (X(i); Y ) C for i = 2, 3,..., 2 nr per Definition 2.8, kan summen hæves 2 nr i=2 Pr (E i ) (2 nr n(i(x;y ) 3ɛ) )2 2 n(i(x;y ) R 3ɛ). Følgeligt gælder det for alle ɛ > 0, at når R < I (X; Y ) 3ɛ, så er Pr (E i ) ɛ, 2 nr i=2 for store n. Således kan fejlsandsynligheden for en tilfældig kode per (2.6) vurderes opad med Pr (E) 2ɛ. Bemærk at det er nok at vælge 0 < ɛ < C R, og derfor gælder vurderingen for alle R < C. Da fejlsandsynligheden for en tilfældig kode er Pr (E) 2ɛ for store n, når R < C, må der findes en kode C således, at Pr (E C ) 2ɛ. Da W per antagelse (2.4) er ligefordelt kan fejlsandsynligheden for kodebogen C beregnes som P e (n) (C ) = Pr (E C ) = 2 nr 2 nr λ i 2ɛ. Ved at sortere λ i i ikke stigende rækkefølge og forkaste den første halvdel, haves en reduceret kodebog for hvilken hvert λ i 4ɛ; bevis for dette følger: 2

KAPITEL 2. KANALKODNINGSSÆTNINGEN Antag fejlagtigt, at det største λ i i den ikke-forkastede halvdel er skarpt større end 4ɛ, så ville alle λ i i den forkastede halvdel ligeledes være skarpt større end 4ɛ, som følge af den foregående sortering. Heraf følger det, at bidraget fra den forkastede halvdel alene overstiger 2ɛ, hvilket er en modstrid med, at λ i [0; ]. Vi opnår således maksimal fejlsandsynlighed 4ɛ ved at forkaste en passende halvdel af kodeordene i C. Således halveres antallet af kodeord fra 2 nr til 2 nr, hvilket giver en ny kommunikationshastighed R = R /n, som er vilkårligt tæt på R for store n. Eksistensen af en følge af (2 nr, n)-koder med maksimal fejlsandsynlighed λ (n) 4ɛ er nu vist for enhver kommunikationshastighed R skarpt mindre end kanalkapaciteten C. Resultatet følger ved at vælge ɛ < n for hvert n > 0. Ad ii): Lad W være en stokastisk variabel ligefordelt på W = {, 2,..., 2 nr }. W indkodes som X n (W ), der sendes over en hukommelsesfri kanal. Når Y n modtages, estimeres W med Ŵ (Y n ). Vi har fejlsandsynligheden P (Ŵ W ) = 2 nr i λ i = P e (n). Fra Fanos ulighed, Sætning 4.5, fås H(W Ŵ ) H(P (n) e ) + P (n) e log W + P e (n) nr. Vi kan ved brug af ovenstående og (2.2) skrive nr = H(W ) ) = H(W Ŵ (W ) + I ; Ŵ ( ) + P e (n) nr + I W ; Ŵ + P (n) e nr + I (X n ; Y n ) + P e (n) nr + nc, hvor Hjælpesætning 2.4 er benyttet til den sidste ulighed. Ved at dividere med n, får vi der for n gående mod uendelig giver R n + P (n) e R + C, R C, idet antagelsen λ (n) 0 medfører P (n) e 0, for n gående mod uendelig. 22

KAPITEL 3 Klassen af lineære koder Klassen af lineære koder er en klasse af behagelige koder, idet en lineær kode er et underrum i et vektorrum, som er et matematisk velkendt begreb. I dette kapitel introduceres lineære koder og syndromafkodning. 3. Lineære koder Definition 3. (Lineær kode) En lineær q-ær (n, k)-blokkode, er et k-dimensionelt underrum af F n q, hvor F q er et endeligt legeme bestående af q elementer. Det vil sige, at kodeordene i en q-ær (n, k)-kode er vektorer på formen c = (c,..., c n ), hvor c,..., c n F n q. Da det typisk kan ses fra sammenhængen, at kodeord er vektorer af en given længde, bliver kodeord oftest blot noteret som c = c c n. 3.2 Generatormatrix Definition 3.2 (Generatormatrix) En generatormatrix G for en (n, k)-blokkode C er en k n-matrix hvor rækkerummet udgør en base for C. 23

KAPITEL 3. KLASSEN AF LINEÆRE KODER 3.3 Paritetstjekmatrix Definition 3.3 (Paritetstjek) En vektor h af længden n er et paritetstjek for en (n, k)-blokkode C, hvis Gh T = 0, hvor G er en generatormatrix for C, og 0 er nulvektoren. Således står alle paritetstjek vinkelret på alle kodeord i C. Definition 3.4 (Paritetstjekmatrix) En paritetstjekmatrix H for en (n, k)-blokkode C er en (n k) n-matrix, hvis rækker er lineært uafhængige paritetstjeks for C. Rækkerummet af en vilkårlig paritetstjekmatrix for en (n, k)-blokkode C udgør en base for mængden af alle paritetstjeks for C: Vi har fra Definition 3.3, at mængden af alle paritetstjekvektorer for C udgør nulrummet for en generatormatrix G for C. Vi har også fra Definition 3.3, at en vektor h er en paritetstjekvektor for C uafhængigt af hvilken generatormatrix for C, der tales om. Ergo har alle generatormatricer for C det samme nulrum, hvilket, fra Definition 3.4, har et (n k)-dimensionelt rækkerum for en vilkårlig paritetstjekmatrix H for C som base. Vi kalder dette rum for dualkoden C, C = span(row(h)) = null(g) = {x F n : x c = 0, c C}, (3.) hvor G, H er en vilkårlig generatormatrix og paritetstjekmatrix for C, henholdsvis. Dualkoden til C er C: Vi har fra Definition 3.3 og Definition 3.4, at GH T = 0 k (n k), hvor 0 k (n k) er en k (n k)-nulmatrix. Da får vi fra egenskaber ved matrixmultiplikation, at HG T = (GH T ) T = 0 T k (n k) = 0 (n k) k, (3.2) hvor 0 (n k) k er en (n k) k-nulmatrix. Dette medfører, at G er en paritetstjekmatrix for C, hvilket fra (3.) medfører, at (C ) = C. 3.4 Syndrom Definition 3.5 (Syndrom) Lad H være en paritetstjekmatrix for en q-ær (n, k)-blokkode C og lad r F n q. Da er syndromet s af r givet ved s = syn (r) = Hr T. 24

3.5. HAMMING-AFSTAND Derved har vi fra (3.2), at for et modtaget kodeord r = c + e, hvor c er et kodeord og e er fejlvektoren, gælder det, at s = H(c + e) T = He T. 3.5 Hamming-afstand Definition 3.6 (Hamming-vægt og -afstand, minimumafstand) Lad x, y være vektorer i et legeme F n. Hamming-vægten af x, skrevet w H (x), er antallet af ikke-nul koordinater i x. Hamming-afstanden mellem x og y, skrevet d H (x, y) = w H (x y), er antallet af koordinater hvor x og y er forskellige. Minimumafstanden for en kode, skrevet d, er den mindste Hammingafstand mellem ethvert par af forskellige kodeord. Hjælpesætning 3. [JH04, Lemma.2.] Minimumafstanden i en lineær kode er den minimale vægt af ikke-nul ord i koden. Bevis Lad c være et kodeord med minimal vægt, således gælder w H (c) = d H (c, 0). Da 0 er et kodeord må minimumafstanden være mindre end lig w H (c). Lad nu c, c 2 være de kodeord med mindst afstand mellem hinanden. Da d H (c, c 2 ) = w H (c c 2 ) og c c 2 også er et kodeord, må w H (c c 2 ) være mindre end lig minimumafstanden. 3.6 Fejlretningsevne for lineære koder Definition 3.7 (t-fejlkorrigerende kode) [JH04, Definition.2.2] En kode C over F er t-fejlkorrigerende, hvis der for to vilkårlige og forskellige kodeord c i, c j C gælder, at e, e 2 F : w H (e ), w H (e 2 ) t = c i + e c j + e 2. Sætning 3.2 (Fejlretningsevne for blokkoder) [Ple98, Sætning 2] En blokkode C med minimumafstand d er t-fejlkorrigerende, hvis og kun hvis t d 2. 25

KAPITEL 3. KLASSEN AF LINEÆRE KODER Bevis (C, d H ) er et metrisk rum. Der vises, at alle kugler omkring kodeord i C med radius t d 2 er disjunkte. Antag fejlagtigt det modsatte. Da eksisterer der kodeord u, v C, hvor u v og B t (u) B t (v). Lad w B t (u) B t (v). Da gælder det fra trekantsuligheden, at d H (u, v) d H (u, w)+d H (w, v) 2t, hvor den sidste ulighed gælder, da kuglerne ikke er disjunkte. Da 2t d fra angivelsen af t fra før, får vi, at d H (u, v) d. Men da d H (u, v) = w H (u v) d, hvor den sidste ulighed gælder da u og v er forskellige og derved at u v 0, fører dette til modstrid. Hvis et modtaget ord r har t eller færre fejl, betyder det, at d H (r, c) t for et entydigt kodeord c C. Koden er derved t-fejlkorrigerende, da koden blot kan rette et modtaget ord til det kodeord, som ordet ligger i en kugle omkring. 3.7 Sideklasse til en lineær kode F n q er ikke bare et vektorrum med koder som underrum, men en abelsk gruppe med koder som undergrupper. Et modtaget ord r ligger derved i en sideklasse til den givne kode. Definition 3.8 (Sideklasse til en lineær kode) [JH04, Definition.3.2] Lad C være en lineær kode og a F n. Mængden a + C = {a + c : c C} er en sideklasse til C, med a som repræsentant. Bemærk, at der til en given (n, k)-kode C findes q n k forskellige sideklasser. En sideklasse a + C kan repræsenteres af et vilkårligt element b a + C, da b = a + c for et c C, og C er lukket under addition og substraktion. Som repræsentant vælges derfor typisk det ord i sideklassen, der har mindst vægt, og dette ord kaldes for en sideklasseleder. Sideklasselederen er et godt estimat af den fejlvektor, der forårsager, at et modtaget ord r lander i den sideklasse sideklasselederen repræsenterer. 3.8 Standardskema Syndromafkodning kan betragtes som en optimering af afkodning ved hjælp af et standardskema. Definition 3.9 (Standardskema) Et standardskema er en tabel, der indeholder alle vektorer i F n q, således at hver række er en sideklasse med den første celle i rækken som sideklasseleder. Et standardskema kaldes ofte Slepian array og standard array i engelsk litteratur. 26

3.9. SYNDROMAFKODNING Algoritme 3.: Konstruktion af standardskema Input: En (n, k)-lineær blokkode C Resultat: Et q n k q k -standardskema for C Lad S være et tomt skema Skriv alle koder i C som den første række i S, med 0 i den første søjle sålænge antallet af rækker i S < q n k udfør Vælg en vektor v F n q af minimal vægt, som ikke allerede befinder sig i S Læg v til alle elementer i den første række, og skriv den resulterende række nederst i S returner S Algoritme 3.2: Afkodning ved brug af et standardskema Input: Et standardskema S og et modtaget ord y Resultat: Antaget afsendt ord Afkod y til det ord i den første række af S, som ligger i samme søjle, som y ligger i returner Ordet Eksempel 3. (Afkodning ved brug af et standardskema) Lad C være en lineær (4, 2) blokkode over F n 2 genereret af generatormatricen [ ] 0 0 G =. 0 Standardskemaet for C konstrueret med Algoritme 3. er givet ved Sidekl. ledere Koden C (0, 0, 0, 0) (, 0, 0, ) (0,,, ) (,,, 0) Sideklasser (0, 0, 0, ) (, 0, 0, 0) (0,,, 0) (,,, ) (0, 0,, 0) (, 0,, ) (0,, 0, ) (,, 0, 0) (0,, 0, 0) (,, 0, ) (0, 0,, ) (, 0,, 0) Fra Definition 3.6 og Sætning 3.2 fås, at d = 2 og at C kan rette op til t = d 2 = 0 fejl med garanti. Lad m = (0,,, ) C være den afsendte besked, e = (0, 0,, 0) være fejlvektoren, og r = m + e = (0,, 0, ) være den modtagen besked. r ligger i række 3 og søjle 3, hvilket ved brug af Algoritme 3.2 afkoder til (0,,, ) = m. På den anden side, hvis e = (, 0, 0, 0), så er r = (,,, ), hvilket afkoder til (,,, 0). 3.9 Syndromafkodning En Syndromafkoder er et eksempel på en afkoder for lineære blokkoder, der er let at konstruere, og som ovenikøbet er forholdsvis let beregnelig, når n k 27

KAPITEL 3. KLASSEN AF LINEÆRE KODER ikke er for stor. Disse egenskaber gør syndromafkodning egnet som grundlag for vurdering af mere specielle afkodningsskemaer. Syndromafkodere benytter sig af det faktum, at ord, der ligger i den samme sideklasse til C, har samme syndrom. Hjælpesætning 3.3 [JH04, Lemma.3.] Lad C være en lineær blokkode. To ord x, y er i samme sideklasse til C, hvis og kun hvis de har samme syndrom. Bevis Ad x, y har samme syndrom: Antag, at x og y ligger i sideklassen a + C til C, hvor a F n q. Lad H være paritetstjekmatricen til C. Da har vi, at Hx T = H(a + c ) T = Ha T = H(a + c 2 ) T = Hy T, hvor c, c 2 C, hvilket per Definition 3.5 giver, at x og y har samme syndrom. Ad x, y er i samme sideklasse til C: Antag, at x og y har samme syndrom. Lad igen H være paritetstjekmatricen til C. Da har vi fra Definition 3.5, at Hx T = Hy T, hvilket giver, at H(x y) T = 0, hvilket kun er muligt, når x y er et kodeord i C, hvilket medfører, da x y + C og y y + C, at x og y ligger i samme sideklasse. Da der findes q n k forskellige sideklasser til en given (n, k) kode C, findes der derved q n k forskellige syndromer til C. Dette er hele Fq n k. Man kan derved nøjes med at konstruere en opslagstabel, der indeholder syndromer associeret med deres sideklasseleder. Algoritme 3.3: Konstruktion af et syndromskema Input: En paritetstjekmatrix H for en q-ær (n, k)-lineær blokkode C Resultat: Et q n k 2-syndromskema for C Lad S være et tomt skema List alle elementer i F n q i en ikke-aftagende vægt sålænge der er < q n k rækker i S udfør Lad x være det næste element i listen Beregn syn (x) = Hx T hvis syn (x) ikke findes blandt elementerne i den første søjle i S så tilføj rækken [ syn (x) x ] til S returner S Algoritme 3.4: Afkodning ved brug af et syndromskema Input: Et syndromskema S og et modtaget ord y Resultat: Antaget afsendt ord Beregn syn (y) Find rækken [ syn (y) x ] returner y x 28

3.9. SYNDROMAFKODNING En syndromafkoder afbilder derved syndromer på fejl, hvilket giver anledning til deres navn. Eksempel 3.2 (Afkodning ved brug af et syndromskema) Lad C være defineret som i Eksempel 3.. Fra Definition 3.4 fås paritetstjekmatricen for C til [ ] 0 0 H =. 0 Syndromskemaet for C konstrueret med Algoritme 3.3 er givet ved Syndrom Sideklasseleder ( ) T 0 0 (0, 0, 0, 0) ( ) T 0 (0, 0, 0, ) ( ) T 0 (0, 0,, 0) ( ) T (0,, 0, 0) Lad igen m = (0,,, ) C være den afsendte besked, e = (0, 0,, 0) være fejlvektoren, og r = m+e = (0,, 0, ) være den modtagen besked. syn (r) = (, 0) T, hvilket ved brug af Algoritme 3.4 afkoder til (0,,, ) = m. På den anden side, hvis e = (, 0, 0, 0), så er r = (,,, ), hvilket afkoder til (,,, 0). Algoritme 3.2 og 3.4 er maksimalsandsynlighedsafkodere 2, idet de afkoder til det nærmeste kodeord. De kan dog begge laves om til en minimumafstandsafkoder 3 ; Algoritme 3.2 bliver en minimumafstandsafkoder ved at fjerne de sideklasser i skemaet, der kan repræsenteres af flere end én sideklasseleder af vægt < d, mens Algoritme 3.4 bliver en minimumafstandsafkoder ved at fjerne de indgange i skemaet, hvor flere end én sideklasseleder af vægt < d har samme syndrom. 2 Maksimalsandsynlighedsafkodning er defineret i Definition B.2. 3 Minimumafstandsafkodning er defineret i Definition B.. 29

KAPITEL 4 Varshamov-Gilbert-grænsen I dette kapitel vises Varshamov-Gilbert-grænsen, der giver eksistensen af visse lineære (n, k)-koder. Denne bruges efterfølgende til at vise eksistensen af asymptotisk gode lineære koder for binære symmetriske kanaler med lav fejlsandsynlighed. 4. Binomialfordeling Definition 4. (Indikatorvariabel) [Olo05, Definition 2.5.] Lad A være en hændelse. Den diskrete stokastiske variabel I A : S {0, }, defineret ved { når s A, I A (s) = 0 når s / A, kaldes en indikatorvariabel for A. Hvis A indtræffer med sandsynlighed p, har I A frekvensfunktionen { p for k =, p(k) = p for k = 0. Ved n uafhængige gentagelser af A, fås ved summation af I A erne en ny stokastisk variabel X, som har en såkaldt binomialfordeling, der defineres i det følgende. 3

KAPITEL 4. VARSHAMOV-GILBERT-GRÆNSEN Definition 4.2 (Binomialfordeling) [Olo05, Definition 2.5.2] Lad X være en stokastisk variabel med værdimængde {0,,..., n}. Hvis p(k) = ( ) n p k ( p) n k k er frekvensfunktionen for X, siges X at have en binomialfordeling, skrevet X bin(n, p). Hjælpesætning 4. [Olo05, Opgave.4.2 (b)] Lad n, k Z +, så gælder ( ) ( ) n n k = n. k k Bevis Per definition af binomialkoefficienten følger det, at ( ) n n! k = k k (n k)!k! kn(n )! = ((n ) (k ))!k(k )! (n )! = n ((n ) (k ))!(k )! ( ) n = n, k som skulle vises. Sætning 4.2 [Olo05, Udsagn 2.5.] Hvis X bin(n, p), så er E [X] = np og Var [X] = np( p). Bevis Lad X i bin(, p). Da er X i en indikatorvariabel, og derved E [X i ] = p. Fra [Olo05, Følgesætning 2.4.5] fås der, at Var [X i ] = E [ Xi 2 ] (E [Xi ]) 2 = p p 2 = p( p). Da X bin(n, p) tilsvarer n uafhængige udførsler af X i, det vil sige, X = n X i, fås der fra [Olo05, Udsagn 3.6.2 og 3.6.4], at E [X] = np og Var [X] = np( p), hvilket skulle vises. 32

4.2. ENTROPI OG BINOMIALKOEFFICIENTER 4.2 Entropi og binomialkoefficienter Hjælpesætning 4.3 For p (0, ), q = p, λ [0, p], µ = λ, gælder, λn k=0 Bevis For ethvert x (0, ] gælder, λn x λn k=0 ( ) n p k q n k λ λn µ µn p λn q µn. k ( ) n p k q n k k hvoraf vi kan slutte, for x (0, ], λn k=0 λn k=0 k=0 ( n k ( n k ) x k p k q n k ) (px) k q n k = (q + px) n, ( ) n ( n p k q n k x λ (q + px)). k Vi ønsker at minimere ulighedens højre side. Vi finder minimum for ϕ(x) = x λ (q + px), x > 0 ved at finde nulpunkter for ϕ (x) og kontrollere. Dette giver os, ϕ(x) har minimum i x = λq µp. Da λq µp er opfyldt når λ p fås, λn k=0 ( ) ( n p k q n k ϕ k ( )) λq n ( = λ λ µ µ p λ q µ) n. µp Sætning 4.4 Lad H : [0, ] R være entropifunktionen givet ved For 0 λ /2 gælder det, at H(λ) = λ log 2 λ ( λ) log 2 ( λ). nλ k=0 ( ) n 2 nh(λ). k 33

KAPITEL 4. VARSHAMOV-GILBERT-GRÆNSEN Bevis Fra Hjælpesætning 4.3 haves λn k=0 Lad p = q = 2, og resultatet følger da ( ) n p k q n k λ λn µ µn p λn q µn. k λ λn µ µn = 2 n( λ log λ µ log µ) = 2 nh(λ). 4.3 Fanos ulighed Definition 4.3 (Markov-kæder) Lad X 0, X, X 2,... være diskrete stokastiske variable med udfaldsrummet S, hvorom det gælder Pr (X t+ = x t+ X 0 = x 0,..., X t = x t ) = Pr (X t+ = x t+ X t = x t ), hvor x 0,..., x t+ S, så kaldes {X t } en Markov-kæde. Sætning 4.5 (Fanos ulighed) [CT06, Sætning 2.0.] For et estimat ( ˆX så er X Y ˆX en Markov-kæde, hvor ˆX = g(y ) og med P e = Pr X ˆX ), gælder at H(P e ) + P e log( X ) H(X Y ). Bevis Definer en stokastisk variabel E, { hvis X E = ˆX, 0 hvis X = ˆX. Vi bruger kæderegelen for entropi til at udvide H(E, X Y ) på to forskellige måder: H(E, X Y ) = H(X Y ) + H(E X, Y ) = H(X Y ), eftersom E er en funktion af X og g(y ) som er kendte, hvor E derved er konstant og derfor H(E X, Y ) = 0, og H(E, X Y ) = H(E Y ) + H(X E, Y ). 34

4.4. VARSHAMOV-GILBERT-GRÆNSEN Da betingelser ikke kan øge entropien, har vi H(E Y ) H(E) = H(P e ). For H(X E, Y ) kan vi finde følgende øvre grænse: H(X E, Y ) = e E Pr (E = e, Y = y) H(X E = e, Y = y) y Y = Pr (E = e) Pr (Y = y E = e) H(X E = e, Y = y) e E y Y = ( P e )0 + P e Pr (Y = y E = ) H(X E =, Y = y) y Y (4.) P e log( X ), (4.2) hvor (4.) fås da, når E = 0, så er X konstant og derfor H(X E = 0, Y = y) = 0, og (4.2) fås ved at betragte den betingede stokastiske variabel X E =, Y = y som lige fordelt for hvert y og bemærke, at Tilsammen giver dette os (X E =, Y = y) = X. H(X Y ) = H(E, X Y ) = H(X Y ) + H(E X, Y ) H(P e ) + P e log( X ), hvilket er Fanos ulighed. 4.4 Varshamov-Gilbert-grænsen For at bevise Varshamov-Gilbert-grænsen, får vi brug for en teknik til at udvide lineære koder: Følgende hjælpesætning siger, at hvis man kan finde et ord x i passende Hamming-afstand d fra koden U, kan man udvide koden med alle linearkombinationer af x, samtidigt med, at minimumafstanden d bevares. Hjælpesætning 4.6 Lad U F n q være en lineær (n, k)-kode med minimumafstand mindst d. Hvis der eksisterer et x således, at d H (x, u) d for alle u U, er C = {λx + u λ F q, u U} (4.3) en lineær (n, k + ) kode med minimumafstand mindst d. 35

KAPITEL 4. VARSHAMOV-GILBERT-GRÆNSEN Bevis Ad C er en lineær (n, k + ) kode: Nok at vise lineære aflukningsegenskaber, da C F n q, F n q er et vektorrum og x forenet med en vilkårlig base for U udgør en base for C. C er lukket under addition, da λ x + u, λ 2 x + u 2 C = (λ + λ 2 )x + u + u 2 C, og C er lukket under multiplikation, da som skulle vises. λx + u C, f F q = fλx + fu C, Ad d H (λ x + u, λ 2 x + u 2 ) d: Vi deler op i to tilfælde; λ = λ 2 og λ λ 2. For λ = λ 2, har vi, For λ λ 2, har vi, d H (λ x + u, λ 2 x + u 2 ) = d H (u, u 2 ) d. d H (λ x + u, λ 2 x + u 2 ) = d H (λ x λ 2 x, u 2 u ) = d H (x, (λ λ 2 ) (u 2 u )) d. Nu er det nok at påvise eksistensen af et ord i passende afstand fra en lineær kode C, for at vise, at C kan udvides med endnu en dimension. Dette udnyttes i følgende sætning. Sætning 4.7 (Varshamov-Gilbert-grænsen) [JH04, Sætning.2.2] Der findes en q-ær lineær (n, k)-kode med minimumafstand mindst d, hvis ( ) ( ) n n + (q ) + + (q ) d q n k. (4.4) d Bevis Beviset er per induktion over k. Basistrin: For k = : Lad U være den lineære (n, 0) kode. Da U kun består af nulordet, er minimumafstanden for U mindst d. Der findes ( ) n (q ) i i forskellige ord i F n q med Hamming-afstand i til nulordet. Dermed findes der højst ( ) ( ) n n + (q ) + + (q ) d d 36

4.5. LINEÆR KANALKODNING forskellige ord i F n q med Hamming-afstand skarpt mindre end d til nulordet. Men der findes i alt q n ord i F n q, så hvis ( ) ( ) n n + (q ) + + (q ) d d < q n, (4.5) følger det, at der findes et ord i F n q med Hamming-afstand mindst d til nulordet og det følger nu af Hjælpesætning 4.6, at C = {λx + u λ F q, u U} er en lineær (n, ) kode, da x udgør en basis for C. Basistrinnet følger nu, da (4.4) er en skarpere ulighed end (4.5) for k =. Induktionstrin: For k = j: Per induktionsantagelse medfører (4.4), at der findes en lineær (m, k) kode med minimumafstand mindst d for alle k < j. Antag, at (4.4) er opfyldt for k = j. Så gælder den svagere ulighed ( ) ( )) n n q ( k + (q ) + + (q ) d < q n d også for k = j. Per induktionsantagelse følger det nu, at der findes en lineær (m, k ) kode U med minimumafstand mindst d for k = j. Men da uligheden er skarp findes et ord i F n q med afstand mindst d til hvert ord i U og det følger nu af Hjælpesætning 4.6, at der findes en lineær (m, k) kode med minimumafstand mindst d for k = j, som skulle vises. 4.5 Lineær kanalkodning Definition 4.4 (Binær symmetrisk kanal) En hukommelsesfri binær kanal, hvori fejl indtræffer med sandsynlighed p u- afhængigt af det transmitterede symbol, kaldes en binær symmetrisk kanal. Sætning 4.8 Givet en binær symmetrisk kanal med overgangssandsynlighed p < 4, så eksisterer en følge af lineære (n, k)-koder således, at i) fejlsandsynlighederne P (n) e går mod 0 for n gående mod uendelig, ii) kommunikationshastighederne R (n) går mod H(2p) for n gående mod uendelig. Bevis Ad i): Lad I i være indikatorvariable for fejl i det i-te modtagne ord. I, I 2,... er en følge af ensfordelte, uafhængige stokastiske variable. Vi bemærker, 37

KAPITEL 4. VARSHAMOV-GILBERT-GRÆNSEN E [I i ] = p og Var [I i ] = p( p). Lad S n betegne n I i. Vi har da, fra de store tals svage lov, Sætning 2.3, at ( ) lim Pr S n n n p ɛ = 0. Hvis koden er t-fejlrettende, for t = d 2 n(p + ɛ) går fejlsandsynligheden dermed mod 0. Når vi ser bort fra kommunikationshastigheden, er det klart, vi kan vælge d og k så dette er opfyldt. Ad ii): Da p < 4, kan vi vælge et ɛ så 2p + 3ɛ < 2. Vi vælger d n så d n = 2 n(p + ɛ). Så gælder d n2 (n) n(p + ɛ), og vi har fra i), at P e 0 for n. For ethvert ɛ findes et N så der for alle n > N gælder, at dn n < 2(p+ɛ)+ n < 2p + 3ɛ < 2. Af Sætning 4.4 følger det, når dn n < 2, at d n k=0 ( ) n 2 nh( dn n ), k hvilket udgør venstresiden i (4.4) fra Sætning 4.7. For n > N vælges k n så k n = n( H( dn n )). Af Sætning 4.7 følger det, at da 2 nh( dn n ) 2 n kn, så findes en lineær (n, k n )-kode med minimumafstand mindst d n. Ved indsættelse ses, at kommunikationshastighederne er ( n H R (n) = k ( ( n n H dnn )) n = = n hvoraf vi får lim n R (n) = H(2p), som skulle vises. ( 2 n(p+ɛ) n n )), 38

KAPITEL 5 Reed-Solomon-koder Vi vil nu introducere forskellige klasser af koder, med et særligt fokus på Reed-Solomon-koder. Reed-Solomon-koder er interessante, fordi de har bedst mulig fejlretningsegenskab, men også fordi, at de findes i forskellige varianter; eksempelvis findes der Reed-Solomon-koder, der er cykliske. Dette gør, at Reed-Solomon-koder har stor teoretisk og praktisk relevans. I praksis anvendes de blandt andet til fejlretning på CD er og DVD er og ved satellitkommunikation.[jh04, Kapitel 5]. I informationsteori bruges de ofte som grundlag for andre koder, enten i sig selv som en afbildning til en binær kode, eller sammen med andre koder til dannelse af konkatenerede koder. Centralt i dette kapitel er, at Reed-Solomon-koder danner grundlag for Justesen-koder konkatenerede koder, som udgør en klasse af konstruktive a- symptotisk gode koder. 5. MDS koder Sætning 5. (Singletongrænsen) [JH04, Sætning 5..] Lad C være en (n, k)-blokkode med minimumafstand d. Så gælder d n k +. 39

KAPITEL 5. REED-SOLOMON-KODER Bevis Lad q betegne størrelsen af alfabetet til C. C har derved q k elementer. Da C har minimumafstand d, kan d faste indgange slettes fra alle kodeord i C uden indflydelse på kodens størrelse. Dette giver en kode, der er en delmængde af F n d+ q, hvilket medfører, at q k q n d+, hvoraf resultatet følger. Definition 5. (MDS-kode) En given (n, k, d)-kode er en MDS-kode, hvis koden opfylder Sætning 5. med lighed. Da fejlretningsegenskaben for en kode er en funktion af minimumafstanden, får vi, at for givne n og k er MDS-koderne de koder, der har bedst fejlretningsegenskab. 5.2 Reed-Solomon-koder Definition 5.2 (Reed-Solomon-kode) [JH04, Definition 5..] Lad F q være et endeligt legeme med q elementer og x,..., x n være forskellige elementer i F q. Lad endvidere P q (k) være mængden af polynomier fra F q [x] af grad < k, givet ved P q (k) = {a k x k + + a x + a 0 a i F q }, k n q. En (n, k)-reed-solomon-kode defineres som C = {(f(x ), f(x 2 ),..., f(x n )) F n q : f P q (k)}. Et kodeord c C siges at være genereret af et polynomium f P q (k), hvis c = (f(x ), f(x 2 ),..., f(x n )). Jævnfør Definition 3.2 har en Reed-Solomon-kode en generatormatrix på formen x x 2 x n......, x k x k 2 x k n og fra Sætning 5.9 ved vi, at koden har en paritetstjekmatrix på formen x x 2 x n x 2 x 2 2 x 2 n....... (5.) x n k x2 n k xn n k MDS står for Maximum Distance Separable, hvilket kan oversættes til Optimal afstand. 40

5.2. REED-SOLOMON-KODER Idéen i Reed-Solomon-koder er således at bruge de data, som ønskes sendt over en støjfyldt kanal, som koefficienter i et (k )-grads polynomium. Polynomiet evalueres i n k forskellige, forudbestemte punkter og derefter sendes resultaterne af evalueringerne over kanalen. Så længe mindst k evalueringer når frem, ved vi fra lineær algebra og Lagrange-interpolation, at modtageren entydigt kan bestemme det oprindelige polynomium, det vil sige beskeden. Man kan også konstruere et polynomium, der giver beskeden ved evaluering i de første k af de n punkter. I det tilfælde, at ingen fejl er sket, kan beskeden læses direkte i de sendte data. Således kan man bytte beregningstid ved indkodning for beregningstid ved afkodning. En sådan kode kaldes systematisk. Idet mængden P q (k) udgør et vektorrum over F q af dimension k, er Reed- Solomon-koder lineære og dermed er enhver linearkombination af to vilkårlige kodeord også et kodeord. Sætning 5.2 En Reed-Solomon-kode er en MDS-kode. Bevis Lad C være en (n, k)-reed-solomon-kode. Fra Sætning 5. vides, at d n k +. Det er derfor nok at vise, at d n k +. Et polynomium f P q (k) kan højst have k nulpunkter, jævnfør Sætning C.3, således har kodeordet, som består af n forskellige evalueringer af f, mindst vægt n k +. Tilsammen giver dette, at d = n k +, dermed opfylder C Definition 5.. Sætning 5.3 Lad C være en (n, k)-reed-solomon-kode og r = c + e være et modtaget ord, hvor c er et kodeord genereret af f(x) og e er fejlen påført ved overførsel gennem en støjfyldt kanal. Antag, at w H (e) t = n k 2. Så findes Q 0, Q F q [x], hvor deg(q 0 ) l 0 := n t og deg(q ) l := n t (k ) således at Q(x, y) := Q 0 (x) + yq (x) F q [x, y]\{0}, opfylder, at Q(x i, r i ) = 0 for i =,..., n og f(x) = Q 0(x) Q (x). (5.2) Bevis Ad Q(x i, r i ) = 0: Bemærk, at Q har l 0 + + l + koefficienter. Dette kan 4

KAPITEL 5. REED-SOLOMON-KODER vurderes nedadtil med n + per definition af t da n k n k l 0 + + l + = n + + n (k ) + 2 2 n k = 2n 2 k + 2 2n (n k) k + = n +. Eksistensen af Q følger nu, da Q(x i, r i ) = 0; i =,..., n er et homogent lineært ligningssystem med n ligninger og l 0 + + l + n + ubekendte. Ad (5.2): Da c = (f(x ),..., f(x n )), Q(x i, f(x i ) + e i ) = 0 og {e i = 0 : i =,..., n} n t, må Q(x, f(x)) have mindst n t rødder. Modsat kan Q(x, f(x)) højst have grad n t. Således må Q(x, f(x)) 0, det vil sige, 0 = Q 0 (x)+f(x)q (x) og derfor f(x) = Q 0(x) Q (x). Bemærk, at Q (x) 0, fordi Q 0 (x) + rq (x) har mindst n t rødder og derved deg(q) n t, og deg(q 0 ) n t, hvilket ikke kan gælde, hvis Q (x) = 0. Her er det værd at bemærke, at for r = c + e, w H (e) t så gælder ( Q(x, y) = Q 0 (x) + rq (x) = Q (x) y + Q ) 0(x) = Q (x)(y f(x)) = 0 Q (x) = Q (x i )(r i c i ) = Q (x i )e = 0, i =,..., n, og således må de w H (e) fejl, som optræder i r have indgange blandt Q s nulkomponenters indgange. Af samme grund kaldes Q for fejllokatorpolyno- 42