Denne rapport er udarbejdet i L A TEX

Transkript

1 Institut for Matematiske Fag Fredrik Bajers Vej 7G Telefon Fax Titel: Kommunikation over støjfyldte kanaler Projektperiode: P4, forårssemesteret 20 Projektgruppe: G3-4 Deltagere: Louise Foshammer Lea Nørgreen Gustafsson Simon Laursen Malte Neve-Græsbøll Vejleder: Olav Geil Oplagstal: 7 Sidetal: 4 Afsluttet den 27. maj - 20 Synopsis: Denne rapport omhandler kommunikation over støjfyldte kanaler, og den indeholder teori og problemstillinger vedrørende emnerne kildekodning og kanalkodning. Der er to meget relevante begreber i forbindelse med kommunikation over støjfyldte kanaler, nemlig entropi og gensidig information, hvorfor egenskaber ved disse begreber gennemgås dybdegående. Indenfor kildekodning gennemgås komprimering af data og indkodningsskemaer, og der vises et konkret eksempel på anvendelsen af de optimale Huffmankoder. Desuden vil der være et vist fokus på Krafts sætning og McMillans sætning. Indenfor kanalkodning vises konkrete eksempler med Hammingkoder og Reed- Solomon-koder. I forbindelse med kanalkodning vil der være et vist fokus på diverse matematiske begreber og sætninger som dataprocesseringsuligheden, Fanos ulighed og det asymptotiske ækvipartitionsprincip, som alt sammen lægger op til kanalkodningssætningen. Der vil desuden være en kryptografisk kobling, hvor en praktisk anvendelse af koder anskues gennem McElieces kryptosystem, i forbindelse med hvilket begrebet kompleksitet inddrages. I denne forbindelse inddrages også Goppakoder, med hvilke McElieces kryptosystem indtil nu har vist sig at være ubrydelige. Rapportens indhold er frit tilgængeligt, men offentliggørelse (med kildeangivelse) må kun ske efter aftale med forfatterne. Denne rapport er udarbejdet i L A TEX

2

3 Abstract Communication through noisy channels is the subject of this project and furthermore we wish to expand on the subjects noiseless coding and noisy coding. Noiseless coding is based on the idea that data can be compressed in order to send more data faster. We will show that for an r-ary alphabet we can compress the data so that the weighted average length of codewords is no bigger than the r-ary entropy of the source plus one. Furthermore we will show that the average length can be no less than the r-ary entropy of the source. The purpose of noisy coding is to deal with error-prone data, which derives from a noisy channel. The codes are able to correct a certain amount of errors based on codeword lengths, the amount of data sent and the minimum distance between codewords. We will show that we can obtain an arbitrarily small, but positive, errorprobability if the transmission rate is smaller than the capacity of the channel. Though we can show that this is possible it is not possible to say anything about how. The project explains the central concepts in communication through noisy channels and introduces Huffman encoding, Hamming codes and Reed-Solomon codes. We will also prove the two main theorems in noiseless and noisy coding, namely the noiseless coding theorem and the noisy channel coding theorem. Furthermore we will draw parallels to cryptography by examining the McEliece cryptosystem both in connection with Hamming codes and as McEliece originally proposed in connection with Goppa codes. This cryptosystem, when using Goppa at least, has resisted cryptanalysis so far, which is what makes it particularly interesting. i

4 ii

5 Forord Denne rapport er udarbejdet i forbindelse med MAT2-semestret ved Institut for Matematiske Fag på Aalborg Universitet. I forbindelse med projektperioden har vi fuldt det tilhørende PE-kursus Informations- og kodningsteori, hvilket har dannet basis for projektskrivningen. Desuden har SE-kurset Sandsynlighedsregning været med til at give forståelse for visse begreber i forbindelse med forskellige emner i rapporten. I udarbejdelsen er anvendt forskellige kilder, men de primære kilder er dem, der blev introduceret i forbindelse med PE-kurset, nemlig Coding and Information Theory af Steven Roman, Elements of Information Theory af Thomas M. Cover og Joy A. Thomas samt A Course in Error-Correcting Codes af Jørn Justesen og Tom Høholdt. Disse kilder vil sammen med de resterende anvendte kilder være at finde i litteraturlisten. Rapporten henvender sig til den interesserede læser, der forventes at have et vist kendskab til abstrakt algebra og sandsynlighedsregning generelt, hvorfor en lang række emner indenfor disse matematiske discipliner ikke vil blive gennemgået i denne rapport. Læsevejledning Rapporten er delt op i 5 hoveddele - introduktion, kildekodning, kanalkodning, kanalkodningssætningen og kodebaseret kryptografi. I kapitel introduceres selve emnet, og i kapitel 2 beskrives en række grundbegreber indenfor kodnings- og informationsteori. Kapitel 3 tager fat i den første af de to typer af kodning nemlig kildekodning. Her beskrives teorien bag kildekodning, og Huffmankoder, der er en form for kildekodning, beskrives. Kapitel 4 begynder på rapportens hovedemne - kanalkodning. Her introduceres baggrunden for denne type kodning, og der beskrives to måder at konstruere koder på, nemlig Hammingkoder og Reed-Solomon-koder. Kapitel 5 og 6 introducerer en mængde teori og sætninger for kanalkodning, som alt sammen leder op til kapitel 7, kanalkodningssætningen, som er en meget vigtig sætning indenfor informationsteori. Den beskriver muligheden for opnåelse af kanalkapaciteten, og at information kan sendes pålideligt over en kanal ved alle hastigheder lavere end kanalkapaciteten. I kapitel 8 bevæger vi os over i kodebaseret kryptografi og beskriver McElieces kryptosystem, som er et kryptosystem, der stadig kan anvendes efter kvantecomputeren bliver en realitet. Indførelsen af kvantecomputeren vil betyde, at mange af de kryptosystemer, der bruges i dag, bliver lette at bryde, hvorfor de skal erstattes. McElieces kryptosystem anvender fejlkorrigerende koder, og dette introduceres ved brug af Hammingkoder. Dette iii

6 er dog kun for at simplificere en ellers kompliceret proces, og sidst i kapitlet introduceres Goppakoder, som man normalt forbinder McElieces kryptosystem med. Endelig afsluttes rapporten med en opsummering af de 5 hoveddele i kapitel 9. Referencerne i rapporten er inddelt i tre typer. Referencer, der kun består af et tal, henviser internt i rapporten til f.eks. sætning 2.. Tal i bløde parenteser henviser internt til ligninger i rapporten, f.eks. (2.5). Bogstaver kombineret med tal i hårde parenteser henviser til litteraturlisten, hvor der findes en beskrivelse af hvilken bog, der henvises til, f.eks. [JH00]. I slutningen af rapporten er inkluderet en symbolliste. På denne liste findes en beskrivelse af betydningen af de vigtigste symboler i denne rapport. iv

7 Indhold Introduktion. Kildekodning Kanalkodning Entropi og gensidig information 5 2. Entropi for én variabel Entropi for flere variable Gensidig information Kildekodning Entydige koder Krafts sætning McMillans sætning Huffmankoder Kildekodningssætningen Kanalkodningsteori Grundlæggende kodningsteori Minimumsafstand og minimumsvægt Dekodning Hamming- og Gilbert-Varshamov-grænsen Hammingkoder Reed-Solomon-koder Dataprocesseringsuligheden og Fanos ulighed Diskrete kanaler Dataprocesseringsuligheden Fanos ulighed Det asymptotiske ækvipartitionsprincip Store tals lov Det asymptotiske ækvipartitionsprincip Kanalkodningssætningen og kapaciteten Kanalkodningssætningen Tilfældige koder Opnåelse af kanalkapaciteten

8 8 Kodebaseret kryptografi McElieces kryptosystem McElieces kryptosystem med Hammingkoder Kompleksitetsklasser Goppakoder Opsummering 09 Litteratur 0

9 Kapitel Introduktion Dette projekt omhandler væsentlige elementer indenfor både informationsteori og kodningsteori. Der er to hovedområder indenfor disse to tæt relaterede begreber, nemlig kildekodning og kanalkodning. Kildekodning refereres ofte til som Noiseless Coding, hvor kanalkodning refereres til som Noisy Coding. Kildekodning omhandler komprimering af data, hvorimod kanalkodning handler om beskyttelse af data, når der transmitteres over en støjfyldt kanal. Flere emner indenfor de to hovedområder relaterer sig til begreberne entropi og gensidig information, hvorfor betinget entropi og betinget gensidig information samt diverse egenskaber indenfor begge felter vil blive gennemgået i projektet. Desuden ses blandt andet på Markovkæder, kanalkapacitet og typiske sekvenser, som alle er vigtige begreber indenfor kanalkodning. Indenfor hver af de to hovedområder er en hovedsætning, som er af yderst væsentlig karakter, nemlig kildekodningssætningen og kanalkodningssætningen, som ses som værende de to vigtigste sætninger indenfor deres respektive områder. Kildekodningssætningen siger, at vi kan repræsentere en diskret hukommelsesfri kilde over et r-ært alfabet, således at den vægtede gennemsnitslængde af kodeord ikke er større end den r-ære entropi for kilden plus. Det er desuden ikke muligt at komprimere således, at gennemsnitslængden bliver mindre end den r-ære entropi for kilden. I forbindelse med kildekodning vil vi ligeledes inddrage Krafts sætning og McMillans sætning, idet disse angiver vigtige egenskaber indenfor kildekodning. Kanalkodningssætningen siger, at vi kan opnå en arbitrært lille, men positiv, fejlsandsynlighed hvis overførselshastigheden er under kanalens kapacitet. Ulempen ved sætningen er, at den ikke siger noget om, hvorledes vi laver koder med en sådan lille fejlsandsynlighed, men blot at det er muligt. Som indledende til beviset for kanalkodningssætningen ser vi bl.a. på to vigtige uligheder, dataprocesseringsuligheden og Fanos ulighed, som er af stor betydning for gennemførelsen af beviset. Vi vil i forbindelse med kanalkodning se på generelle egenskaber ved lineære koder, og på hvad minimumsafstanden for en kode siger om kodens evne til at rette fejl. I forbindelse med gennemgangen af kanalkodning og kildekodning ser vi på nogle konkrete

10 koder og giver eksempler med disse. Vi ser indenfor kildekodning på Huffmankoder, og indenfor kanalkodning ser vi på Hammingkoder og Reed-Solomon-koder. Vi vil desuden se på kodebaseret kryptografi igennem McElieces kryptosystem. Her gives der et konkret eksempel på anvendelsen af McElieces kryptosystem med Hammingkoder. I forbindelse med kodebaseret kryptografi ses ligeledes på Goppakoder og kompleksiteten af dekodning af disse, der giver grundlaget for sikkerheden i kryptosystemet. Vi vil nu give en kort introduktion til de to former for kodning, som vi vil betragte i forbindelse med kommunikation over støjfyldte kanaler.. Kildekodning Kildekodning handler om, hvordan man behandler data ved selve kilden. Det kan altså ses som teorien om, hvordan data kan komprimeres, så der kan sendes mere data hurtigere. Den nemmeste måde at forstå denne form for komprimering, er ved at se et eksempel på, hvordan dette kan gøres. Eksempel.: Man kan forestille sig, at man vil sende en besked indeholdende tegnene a, b og c, der indkodes binært, som følger. a = 00 b = 0 c =. Da alle indkodninger er af længde to, skal der i gennemsnit sendes 2 bits, hver gang et tegn skal sendes. For at komprimere disse data skal vi kende sandsynligheden for hvert tegn. Sandsynlighedsfordelingen kunne se ud som følger. p(a) = 0, p(b) = 0, p(c) = 0, 8. Nu kan vi konstruere en komprimeret indkodning for a, b og c, hvor der i gennemsnit skal sendes færre bits per tegn. Således kan sendes a = 00 b = 0 c = i stedet for det oprindelige. Dette vil give en gennemsnitslængde på len(x)p(x) =, 2. x {a,b,c} Så nu vil der i gennemsnit blive brugt, 2 bits per tegn, hvilket er en væsentlig forbedring set i forhold til den oprindelige indkodning, hvor hvert tegn krævede 2 bits. Der vil I kapitlet om kildekodning blive gået i dybden med teorien bag denne form for kodning, samt hvordan man laver en god indkodning. Derudover vil der blive givet en algoritme til at konstruere den bedst mulige indkodning. 2

11 .2 Kanalkodning Vi vil her give en uformel beskrivelse af kanalkodning med et simpelt eksempel på en intuitiv løsning. Først defineres en kanal. Definition.2: En diskret kanal defineres til at være et system bestående af et inputalfabet X, et outputalfabet Y og en overgangsmatrix p(y x), der angiver sandsynligheden for, at outputsymbolet bliver y givet at inputsymbolet var x. Når der udveksles information mellem kommunikerende parter, en afsender Alice og en modtager Bob, kan der opstå forskellige fejltransmitteringer mellem disse parter. Der kan altså forekomme støj på en linje, der bruges til kommunikation. Der ønskes altid en så sikker og troværdig transmission som muligt, og hvis der skulle ske fejl under transmission, ønskes det, at det for indviede parter er så let eller så hurtigt som muligt at finde og korrigere disse fejl. For eksempel hvis Alice vil sende en besked til Bob gennem kanalen K, kan der på K være så meget støj, at det ikke er muligt for Bob at forstå beskeden, da den er ødelagt af støjen. Det er derfor relevant at kunne finde og korrigere fejl. Hvis data bliver sendt binært som 0 er og er, kan kanalen se ud som på figur.. Der er her tale om en binær symmetrisk kanal uden hukommelse, hvilket vil sige, at den ikke tager højde for, hvad der er sendt tidligere. Denne binære kanal er et simpelt eksempel, da der findes mange andre kanaler over andre alfabeter og med flere egenskaber. 0 p -p 0 p -p Figur.: Illustration af en binær symmetrisk kanal uden hukommelse. Støjen på en kanal kan beskrives som en sandsynlighed for fejl p. Som det ses på figur., er der for denne kanal p sandsynlighed for, at det er det rigtige tegn, der modtages og p sandsynlighed for, at det er blevet fejltransmitteret. Den mest oplagte idé til at løse dette problem er at tilføje redundans i beskeden. Hvis man for eksempel vil sende tegnet, sender man i stedet, så man sender det samme tegn tre gange, og derved øges sandsynligheden for, at den oprindelige besked modtages, idet der skal være sket fejl på over halvdelen af pladserne, der repræsenterer ét tegn, i dette tilfælde. 3

12 På figur.2 ses de fem delprocesser for kommunikation af beskeden 00. Der bliver introduceret fejl i transmissionen over den støjfyldte kanal, hvorefter der bliver dekodet, hvilket vil sige, at der først bliver fejlkorrigeret, og derefter bliver beskeden afkodet, så den oprindelige besked kan læses. Afsender Sender en besked 00 Indkodning Indkoder beskeden Kanal Introducerer fejl Modtager Dekodning Aflæser beskeden 00 Fejlkorrigerer og afkoder beskeden Figur.2: Model over delprocesserne der er involveret i kommunikationsprocessen. Ved hjælp af denne simple indkodning er det kun muligt at korrigere fejl, hvis der ikke er for mange. Kodetypen i disse eksempler kaldes en repetitionskode, og man kunne forestille sig, at det er muligt at repetere det tegn man vil sende nok gange, og derved skabe større sikkerhed for at kunne korrigere eventuelle fejl. Dette kommer dog med en høj pris, da overførselshastigheden bliver lavere proportionalt med den redundans, der tilføjes. Igennem resten af rapporten vil et af de gennemgående emner være at finde og beskrive gode måder, hvorpå man kan lave ind- og dekodninger, der kan korrigere mange fejl uden at gå for meget på kompromis med overførselshastigheden. 4

13 Kapitel 2 Entropi og gensidig information Begreberne entropi og gensidig information er to tæt relaterede størrelser. Der gælder mange af de samme egenskaber for begge begreber, og den gensidige information kan beskrives direkte ved entropien. Ligeledes gælder flere kæderegler både for entropien og den gensidige information, og begge kan vurderes i forbindelse med én eller flere stokastiske variable. Entropi ses taget i anvendelse, når man laver forsøg med en kilde, og ses som værende usikkerheden af en stokastisk variabel, hvorimod den gensidige information siger noget om, hvor meget information en stokastisk variabel indeholder om en anden stokastisk variabel. 2. Entropi for én variabel Dette afsnit er skrevet ud fra [Rom92, afsnit. og.2]. Entropien er en måde, hvorpå vi kan måle mængden af information for en informationskilde. Vi vil nu se nærmere på entropien H for én stokastisk variabel. Vi vil se på hvilke kriterier, der gælder for entropien for en stokastisk variabel, hvilke egenskaber den har, og hvad entropien kan bruges til. Først må vi definere, hvad en kilde er, hvilket er givet ved følgende definition. Definition 2.: En kilde er et ordnet par S = (S, P ), hvor S = {x,..., x n } er en endelig mængde, kaldet et kildealfabet, og P er sandsynlighedsfordelingen på S. Sandsynligheden for x i noteres p i og P = {p,..., p n }. Inden der foretages et forsøg med en kilde, er der en vis usikkerhed forbundet med udfaldet af forsøget, og efter forsøget er der opnået en vis mængde information omkring kilden. Hvis vi f.eks. har en kilde, hvor p = og p i = 0 for i >, så vil udfaldet af forsøget altid være elementet x. Derfor er der ingen usikkerhed omkring udfaldet af forsøget, hvormed entropien er 0, og der opnås dermed ingen information ved forsøget. Hvis der derimod 5

14 er tale om en kilde, hvor p i = n for i =,..., n, ved vi intet om udfaldet af et forsøg og har derfor maksimal usikkerhed, hvormed entropien er, og vi får dermed maksimal information om kilden ved et forsøg. Entropien er en funktion H, der beskriver usikkerheden for eksperimenter med en pågældende kilde. Den siger dermed noget om, hvor meget information man får ved et eksperiment med kilden. Der ønskes en funktion H(p,..., p n ) R, som beskriver usikkerheden af et udfald, hvor p,..., p n er sandsynligheder. Funktionen H afhænger kun af sandsynlighedsfordelingen og ikke af elementerne i kildealfabetet. Vi ønsker, at H er defineret for alle p,..., p n, som opfylder, at 0 p i og pi =. Definition 2.2: Entropien H(X) af en diskret stokastisk variabel X er defineret som H(X) = x X p(x) log p(x). Dette kan også skrives som H(X) = E p(x) log p(x), hvor E er den forventede værdi, som er defineret som følger. Hvis en stokastisk variabel X er fordelt på p(x), er den forventede værdi for den stokastiske variabel g(x) givet ved E p(x) g(x) = p(x)g(x). x X Denne notation kan anvendes for flere variable, men vi vælger kun at bruge denne, hvis der er flere end to variable. Det er meget vigtigt at bemærke, at der gælder følgende tre kriterier for entropien H.. H(p,..., p n ) skal være defineret og kontinuert for alle p,..., p n, da en lille ændring i sandsynlighedsfordelingen, kun resulterer i en lille ændring i H. 2. H ( n,..., ) ( ) n < H n+,..., n+ for n Z +, således at når alle udfald er lige sandsynlige, er usikkerheden større jo flere mulige udfald der er. 3. Hvis kildealfabetet S = {x,..., x n } inddeles i ikke-tomme og disjunkte blokke B,..., B k, hvor B j = b j og b j = n, så gælder der, at ( H n,..., ) ( b = H n n,..., b ) k + n k ( b i n H,..., ) b i b i for b i Z + og b i = n. Der gælder altså, at usikkerheden af et udfald ved et direkte forsøg med kilden S, er 6

15 det samme som usikkerheden af et udfald ved først at vælge en blok af kildealfabetet plus usikkerheden ved at vælge et element i denne blok. Vi har følgende lemma om forholdet mellem to sandsynlighedsfordelinger. Lemma 2.3: Lad P = {p, p 2,..., p n } være en sandsynlighedsfordeling, hvor 0 p i og p i =. Lad ligeledes Q = {q, q 2,..., q n } være en sandsynlighedsfordeling, hvor 0 q i og qi. Så gælder det, at n p i log p i n p i log, q i hvor vi definerer 0 log 0 = 0 og p log 0 p i = q i for alle i. = for p > 0. Der gælder kun lighed, hvis Bevis: Beviset er at finde i [Rom92, p. 22]. Med dette lemma kan vi vise følgende sætning. Sætning 2.4: Lad X være en diskret stokastisk variabel med udfaldsrum {x,..., x n }. Så gælder det, at 0 H(X) log n. Desuden gælder det, at H(X) = log n hvis og kun hvis p i = n hvis og kun hvis p i = for et tilfældigt i. for alle i, og H(X) = 0 Bevis: Vi viser først det andet ulighedstegn, altså H(X) log n. Sæt Q = { n,..., n }. Vi ved således fra lemma 2.3, at H(X) = n p i log p i = n p i log n n = log n = n p i log p i n p i log n p i = log n. Vi ved desuden, at der kun gælder lighed, hvis p i = q i for alle i, hvilket vil sige, at der kun gælder lighed, når p i = n for alle i. Vi viser nu det første ulighedstegn, altså H(X) 0. Vi ved, at H(X) = n p i log p i 0, idet 0 p i, og dermed log p i 0. Hermed har vi en sum over ikke-negative tal. 7

16 Det skal bemærkes, at hvis log = log n, så gælder det, at H(X) log n n =. Vi indfører et lemma, som benyttes i beviset for en hovedsætning om entropien. Lemma 2.5: Lad g(n) = H ( n,..., n) opfylde., 2. og 3. side 6. Så gælder der, at i. g(m s ) = s g(m) for alle m, s Z +. ii. g(n) er en strengt voksende funktion for n voksende. iii. g(n) er positiv. Bevis: i. Vi ved at m m s og lader b i = m for alle i =,..., k. Så har vi fra 3., at mk = k b i = m s og dermed også, at ( ) H m s,..., ( m m s = H m s,..., m ) m s + ii. Dette følger af 2. k ( ) = H m s,..., m s + = g(m s ) + km m s g(m) g(m s ) = g(m s ) + g(m) ( m m s H m,..., ) m k ( m m s H m,..., ) m = g(m s 2 ) + g(m) + g(m) = = s g(m). iii. Idet g(n) er en strengt voksende funktion, har vi, at g(m s ) < g(m s+ ) s g(m) < (s + ) g(m). Da s, m Z + og s < s + ses det, at uligheden kun gælder for g(m) > 0. Med dette lemma er vi nu i stand til at bevise følgende hovedsætning om entropien. Sætning 2.6: En funktion H opfylder., 2. og 3. side 6 hvis og kun hvis funktionen har formen hvor b >, og f(p i ) = n n H b (p,..., p n ) = p i log b p i = f(p i ), { pi log b p i for p i 0 0 for p i = 0. 8

17 Bevis: Vi ønsker at vise, at en funktion, der opfylder., 2. og 3., har formen H b (p,..., p n ) = n p i log b p i = n p i log b p i. Vi antager derfor, at H opfylder., 2. og 3. og vælger m fastholdt og lader t og r være vilkårlige positive heltal. Vi vælger s, så Fra lemma 2.5 ved vi, at m s < r t < m s+. (2.) g(m s ) < g(r t ) < g(m s+ ) Lad nu log være log 2 og udnyt (2.), så s g(m) < t g(r) < (s + ) g(m) s t < g(r) g(m) < s +. (2.2) t s log m <t log r < (s + ) log m s t < log r log m < s +. (2.3) t Nu sammenfattes (2.2) og (2.3), idet vi ser på udtrykkenes minimumsgrænser og maksimumsgrænser, og vi får, at t < g(r) g(m) log r log m < t. (2.4) Hvis vi ser på grænseværdien for udtrykket i midten af (2.4), ser vi, at ( g(r) lim t g(m) log r ) = 0. log m Hermed har vi, at Udtrykket g(m) log m g(r) g(m) = log r log m g(r) = g(m) log r. log m er en konstant for alle r > 0. Desuden gælder der, at g(m) log m > 0, da vi fra lemma 2.5 ved, at g(m) > 0, og vi ved desuden, at log 2 m > 0, idet vi arbejder med sandsynlighedsfordelinger. Derfor har vi, at m. Vi kan så skrive, at g(r) = k log r, 9

18 hvor k > 0. Vi kan for en passende base vælge k =, så for alle r > 0. Det ses, at b > for log b, idet g(r) > 0 fra lemma 2.5, så g(r) = log b r, (2.5) g(r) < g(r + ) log b r < log b (r + ) b >. Da elementerne i enhver sandsynlighedsfordeling P = {p,..., p k }, hvor p,..., p k Q og p i =, kan omskrives til brøker med fælles nævner så ( b n,..., b k n ), kan vi ifølge 3. og (2.5) skrive ( b H n,..., b ) k = g(n) n = log b n = = k k k k b i n g(b i) b i n log b b i b i n (log b n log b b i ) b i n log b b i = n k p i log b p i = k p i log b p i. Det er nu vist, at entropien må have denne form for alle rationelle tal. Dette kan overføres til de reelle tal, idet vi for ethvert reelt tal kan skrive en brøk, som enten er dette tal eller kan komme uvilkårligt tæt på det. Hermed må entropien H have denne form, og det ønskede er netop vist. Vi ønsker at vise, at en funktion på formen opfylder., 2. og 3. H b (p,..., p n ) = k p i log b p i = k p i log b p i ad. Vi ønsker at vise, at H(p,..., p n ) er defineret og kontinuert for alle p,..., p n. Idet funktionen afhænger af logaritmefunktionen, der er kontinuert og veldefineret for alle andre punkter end 0, er funktionen altså defineret for alle værdier, idet vi har defineret værdien til at være 0 for p i = 0, så { pi log f(p i ) = b p i for p i 0 0 for p i = 0. Der er nu kun tilbage at vise, at funktionen også er kontinuert for p = 0. 0

19 Vi omskriver, idet p log p = log p p mod 0 og får, at = k ln p p og beregner grænseværdien, når p går k ln p lim p 0 + p = lim p 0 + k p p 2 = k lim p 0 + p = 0. Første omregning følger af l Hôpitals regel (se [EP08, afsnit 7.2]), som siger, at hvis lim f(x) = ± lim g(x) = ± x c x c og f (x) lim x c g (x) = L, så er f(x) lim x c g(x) = L. Da begge udtryk i brøken går mod henholdsvis plus og minus uendelig, kan vi derfor differentiere både over og under brøkstregen og finde en grænseværdi for dette udtryk. Da grænseværdien for funktionen når p 0 svarer til vores definerede værdi 0 for p = 0, er funktionen kontinuert omkring punktet p = 0 og dermed omkring alle værdier. ad 2. Vi ønsker at vise, at H ( n,..., n Ved omregning ses, at ( H n,..., ) = n n ) < H ( n log b n+,..., n+ n ). = n n log b n = log b n. På samme måde er ( ) H n +,..., = log n + b (n + ). Idet logaritmefunktionen er voksende for b > 0, har vi ( log b n < log b (n + ) H n,..., ) < H n ad 3. Vi ønsker at vise, at ( H n,..., ) ( b = H n n,..., b ) k + n k ( n +,..., n + ( b i n H,..., ). b i b i ). Vi ved, at ( H n,..., ) = log n b n,

20 og ønsker at vise, at højresiden er det samme. Ved omregning fås ( b H n,..., b ) k + n k Den ønskede lighed er altså vist. ( b i n H,..., ) b i b i = = = k k k = log b n. b i n log b i k b n + b i n log b b i b i n (log b b i log b b i n ) b i n log b n Vi kan ved hjælp af denne hovedsætning bevise efterfølgende sætning. Denne sætning beskriver, hvordan vi kan dele entropien op, så vi i stedet for at se på hele sandsynlighedsfordelingen på én gang inddeler fordelingen i blokke. Vi ser således først på entropien af den valgte blok, hvorefter vi tager en middelværdi, idet blokkene varierer i størrelse, for så til sidst at multiplicere dette med entropien for valget i blokken. Sætning 2.7: Lad P = (p,..., p n, p 2,..., p 2n2,..., p k,..., p knk ) være en sandsynlighedsfordeling, n j og lad a j = p j p jnj = p ji for j =,..., k. Så er H(P ) = H(a,..., a k ) + k j= ( pj a j H,..., p ) jn j. (2.6) a j a j Bevis: Vi starter med at lave en omskrivning af venstresiden i (2.6), så H(p,..., p knk ) = n k j p ji log p ji. (2.7) j= 2

21 Vi ønsker nu at vise, at højresiden giver samme resultat, og vi omskriver derfor, så k ( pj H(a,..., a k ) + a j H,..., p ) jn j a j= j a j n k k j ) p ji = a i log a i + a j ( log p ji a j= j a j n k k j = p ji a i log a i + a j log p ji a j k = a i log a i + k = a i log a i + j= a j n k j p ji (log p ji log a j ) j= n k j p ji log p ji j= n k j p ji log a j. j= n j Da vi har, at p ji = a j, ses det, at H(a,..., a k ) + k j= ( pj a j H,..., p ) jn j a j a j k = a i log a i + = Hermed ses det, at (2.6) er sand. n k j p ji log p ji j= k a j log a j j= (2.8) n k j p ji log p ji. (2.9) j= Følgende korollar er et specialtilfælde af sætning 2.7 og bevises derfor ikke. I dette tilfælde er k = 2, og for at simplificere benævnes den anden række af p er med q er. Korollar 2.8: Lad {p,..., p n, q,..., q m } være en sandsynlighedsfordeling. Hvis så er H(p,..., p n, q,..., q m ) = H(a, a) + ah a = p + + p n = n p i, (2.0) ( p a,..., p ) ( ) n q + ( a)h a a,..., q m. a 3

22 2.2 Entropi for flere variable Dette afsnit er skrevet ud fra [CT06, afsnit 2.2 og 2.5]. Vi kender nu til entropien for én stokastisk variabel og ønsker at udvide dette til flere variable. Vi ser altså på den samhørende entropi for flere variable og den betingede entropi. Desuden vil vi gennemgå en række kæderegler for entropien af flere variable, hvilke er af stor relevans for senere beviser af vigtige sætninger. Definition 2.9: Den samhørende entropi H(X, Y ) for to diskrete stokastiske variable X og Y med simultanfordelingen p(x, y) defineres som H(X, Y ) = p(x, y) log p(x, y). x X y Y Vi ønsker også at definere den betingede entropi af en stokastisk variabel givet en anden stokastisk variabel. Definition 2.0: Hvis (X, Y ) er fordelt på p(x, y), så er den betingede entropi H(X Y ) defineret som H(X Y ) = y Y p(y)h(x Y = y). Følgende sætning er en omskrivning af definitionen. Sætning 2.: Hvis (X, Y ) er fordelt på p(x, y) kan den betingede entropi H(X Y ) omskrives til H(X Y ) = p(x, y) log p(x y). x X y Y Bevis: Den betingede entropi H(X Y ) omskrives som følger. ( ) p(y)h(x Y = y) H(X Y ) = y Y ( ) = p(y) p(x y) log p(x y) y Y x X = p(x, y) log p(x y). x X y Y 4

23 Det gælder generelt, at hvis vi arbejder med flere stokastiske variable, så kan vi vælge at betragte samhørende variable som én samlet. For eksemplets skyld ses på ligningen H(X Y, Z). Hvis vi vælger at betragte Y, Z som en samlet variabel kan vi uden videre omskrive, idet vi ved, at H(X Y ) = p(x, y) log p(x y), x X y Y så vi får, at H(X Y, Z) = E p(x,y,z) log p(x Y, Z). Dette gælder generelt for stokastiske variable og deres tilhørende sandsynlighedsfordelinger. Ovenstående sætninger og definitioner er helt naturlige, hvilket også ses ved det faktum, at entropien af to stokastiske variable er entropien af den ene plus den betingede entropi af den anden. Dette bevises ved følgende sætning, hvor vi dog først laver en definition til brug i beviset for sætningen. Definition 2.2: For sandsynlighedsfordelingen for to uafhængige stokastiske variable gælder, at p(x) = y Y p(x y)p(y) = y Y p(x, y), idet vi ved, at y Y p(y) =. Dette kan udvides til flere variable. Vi er nu klar til at betragte sætningen om entropien af to stokastiske variable. Sætning 2.3 (Kæderegel for entropi): Der gælder om den samhørende entropi, at H(X, Y ) = H(X) + H(Y X). 5

24 Bevis: Kædereglen for entropi kan udledes som følger. H(X, Y ) = p(x, y) log p(x, y) x X y Y = p(x, y) log(p(x)p(y x)) x X y Y = p(x, y) log p(x) p(x, y) log p(y x) x X y Y x X y Y = p(x) log p(x) p(x, y) log p(y x) (per definition 2.2) x X x X y Y = H(X) + H(Y X). Korollar 2.4: Det gælder for den samhørende betingede entropi, at Bevis: Korollaret kan bevises som følger. H(X, Y Z) = H(X Z) + H(Y X, Z). H(X, Y Z) = E p(x,y,z) log p(x, Y Z) p(x, Y, Z) = E p(x,y,z) log p(z) p(y X, Z)p(X, Z) = E p(x,y,z) log p(z) p(y X, Z)p(X Z)p(Z) = E p(x,y,z) log p(z) = E p(x,y,z) log p(y X, Z)p(X Z) = E p(x,y,z) log p(y X, Z) E p(x,y,z) log p(x Z) = H(Y X, Z) p(x, z) log p(x z) (per definition 2.2) x X z Z = H(Y X, Z) + H(X Z) Bemærk at H(Y X) H(X Y ), men H(X) H(X Y ) = H(Y ) H(Y X), hvilket følger af kædereglen. Korollar 2.5: Lad X være en stokastisk variabel. Der gælder for den betingede entropi, at H(X X) = 0 samt H(X Y ) = 0 for X = f(y ). 6

25 Bevis: Vi ved fra kædereglen (sætning 2.3), at H(X, Y ) = H(X) + H(Y X). Derfor har vi, at H(X, X) = H(X) + H(X X) H(X) = H(X) + H(X X) 0 = H(X X). Det vil altså sige, at entropien af en stokastiske variabel betinget med sig selv er lig nul. Dette kan overføres til det tilfælde, hvor X = f(y ), for hvis vi kender Y, kender vi ligeledes X, og derfor er H(X Y ) = 0, hvis X = f(y ), idet der så ingen usikkerhed er på udfaldet X. Det viser sig, at entropien for flere stokastiske variable er summen af de betingede entropier. Sætning 2.6 (Kæderegel 2 for entropi): Lad X, X 2,..., X n være taget over p(x, x 2,..., x n ). Så gælder der, at H(X, X 2,..., X n ) = n H(X i X i,..., X ). Bevis: Vi kan omskrive entropien for flere stokastiske variable, således at H(X, X 2 ) = H(X ) + H(X 2 X ), (fra sætning 2.3) H(X, X 2, X 3 ) = H(X ) + H(X 2, X 3 X ) = H(X ) + H(X 2 X ) + H(X 3 X 2, X ), (fra korollar 2.4). H(X, X 2,..., X n ) = H(X ) + H(X 2 X ) + + H(X n X n,..., X ) n = H(X i X i,..., X ). Kædereglen for entropi er hermed bevist. 2.3 Gensidig information Dette afsnit er skrevet ud fra [CT06, afsnit 2.3, 2.5 og 2.6]. Nu vil vi se på den gensidige information, som er et mål for, hvor meget information en stokastisk variabel indeholder om en anden stokastisk variabel. Det er altså reduktionen i usikkerhed på den ene stokastiske variabel ved kendskab til den anden. Før vi kan definere den gensidige information, må vi kende til den relative entropi, hvorfor vi introducerer denne først. 7

26 Definition 2.7: Den relative entropi mellem to simultane sandsynlighedsfunktioner p(x) og q(x) er defineret som D(p q) = p(x) log p(x) q(x). x X Bemærk, at vi benytter konventionerne 0 log 0 0 = 0, 0 log 0 q = 0 og p log p 0 =. Det vil altså sige, at hvis der er et symbol x X, således at p(x) > 0 og q(x) = 0, så er D(p q) =. Med dette på plads er vi klar til at introducere den gensidige information. Definition 2.8: Betragt to stokastiske variable X og Y med simultan sandsynlighedsfunktion p(x, y) og marginale simultane sandsynlighedsfunktioner p(x) og p(y). Den gensidige information I(X; Y ) er den relative entropi mellem den simultane fordeling og produktet af de to fordelinger p(x) og p(y), så I(X; Y ) = D(p(x, y) p(x)p(y)) = p(x, y) p(x, y) log p(x)p(y). x X y Y Vi har følgende sætning om gensidig information. Sætning 2.9: For to stokastiske variable X og Y gælder, at. I(X; Y ) = H(X) H(X Y ). 2. I(X; Y ) = H(Y ) H(Y X). 3. I(X; Y ) = H(X) + H(Y ) H(X, Y ). 4. I(X; Y ) = I(Y ; X). 5. I(X; X) = H(X). 8

27 Bevis: Bevis for. Vi kan omskrive definitionen af gensidig information, således at I(X; Y ) = p(x, y) p(x, y) log p(x)p(y) x X y Y = p(x, y) log p(x y) p(x) x X y Y = p(x, y)(log p(x y) log p(x)) x X y Y = p(x, y) log p(x) + p(x, y) log p(x y) x X y Y x X y Y = p(x) log p(x) p(x, y) log p(x y) (per definition 2.2) x X x X y Y = H(X) H(X Y ) Bevis for 2. Per symmetri følger også, at I(X; Y ) = H(Y ) H(Y X), så X og Y siger lige meget om hinanden. Bevis for 3. Idet H(X, Y ) = H(X) + H(Y X) (se sætning 2.3) har vi, at Bevis for 4. Fra 3. følger, at I(X; Y ) = H(X) + H(Y ) H(X, Y ). I(X; Y ) = H(X) + H(Y ) H(X, Y ) = H(X) + H(Y ) H(Y, X) = I(Y ; X). Bevis for 5. Det gælder, at I(X; X) = H(X) H(X X) = H(X). Altså er den gensidige information for en stokastisk variabel med sig selv lig med entropien for den stokastiske variabel. Af denne grund kaldes entropi sommetider for selvinformation. Der gælder følgende korollar om den gensidige information. Korollar 2.20: For ethvert par af stokastiske variable X og Y, gælder der om den gensidige information, at I(X; Y ) 0, hvor der gælder lighedstegn hvis og kun hvis X og Y er uafhængige. 9

28 Bevis: Beviset er at finde i [CT06, p. 28]. Med dette korollar er vi nu i stand til at bevise følgende sætning om betinget entropi. Sætning 2.2: For en stokastisk variabel X givet en stokastisk variabel Y, gælder at H(X Y ) H(X), hvor der gælder lighedstegn hvis og kun hvis X og Y er uafhængige. Bevis: 0 I(X; Y ) = H(X) H(X Y ) H(X Y ) H(X). Det ses ligeledes, at idet den gensidige information I(X; Y ) kun er 0, når X og Y er uafhængige, så er H(X) H(X Y ) også kun 0, når X og Y er uafhængige, hvormed vi har, at H(X) = H(X Y ), hvis X og Y er uafhængige. Vi har følgende definition af den betingede gensidige information. Definition 2.22: Den betingede gensidige information af stokastiske variable X og Y givet Z er defineret som I(X; Y Z) = H(X Z) H(X Y, Z). Følgende sætning er en udvidelse af denne definition. Sætning 2.23: Den betingede gensidige information af stokastiske variable X og Y givet Z kan skrives som p(x, Y Z) I(X; Y Z) = E p(x,y,z) log p(x Z)p(Y Z) 20

29 Bevis: Vi omregner den betingede gensidige information af stokastiske variable X og Y givet Z, så I(X; Y Z) = H(X Z) H(X Y, Z) = H(X Z) (H(X, Y, Z) H(Y, Z)) (fra sætning 2.3) = H(X Z) H(X, Y, Z) + H(Y Z) + H(Z) = H(X Z) + H(Y Z) (H(X, Y, Z) H(Z)) = H(X Z) + H(Y Z) H(X, Y Z) = p(x, z) log p(x z) p(y, z) log p(y z) + E p(x,y,z) log p(x, Y Z) x X z Z y Y z Z = E p(x,y,z) log p(x Z) E p(x,y,z) log p(y Z) + E p(x,y,z) log p(x, Y Z) (per definition 2.2) = ( E p(x,y,z) log p(x Z) + E p(x,y,z) log p(y Z) ) + E p(x,y,z) log p(x, Y Z) = E p(x,y,z) log p(x Z)p(Y Z) + E p(x,y,z) log p(x, Y Z) = E p(x,y,z) log p(x, Y Z) p(x Z)p(Y Z). Med ovenstående definition er vi i stand til at bevise følgende kæderegel for gensidig information, hvilken vi skal bruge for senere at være i stand til at bevise dataprocesseringsuligheden. Sætning 2.24 (Kædereglen for information): Givet de stokastiske variable X, X 2,..., X n, Y gælder, at n I(X, X 2,..., X n ; Y ) = I(X i ; Y X i, X i 2,..., X ). Bevis: Ved at bruge sætning 2.9 del. udvidet kan vi omskrive, så I(X, X 2,..., X n ; Y ) = H(X, X 2,..., X n ) H(X, X 2,..., X n Y ) n = H(X i X i,..., X ) H(X, X 2,..., X n Y ). Vi kan omskrive det sidste udtryk, så (fra sætning 2.6) H(X, X 2,..., X n Y ) = H(X, X 2,..., X n, Y ) H(Y ) ( fra sætning 2.3) = H(Y ) + H(X Y ) + H(X 2 X, Y ) + + H(X n X n,..., X, Y ) H(Y ) (fra sætning 2.6) = H(X Y ) + H(X 2 X, Y ) + + H(X n X n,..., X, Y ) n = H(X i X i,..., X, Y ). 2

30 Vi indsætter nu dette udtryk, og vi får, at I(X, X 2,..., X n ; Y ) = = = n H(X i X i,..., X ) n n H(X i X i,..., X, Y ) ( ) H(X i X i,..., X ) H(X i X i,..., X, Y ) n I(X i ; Y X, X 2,..., X i ). (per definition 2.22) Hermed er kædereglen for information bevist. 22

31 Kapitel 3 Kildekodning Vi vil i dette kapitel se på forskellige begreber om og egenskaber ved kildekoder. Det kan f.eks. være at foretrække, at en kode er entydigt dechifrerbar, at den kan læses lige så snart denne modtages, og at den gennemsnitlige kodeordslængde for et indkodningsskema er så lille som muligt. Sidstnævnte kan ses som et resultat af McMillans sætning, som vi også vil se på i dette kapitel. Desuden er det interessant at se på, hvordan det kan bestemmes, om der findes en instantan kode for givne kodeordslængder, hvilket vi vil se på gennem Krafts sætning. Generelt anvendes kildekodning til komprimering af data. Oftest ønskes en formindskelse af gennemsnitslængden for transmitterede kodeord for dermed at kunne opnå en hurtigere transmission. 3. Entydige koder Dette afsnit er skrevet ud fra [Rom92, afsnit 2.]. Vi vil nu se, hvad det vil sige, at en kode er entydigt dechifrerbar. Vi vil se på instantane koder, i forbindelse med hvilke præfiksfri koder også er nødvendige. Alle disse størrelser vil vi definere i det følgende, og vi vil desuden give en række konkrete eksempler på koder indeholdende omtalte egenskaber. Hvis man betragter en form for transmission, hvor der ikke kan opstå fejl, vil det være oplagt at se nærmere på, hvordan vi indkoder data, så effektivt som muligt. For at gøre dette meningsfuldt, ønsker vi først at introducere nogle grundlæggende begreber. Definition 3.: Et kodealfabet er den endelige mængde A = {a,..., a n } af n symboler. Et ord over alfabetet A er enhver følge af elementer i A. Et ord noteres c i = a i a i2... a ik. Det tomme ord θ er det unikke ord, som ikke indeholder nogle symboler. Længden af et ord er antallet af symboler i ordet og betegnes len(c i ) eller l i. Mængden af alle mulige ord over alfabetet A noteres A. 23

32 En r-ær kode er en ikke-tom delmængde C af A. Størrelsen r af en kode kaldes kodens radix og definerer størrelsen af dens kodealfabet, og elementerne i koden kaldes kodeord. Vi kan nu definere indkodningen. Definition 3.2: Lad S = (S, P ) være en kilde. Et indkodningsskema for S er et ordnet par (C, f), hvor C er en kode, og f : S C er en injektiv funktion, som kaldes indkodningsfunktionen. Et indkodningsskema tildeler altså et kodeord fra C til ethvert kildesymbol i S. Det bør bemærkes, at ikke alle kodeord i en kode behøver at have samme længde. Hvis kodeordene i koden alle har samme længde kaldes koden en kode med fast længde eller en blokkode. En kode, hvor kodeordene har forskellige længder, kaldes en kode med variabel længde. Vi har følgende definition af den gennemsnitlige kodeordslængde. Definition 3.3 (Gennemsnitslængden): Gennemsnitslængden er for koden C = (c,..., c n ) med tilhørende sandsynlighedsfordelingen P = (p,..., p n ) givet ved AveLen(c,..., c n ) = n p i l i. Vi har desuden følgende definition af den mindste gennemsnitslængde. Definition 3.4 (Mindste gennemsnitslængde): MinAveLen r (p,..., p n ) betegner den mindste gennemsnitlige kodeordslængde blandt alle r-ære instantane koder for sandsynlighedsfordelingen p,..., p n. Det er selvfølgelig kun relevant at sammenligne indkodningsskemaers indkodningslængde hvis de har samme radix r. Vi vil senere bestemme den mindste gennemsnitlige kodeordslængde for et indkodningsskema. De næste definitioner omhandler begreber vedrørende væsentlige problemstillinger indenfor dekodning, såsom entydigt dechifrerbare koder, instantane koder og præfiksfri koder. 24

33 Definition 3.5: En kode C siges at være entydigt dechifrerbar, hvis der gælder, at når c,..., c k og d,..., d j er kodeord i C og c... c k = d... d j, så er k = j og c i = d i for alle i =,..., k. Eksempel 3.6 (Ikke entydigt dechifrerbar): Definer S = {a, b, c} og C = {0, 0, 00}, således at f(a) = 0, f(b) = 0, f(c) = 00. Det ses, at denne kode ikke er entydigt dechifrerbar, idet hvis ord 00 modtages, kan denne både dekodes som værende ab og c. Det samme ord kan altså repræsentere flere kodeord. Dette kan ofte være et problem, når der anvendes kodeord af varierende længder, som her. Dette kan dog undgås, hvilket fremgår af næste eksempel. Eksempel 3.7 (Entydigt dechifrerbar): Se på tilfældet, hvor S = {a, b, c, d} og C = {0, 0, 0, 0}, og f(a) = 0, f(b) = 0, f(c) = 0, f(d) = 0. Denne kode er entydigt dechifrerbar, idet ingen to ord kan forveksles med et andet. Ulempen ved denne kode er, at hvis 0 modtages, så ved vi ikke efter at have læst 0, hvorvidt dette er et a eller starten på et andet kodeord. Hvis vi læser 0 ved vi ligeledes ikke, om der er tale om b eller starten af et af de andre kodeord. Dette kan være en ulempe, da man er interesseret i så effektiv en kode som muligt, og det kan være en fordel at vide med sikkerhed, hvornår et kodeord er modtaget uden at være nødsaget til at kigge, hvad der kommer bagefter. Koden i eksempel 3.7 er entydigt dechifrerbar, men ikke instantan. Hvad det vil sige at være instantan fremgår af følgende definition. Definition 3.8: En kode siges at være instantan, hvis ethvert kodeord i enhver streng kan dekodes, lige så snart det modtages. Hvis en kode er instantan er den også entydigt dechifrerbar, men det modsatte er ikke nødvendigvis tilfældet. 25

34 Eksempel 3.9 (Entydigt dechifrerbar og instantan): Definer S = {a, b, c, d} og C = {0, 0, 0, 0}, og f(a) = 0, f(b) = 0, f(c) = 0, f(d) = 0. Ved dette tilfælde kan hvert enkelt kodeord dechifreres, lige så snart dette modtages, idet 0 virker som en kodeordsseperator. Vi har altså ikke det samme problem som i eksempel 3.7, og når vi for eksempel har læst ordet 0, er vi sikre på hvilket kodeord, der er tale om, og vi behøver derfor ikke at læse næste tegn for at aflæse kodeordet. Det ses, at denne kode er både entydigt dechifrerbar og instantan. Det viser sig, at en instantan kode er tæt forbundet med begrebet præfiksfri kode. Hvad en præfiksfri kode er, er beskrevet i følgende definition. Definition 3.0: En kode siges at være præfiksfri, hvis der gælder, at intet kodeord er præfiks af et andet kodeord. Så hvis x x 2... x n C, så gælder der, at x x 2... x k / C for k < n. Eksempel 3. (Præfiksfri): Se på koden C = {0, 0, 00}. Denne kode er ikke præfiksfri, idet 0 er præfiks af 0 og 00. Koden C = {, 0, 00} er præfiksfri, idet ikke er præfiks af 0 eller 00, og 0 er ikke præfiks af 00. Følgende sætning beskriver forholdet mellem instantane koder og præfiksfrie koder. Sætning 3.2: En kode C er instantan hvis og kun hvis den er præfiksfri. Bevis: Vi ønsker at vise, at en præfiksfri kode er instantan. Antag, at vi har en præfiksfri kode C = {c,..., c n }, og dermed er c ij... c jk præfiksfri. Det vil sige, at første gang vi har læst et ord, som kan være et kodeord, ved vi, at det netop er dette kodeord og ikke starten af noget andet kodeord. Det vil sige, at koden også er instantan. Vi ønsker nu at vise, at en instantan kode er præfiksfri. Dette vil vi vise med et kontrapositionsbevis, så vi viser, at en ikke præfiksfri kode er en ikke instantan kode. Antag, at vi har en kode, som ikke er præfiksfri, således at c j = c i x. Hvis vi modtager ordet c i c k og har læst c i, så ved vi ikke, om der rent faktisk er tale om kodeordet c i, eller om vi blot har læst starten af c j. Dermed er koden ikke instantan. 26

35 Vi har således vist, at hvis en kode ikke er præfiksfri er den heller ikke instantan, og dermed at instantan medfører præfiksfri. Med alle disse begreber og egenskaber for koder er vi nu i stand til at se på udvalgte sætninger indenfor kildekodningsteorien. 3.2 Krafts sætning Dette afsnit er skrevet ud fra [Rom92, afsnit 2.]. Følgende sætning, kaldet Krafts sætning, giver en forudsætning for at bestemme, hvorvidt der findes en instantan kode med givne kodeordslængder. Sætning 3.3 (Krafts sætning):. Hvis C er en r-ær instantan kode med kodeordslængder l,..., l n, så opfylder disse længder Krafts ulighed n r l k k=. 2. Hvis kodeordslængderne l,..., l n og r opfylder Krafts ulighed, så eksisterer der en r-ær instantan kode med kodeordslængder l,..., l n. Bevis: Bevis for. Vi ønsker at vise, at en r-ær instantan kodes kodeordslængder opfylder Krafts ulighed. Vi antager, at C er en r-ær instantan kode over alfabetet A med kodeordslængder l,..., l n. Lad L = max{l i i =,..., n}, og kodeord c i = x... x li C for i {, 2,..., n}. Hvis c i forlænges til c i, således at c i = x... x li y li+... y L, hvor y li+,..., y L A og l i < L, er c i ikke et kodeord, da C er en instantan kode og dermed præfiksfri. Da den maksimale kodeordslængde er L, er der L l i tomme pladser i et givent kodeord med længde l i, på hvilke vi kan forlænge. Derfor er der l i L rl li ugyldige kodeord af længde L, hvilket er summen af alle mulige kombinationer på disse pladser for hvert kodeord. Vi har, at l i L, idet vi ser, at ved l i = L har vi r L li = r 0, l i=l altså mindst ét ulovligt ord. Men dette er ikke muligt, for idet der ingen tomme pladser er, kan vi ikke lave nogle ulovlige ord. Derfor summer vi kun over de ord, hvor l i L. l i=l 27

36 Lad nu α L = {c i l i = L}, og r L er alle de ord, der kan forekomme. Så gælder, at r L li r L α L l i L ( r L l i ) + αl r L l i L r L li + l i L l i=l r L li r L l i r L li r L r L l i r li r L r li l i. li r l i Bevis for 2. Vi ønsker at vise, at hvis kodeordslængderne l,..., l n og et r opfylder Krafts ulighed, eksisterer der en r-ær instantan kode med disse længder. Vi vil nu konstruere en r-ær instantan kode C over alfabetet A = {a, a 2..., a r }, hvor kodeordene har længderne l,..., l n. Der indføres α j, der betegner antallet af kodeord med længden j, så α j = {c i l i = j} for j =, 2,..., L. Så er α antallet af kodeord med længden. Da r betegner antallet af symboler i alfabetet må α r, og vi kan konstruere kodeordene c = a, c 2 = a 2,..., c γ = a γ. Vi ser nu på α 2, som er kodeord med længden 2, hvilke kan vælges på r 2 forskellige måder. Men da C skal være en instantan kode og dermed præfiksfri, bliver vi nødt til at fjerne de kodeord, hvor nogle af de α kodeord, vi lige har konstrueret, er præfiks - altså fjerner vi de kodeord, som starter med c = a c 2 = a 2 c γ = a γ. Da der er α r af disse kodeord, får vi, at α 2 r 2 α r. Vi ønsker nu at vælge α 3 kodeord af længde 3. Der er r 3 af disse, men da vi igen ikke må lade nogle kodeord begynde med et af vores tidligere valgte kodeord, skal vi fjerne de α r 2 kodeord, der begynder med et af vores valgte kodeord af længde et og de α 2 r kodeord, der begynder med et af vores valgte kodeord af længde to. Dette giver os, at α 3 r 3 α 2 r α r 2. 28

37 Denne proces forsættes for at få følgende system af uligheder. α r α 2 r 2 α r α 3 r 3 α 2 r α r 2. α m r m α m r α 2 r m 2 α r m. Bemærk, at hver ulighed i systemet implicerer den forrige, så hvis den sidste ulighed er opfyldt, er de foregående også. Det skal bemærkes, at hvis vi på noget tidspunkt har lighed i en af ulighederne, vil der ikke eksistere ord af længde større end denne. Det vil sige, at hvis α k = r k α k r α 2 r k 2 α r k har vi α k+ = = α m = 0. Vi isolerer nu r m i den sidste ligning og omregner, så α m + α m r + + α 2 r m 2 + α r m r m α m r m + α m r m + + α 2 r 2 + α r m α k r k. Denne ulighed er ækvivalent med Krafts ulighed, idet vi i denne summation blot har samlet alle kodeord med samme længde i en brøk, hvorimod vi i Krafts ulighed har én brøk per kodeord. Vi har altså bevist, at vi kan konstruere en r-ær instantan kode C over alfabetet A = {a, a 2..., a r }, hvor kodeordene har længderne l,..., l n. k= Det skal konstateres, at denne sætning ikke siger noget om, hvordan en sådan kode ser ud, men blot at den eksisterer. Det kan desuden ikke konkluderes ud fra sætningen, at alle koder med kodeord, der opfylder Krafts ulighed, er instantane. 3.3 McMillans sætning Dette afsnit er skrevet ud fra [Rom92, afsnit 2.]. Det gælder, at Krafts ulighed er nødvendig og tilstrækkelig for eksistensen af en entydigt dechifrerbar kode. Det giver sig selv, at Krafts ulighed er tilstrækkelig, idet enhver instantan kode også er entydigt dechifrerbar. At uligheden også er nødvendig for at have en entydigt dechifrerbar kode ses i følgende sætning. Sætning 3.4 (McMillans sætning): Hvis C = {c,..., c n } er en entydigt dechifrerbar r-ær kode, så opfylder dens kodeordslængder l,..., l n for kodeordene i C Krafts ulighed n. li r 29

38 Bevis: Antag, at C = {c,..., c n } er en entydigt dechifrerbar r-ær kode, og at α k er antallet af kodeord i C af længden k. Vi definerer L = max{l i i =,..., n}. Så har vi, at n r li = L k= α k r k. Lad nu u være et positivt heltal og betragt mængden ( L k= α k r k ) u = Vi ganger ud og får ( α r + α 2 r α L r L ) u = ( α r + α 2 r α L r L ) u. i,i 2,...,i u i j L = i,i 2,...,i u i j L α i αi 2 αi u r i r i2 r iu α i α i2 α iu r i+i2+ +iu. Idet i j L ses det, at enhver sum i + + i u er mindst u og højst ul. Hvis vi samler de led, der har samme sum i + + i u, får vi hvor i,i 2,...,i u i j L α i α i2 α iu r i+i2+ +iu N k = = ul = k=u ul k=u i + +i u=k ( i + +i u=k N k r k, α i α i2 α iu. α i α i2 α iu ) Idet α i er antallet af kodeord i C af længden i, ser vi, at α i α i2 α iu er antallet af mulige strenge med længden k = i + +i u, som består af et kodeord med længden i efterfulgt af et med længden i 2 og så videre indtil det sidste med længden i u. Summen N k er altså det totale antal strenge c i... c iu af længde k, der består af præcis u kodeord. Lad nu N = {x = c... c u c i C, len(x) = k} være sættet af alle sådanne strenge af kodeord, så er N k = N. Vi kan tænke på ethvert c... c u N som en streng af længden k over det r-ære alfabet A, altså som et element i A af længde k, hvor A er alle mulige kombinationer af elementer fra A - eventuelt med gentagelser. Der er r k sådanne strenge i A, og idet C er entydigt dechifrerbar, er to distinkte elementer i N ikke repræsenteret ved den samme streng i A. Vi ved dermed, at N k = N r k r k 30