I n f o r m a t i o n s - & k o d n i n g s t e o r i

Transkript

1 & I n f o r m a t i o n s - & k o d n i n g s t e o r i p å l i d e l i g k o m m u n i k a t i o n o v e r s t ø j f y l d t e k a n a l e r Anders Ellern Bilgrau Peter Enemark Lund Katrine Olsen Inge Marie Cortsen Henning Thomsen D. 29. maj 2009 Institut for Matematiske Fag Vejleder: Christian Thommesen Gruppe: G2-03

2

3 Titel: Informations- & kodningsteori - pålidelig kommunikation over støjfyldte kanaler Tema: Informations- & kodningsteori Projektperiode: Mat2, forårssemesteret 2009 Projektgruppe: G2-03 Mat2 Deltagere: Anders Ellern Bilgrau Inge Marie Cortsen Peter Enemark Lund Katrine Olsen Henning Thomsen Vejleder: Christian Thommesen Oplags- og sidetal: 8, 07 Antal appendiks: 2 Afsluttet den 29. maj 2009 Institut for Matematiske Fag, I-7 Fredrik Bajers Vej 7 G 9220 Aalborg Øst Telefon: Fax: Synopsis: I foreliggende rapport gives en bred introduktion til kodnings- og informationsteori. Rapporten tager udgangspunkt i begrebet entropi, som behandles dybdegående i et indledende kapitel. Rapportens først del omhandler kildekodning. Heri vises almen teori om komprimering og indkodningsskemaer, hvor der blandt andet lægges vægt på Krafts og McMillans sætninger samt ækvivalens mellem præksfrie og momentane koder. I samme del af rapporten præsenteres Humans optimale algoritme, der giver en præksfri kode, dette er tiltænkt som en konkretisering af de abstrakte kodningsskemaer. Ud fra teorien om entropi bevises kildekodningssætningen. I rapportens kanalkodningsdel ndes først den almene teori om fejlkorrigerende koder. Teorien uddybes med Reed-Solomon koder, herunder de konstruktive Justesen koder, hvorefter kanalkodningssætningen for den binære symmetriske kanal præsenteres. Afslutningsvist bevises sætningen for den svage modsatte til den generelle kanalkodningssætning. Rapportens indhold er frit tilgængeligt, men oentliggørelse (med kildeangivelse) må kun ske efter aftale med forfatterne.

4

5 Forord Denne rapport er udarbejdet i foråret 2009 af gruppe G2-03 bestående af matematikstuderende på 4. semester. Den er udarbejdet i samarbejde med vejleder Christian Thommesen. Rapporten forudsætter en grundviden omkring mængdelære, sandsynlighedsteori, almen funktionsanalyse samt lineær og abstrakt algebra. Rapporten er skrevet ud fra det givne hovedemne "Kodnings- og informationsteori", og er tiltænkt andre matematiske og naturvidenskabelige studerende, men kan læses af alle interesserede med den nødvendige baggrundsviden. Kildehenvisninger er angivet efter Vancouver-metoden, og kilderne ses sidst i rapporten i litteraturlisten. Måden, hvorpå der henvises, er eksempelvis [n, s. 53], hvor n repræsenterer den n'te kilde i litteraturlisten. Der skelnes imellem, hvorvidt kildehenvisningen er angivet før eller efter punktum. Er kildehenvisningen er indskrevet efter punktum, henvises der til hele det forudgående afsnit. Er kildehenvisningen skrevet før punktum, henviser kilden til den pågældende linie. I litteraturlisten er de anvendte bøger angivet med titel, forfatter, udgivelsesår, forlag og ISBN-nummer. Sætninger, lemmaer, bemærkninger, denitioner m.m. nummereres efter kapitel og rækkefølge. Eksempelvis nummereres de forskellige i kapitel 4 således: sætning 4.6, lemma 4.7, denition 4.8, osv. Den digitale version af rapporten vises bedst i Adobe Reader 9 eller en nyere version. Bemærk endvidere at indholdsfortegnelsen, henvisninger samt referencer fungerer som interne links. V

6 Indholdsfortegnelse Forord V Introduktion. Kildekodning Kanalkodning Entropi 4 2. En kildes entropi Entropifunktionen Entropi for stokastiske variable Relativ entropi Gensidig information Egenskaber for entropien Egenskaber for simultan entropi Krafts ulighed Entydig kode Momentane og præks-fri koder Krafts sætning McMillans sætning Human-kodning 3 4. Generelt om Human-kodning Humans-algoritme Kildekodningssætningen Udvidelse af en kilde VI

7 VII 6 Kodningsteori Blokkoder og lineære koder Informationsvektorer sendt over en kanal Hamming vægten og Hamming afstanden Syndromer Kanalkapacitet & binære, symmetriske kanaler Reed-Solomon koder Singleton grænsen Reed-Solomon koder Indkodning af Reed-Solomon koder Dekodning af Reed-Solomon koder Interpolationspolynomium Cykliske koder Generator- og paritetstjekmatricer for cykliske koder Cykliske Reed-Solomon koder Justesen koder Det asymptotiske ækvipartitionsprincip & typiske mængder 77 9 Kanalkodningssætningen 8 9. Denitioner Kanalkodningssætningen for binære, symmetriske kanaler og lineære koder Kanalkodningssætningen for generelle koder Markovkæder, dataprocesseringsuligheden og Fano's ulighed Den svage modsatte Sammenfatning 94 Litteraturliste 96 A Endelige Legemer 97 A. Det endelige legeme F 2 m A.2 Minimal polynomier og faktorisering af x n B Et par uligheder 04

8

9 Introduktion Kodnings- og informationsteori er en essentiel gren af computerteknologien og telekommunikationen. Indenfor disse områder benyttes teorien bl.a. til at komprimere data. Den kvantiserede information udtrykkes som en streng af symboler, der så kan reduceres, så lagringen af store mængder information bliver mindre krævende. Som oftest benytter man sig af 0- og -taller, men der kan være vilkårligt mange symboler i et sådan system. En større del af kodnings- og informationsteorien omhandler den efterfølgende transport af information, herunder hvordan det er muligt at spore og korrigere fejl induceret af støj på kommunikationslinien.. Kildekodning Kildekodningen beskæftiger sig med datakompression, dvs. med at komprimere store mængder data. Dette kan overordnet set gøres ved at vælge en kode for de enkelte symboler og fastslå deres sandsynlighedsfordeling. Man kunne forestille sig en tekst skrevet med bogstaverne a, b, c og d. Omsat til binære tal kunne disse kodes til a = 00 b = 0 c = 0 d =. En kodning af teksten dadbbcb ville da resultere i koden , der ville kunne lagres i computeren. Hvis der derimod var tale om en længere tekst, ville det være nødvendigt at reducere kodelængden. Dette kan gøres ved at anvende symbolernes sandsynlighedsfordelinger. Fordelingen kunne f.eks. se således ud: p(a) = 0, 05; p(b) = 0, 8; p(c) = 0, 05 og p(d) = 0,. Ved at kode så de mest hyppige symboler beskrives med færre symboler, er det da muligt at reducere

10 2.2. Kanalkodning længden af koden, og dermed hvor meget plads den optager. Et eksempel på dette kunne være a = 0 b = 0 c = d = 0. Her ville teksten dadbbcb blive lagret som , hvormed antallet af bits, der skal lagres, reduceres med i den korte tekst. Middelordlængden vil her være len(x)p(x) = 3 0, , , , =, ; x {a,b,c,d} mens den i den anden kodning ville være 2 (da alle koder har længde 2). Dvs. en tekst på 000 bogstaver, ville fylde ca. 00 bits med en kodning, der tager højde for symbolernes sandsynlighedsfordeling og ca med en, der ikke gør det..2 Kanalkodning y e 2 Som før nævnt er det, pga. støj og lignende på kommunikationslinierne, ikke altid muligt at viderebringe en mængde information helt præcist. Derfor er det relevant, at man er i stand til nde eventuelle fejl og rette disse. Dette gøres ved at tilføje såkaldt redundans til de meddelelser, der skal sendes, hvilket eksempliceres i det efterfølgende. 0 - p p p - p 0 c d 2 d t (t xr) d t+ r r s

11 b t 0 - d r d 2 r. Introduktion 3 d t r (t xr) d t+ s Kilde Sender en besked 0 Indkoder Indkoder beskeden til et kodeord 000 Kanal Kan inducere fejl Modtager beskeden Modtager 0 Fejlkorrigerer og dekoder til den orginale besked Dekoder 000 T abcd Figur.2: Forløb af indkodning og dekoding af et kodeord. for korrekt transmission er p. En grask beskrivelse af dette kan ses på gur.. y a c b Tangent Som på gur.2 kan det tænkes, at en afsender ønsker at sende koden 0 over en kanal. En mulig indkodningsmetode kunne være at tilføje redundans i form at gentage hvert symbol tre gange før afsendelse over kanalen. Altså ville 0 blive kodet til 000. Lad os Φantage, at kanalen f inducerer fejl, så den kode der modtages har strengen 000. I et sådan tilfælde ville en modtager, der havde kendskab til, hvordan strengen blev indkodet, have mulighed for at rette fejlene og genskabe den originale streng. Dette gøres ved at rette, så der fås det mest sandsynlige, dvs. hvis p < 2 fås 000 efter fejlkorrektionen, hvilket kan afkodes til 0. x Sekant ( t 0, x 0 ) t-a I(a) t+a Det kunne tænkes, at kanalen i stedet havde induceret fejl, som havde resulteret i en modtaget streng på formen 0000, da ville dekodningen fejlagtigt resultere i koden 00. I så fald ville det være muligt at opnå bedre fejlrettende egenskaber ved at tilføje mere redundans. x 0+β X h x 0 x 0-β

12 Entropi 2 Dette kapitel i rapporten giver et kendskab til teorien omkring entropi. Afsnittet er medtaget, idet teorien omkring entropi danner en fornøden baggrundsviden for den senere anvendelse af bl.a. kildekodningssætningen og kanalkodningssætningen. 2. En kildes entropi Det overordnede formål med følgende afsnit er at give et tilfredsstillende udtryk for den mængde af information, der er indeholdt i en kilde. Indledningsvist følger derfor en denition på begrebet kilde. Denition 2. (Kilde) En kilde består af et ordnet par S = (S, P ), hvor S består af den endelige mængde S = {x, x 2,..., x n } også kaldet kilde-alfabetet, og P angiver en sandsynlighedsfordeling på S. Sandsynligheden for et givet x i betegnes p i eller p(x i ), hvor 0 p i og summen er givet ved n p(x i) =. [7, s. ] Det følger af denitionen, at udtages et tilfældigt element fra S, også kaldet at sample, vil sandsynligheden for at vælge x i fra en kilde, S = (S, P ), være p(x i ). 2.2 Entropifunktionen Entropi er et mål for den usikkerhed, som er forbundet med at sample en kilde. Således er entropien meget lille i det tilfælde, hvor p(x ) = 0, 99 og p(x 2 ) = 0, 0, idet der er stor sandsynlighed for at vælge x. Dette betyder samtidig, at der kun 4

13 2. Entropi 5 opnås begrænset information omkring kilden ved sampling. Derimod vil usikkerheden eller entropien være maksimal i de tilfælde, hvor udfaldet er ligefordelt, altså når p(x i ) = n, for alle i =,..., n. I dette tilfælde vil en sampling af kilden give en maksimal mængde af information. I det følgende udledes Entropifunktionen. Ved hjælp af denne funktion er det muligt at beregne den førnævnte usikkerhed, som er forbundet med samplingen af en kilde. Målet er at denere en funktion H(p,..., p n ), som afhænger af kildens sandsynlighedsfordeling, og ikke direkte af de enkelte elementer i kildealfabetet. På forhånd kræves følgende omkring funktionen: H(p,..., p n ) skal være deneret for alle p,..., p n, som opfylder, at 0 p i, hvorom det gælder, at p i =. Derudover kan det antages, at funktionen H er kontinuert, idet en lille ændring i sandsynlighedsfordelingen kun vil resultere i en lille ændring i udfaldet af usikkerhed. Der skal desuden tages højde for, at hvis sandsynlighedsfordelingen udgør en ligefordeling, vil usikkerheden stige med antallet af elementer. Dermed skal det gælde, at ( H n,..., ) ( ) < H n n +,...,. n + I det følgende antages det, at elementerne i en kilde med alfabetet S = {x,..., x n } inddeles i ikke-tomme, disjunkte blokke B,..., B k, hvor B i = b i, hvor b i = n. Der gælder nu, at en sampling indebærer, at der først udtages en blok, hvis sandsynlighed er proportional med dens størrelse, dvs. P (B i ) = b i n, hvorefter der udtages et element fra den valgte blok B i med samme sandsynlighed. Der haves følgende: Lad elementet x j være indeholdt i blokken B u, så gælder P (x j B i ) = { b u hvis i = u 0 hvis i u. Jvf. loven om total sandsynlighed haves P (x j ) = k P (x j B i )P (B i ) = b u b u n = n. Det betyder, at sandsynligheden, og dermed usikkerheden for at trække elementet x j indeholdt i blokken B u, er præcis den samme, som hvis elementet blev udtaget direkte fra kilden S. Betragter vi derimod en kilde S med ligefordeling, gælder der, som før nævnt, at hvis elementet udtages direkte, vil entropien være H ( n,..., n). Udtages elementet derimod ( fra en blok, ) vil usikkerheden forbundet med at udtage selve blokken udgøre H bn,..., b k n, og hertil skal så medregnes usikkerheden for at udtage et element fra blokken. Gennemsnitligt giver denne usikkerhed:

14 Entropifunktionen k P (B i ) (Usikkerhed ved valg fra B i ) = k ( b i n H,..., ). b i b i Alt i alt fås entropifunktionen ( H n,..., ) ( b = H n n,..., b ) k ( k b i + n n H,..., ), b i b i som kaldes grupperingsaksiomet. [7, s. -3] Sætning 2.2 (Entydighed af entropifunktionens form) En funktion H opfylder følgende egenskaber:. For alle sandsynligheder p,..., p n som opfylder, 0 p i, og p i = gælder, at H(p,... p n ) er deneret og kontinuert. 2. H( n,..., n ) < H( n+,..., n+ ), for n N. 3. For b i N, hvor b i = n, gælder grupperingsaksiomet H ( n,..., ) ( b = H n n,..., b ) k + n k ( b i n H,... ), (2.) b i b i hvis og kun hvis H b (p,..., p n ) = [7, s. 3] p i log b (p i ), b >, 0 log(0) := 0. (2.2) Bevis Først vises, at ligning (2.2) medfører punkterne -3: Ad : For p i, i =,..., n gælder, at log b (p i ) er deneret for alle 0 < p i. Derudover for p i = 0 deneres, at 0 log b (0) := 0. Altså er funktionen (2.2) deneret for alle 0 p i. Det vil sige, at H b (p,..., p n ) = { k p i log b (p i ), 0 < p i 0, p =... = p n = 0. (2.3) For at undersøge om funktionen (2.2) er kontinuert for 0 p i, er det nok at undersøge, om funktionen er kontinuert i 0, da log b (p i ) er kontinuert for alle p i > 0. Dvs. det undersøges, om lim H b(p,..., p n ) = H b (p,..., p i, 0, p i+,..., p n ), p i 0+

15 2. Entropi 7 for i =, 2,..., n. Altså vi ser på det i'te led i (2.2), da en sum af kontinuerte funktioner er kontinuert. Vi foretager nu følgende omskrivning: lim p log i log b (p i ) = lim b (p i ) p i 0+ p i 0+ p i og da sidstnævnte grænseværdi er af typen, kan vi anvende L'Hôpitals regel, og vi får lim p i 0+ p i ln(b) p 2 i = lim p i 0+ p i ln(b) = 0. Vi har derfor, at funktionen er kontinuert for alle p i, hvor 0 p i. Ad 2: Da H ( n +,..., n + ( H n,..., ) = n ) n+ = n + log b n log b ( ) = log n b (n) ) ( n + n, n+ = log b (n + ) n +, samt da n n =, n+ funktion, så haves at n+ = og logaritmen er en strengt voksende H ( n,..., ) ( ) = log n b (n) < log b (n + ) = H n +,...,, n + hvormed resultatet er opnået. Ad 3: For b i N, hvor b i = n, skal det gælde, at H ( n,..., ) ( b = H n n,..., b ) k + n Fra ligning (2.2) følger det, at H ( b n,..., b ) k = n k k b i n log b ( b i n H,..., ). (2.4) b i b i ( ) bi n og k ( b i n H,..., ) = b i b i k b i n b i j= ( ) log b b. i b i

16 Entropifunktionen Dermed kan (2.4) omskrives til H ( n,..., ) = n = Da b i j= b i =, haves at H ( n,..., ) = n = = = k k k k k k b i n log b b i n log b [ b i n log b ( ) bi + n k ( ) bi b i n n b i n b i b i j= j= b i log b ( ) bi b ( )] i n n log b b i [ ( ( ) ( ))] bi bi log n b log n b bi b i log b ( ) b i ( ). b i n ( log b(b i ) + log b (n) log b () + log b (b i )) b i n log b(n). b i Idet k b i n =, haves at, H ( n,..., ) = n Hermed er første halvdel af beviset færdigt. n log b ( ) = log n b (n). Nu vises, at punkterne -3 medfører funktionen i (2.2). Vi ser først på punkt 3. Lad b i N, hvor k b i = n. Vælg m, n således at m n, og lad b i = m. Da er mk = k b i = n. Ved indsættelse af dette i (2.) fås: H ( n,..., ) ( m = H n n,..., m ) + n = H ( m n,..., m n ) + H k ( m n H m,..., ) m ( m,..., m ). (2.5) Idet k m n = m+ +m n = km n =. Lad nu s N, og sæt n = ms.ved indsættelse i (2.5) fås, at H ( ) m s,..., m s = H ( ) ( m s,..., m s + H m,..., ). (2.6) m

17 2. Entropi 9 Dener g(n) := H ( m,..., m). Ved indsættelse i (2.6) fås at Vi vil nu vise, at g(m s ) = g(m s ) + g(m). g(m s ) = sg(m), (2.7) hvilket gøres ved induktion efter s. Basistrinnet s = er trivielt opfyldt. For induktionstrinnet antages det, at (2.7) er opfyldt for et s >. Vi har nu, at g(m s+ ) = g(m s ) + g(m) (fra (2.6)) = sg(m) + g(m) (jvf. induktionsantagelsen) = (s + )g(m), og dermed er (2.7) sand for alle s N. For et m > gælder, at m s < m s+, og da g, jvf. punkt 2 i sætning 2.2, er en voksende funktion, haves at Samtidig da g(m s ) = sg(m) fås at hvilket medfører, at g er positiv. g(m s ) < g(m s+ ). sg(m) < (s + )g(m) Vælges heltallene r 2, t, hvor t er vilkårlig, kan vi for ethvert t bestemme s 0, så m s r t < m s+, hvilket vi kan gøre, hvis s vælges så stor, at m s r t, og fordi m s er en strengt voksende funktion af s, hvor m > er fast. Da g er voksende, og da g(m s ) g(r t ) < g(m s+ ) sg(m) tg(r) < (s + )g(m), har vi, at s t t. Idet vi valgte, at m s r t < m s+, og ved at tage logaritmen med grundtal større end på alle tre led i dobbeltuligheden ser vi at g(r) g(m) < s+ s log(m) t log(r) < (s + ) log(m) s t log(r) log(m) < s +. t Tilsvarende fås, at s t g(r) g(m) < s +. t

18 Entropifunktionen På grund af de to ovenstående dobbeltuligheder haves, at dierensen mellem g(r) g(m) og log(r) log(m) bliver højst 2 t : t g(r) g(m) log(r) log(m) < t. Da denne ulighed gælder for alle t, har vi, at g(r) g(m) log(r) log(m) 0, for t. Dermed haves, at g(r) g(m) = log(r) log(m), hvilket er ensbetydende med, at g(r) = log(r) log(m) g(m), for et fast m >. Udfra dette ser vi, at g(r) er proportional med log(r), med proportionalitetsfaktor g(m) log(m). Det vil sige at, der gælder, at g(r) = log b(r), for et passende valgt grundtal b >, og hvor r >. Fra punkt 3 har vi, at H ( b n,..., b ) k = g(n) n k = log b (n) = k = b i n g(b i) k b i n log b(n) k b i n log b b i n log b(b i ) ( bi n k ), b i n log b(b i ) ved indsættelse g(m) = log b (m). Forlænges argumenterne i H( b n,..., bn n ), så 'erne får fælles nævner, har vi, at b i n p = b n, p 2 = b 2 n,..., p k = b k n,

19 2. Entropi hvor k b i = n. Dermed er H(p,..., p k ) = H = H ( b n,..., b ) k n ( n,..., ) n = log b (n) = k ( p i H,..., ) b b k k p i log(b i ) k p i (log b (n) log b (b i )) = = k ( ) bi p i log b n k p i log b (p i ). (2.8) Hvor funktionen gælder for alle positive p i Q. Men H er antaget kontinuert (ad ), så funktionen gælder for alle positive p i R. Der gælder ligeledes, at lim p log b(p) = 0, p 0+ hvormed (2.8) er deneret for alle p R, hvor p 0. [7, s. 3-5] 2.3 Entropi for stokastiske variable I følgende afsnit introduceres entropi som et mål for usikkerheden af en stokastisk variabel. Denition 2.3 Lad X være en diskret stokastisk variabel som antager værdier i S = {x,..., x n }. Entropien af denne betegnes H(X). Hvis P (X = x i ) = p(x i ), da er entropien af X deneret som H(X) = p(x i ) log p(x i ) = p(x i ) log p(x i ), (2.9) hvor 0 log 0 := 0, hvis p(x i ) = 0. [8, s. 6] Da Q er tæt i R.

20 Entropi for stokastiske variable Hvis grundtallet af logaritmen er b, noteres entropien som H b (X). Hvis der ikke er angivet noget grundtal, tages alle logaritmer til grundtal 2, hvor enhederne er i bits. [7, s. 8] Eksempel 2.4 I følgende eksempel er entropien beregnet for et møntkast med en symmetrisk mønt. Det vil sige, at vi sampler med lige sandsynlighed fra alfabetet S = {0, }. Hvis den stokastiske variabel X betegner udfaldet af samplingen, da er P (X = x i ) = 2 for alle i. Altså P (plat) = p(x = 0) = 2 Ved indsættelse i (2.9) fås følgende: H(X) = H P (krone) = p(x = ) = 2 ( 2, ) 2 = 2 ( = 2 log 2 ( 2 log 2 ( ) = log 2 = log(2) = bit. ) + 2 log ( 2 )) Hvis X og Y henviser til to forskellige stokastiske variable, og de betegner to forskellige sandsynlighedsfunktioner, da gælder følgende denition. Denition 2.5 (Simultan entropi) Lad X og Y være stokastiske variable, hvor X antager værdier i X = {x,..., x n }, og Y antager værdier i Y = {y,..., y m }. Hvis P (X = x i, Y = y j ) = p(x i, y j ), da er den simultane entropi af X og Y deneret ved H(X, Y ) = x X y Y som også kan udtrykkes via middelværdien [7, s.8] p(x, y) log p(x, y), H(X, Y ) = E [log p(x, Y )]. I det følgende deneres betinget entropi. Den betingede entropi af en stokastik variabel er den værdi, der opnås, når der samples over en anden stokastisk variabel

21 2. Entropi 3 som den forventede værdi af entropierne af de betingede fordelinger, vægtet med den betingende stokastiske variabel. Denition 2.6 (Betinget entropi) Hvis (X, Y ) p(x, y) er den betingede entropi H(Y X) deneret som følger: [ ] H(Y X) = E log. p(y X) [8, s. 7] Bemærkning 2.7 Betragtes forventningsværdien fås: [ ] E log = p(x, y) log p(y x) p(y X) x X y Y = p(x) p(y x) log p(y x) x X y Y Dette benyttes senere. = x X p(x)h(y X = x) = H(Y X). Sammenhænget mellem simultan entropi og betinget entropi er, at entropien af et par af stokastiske variable udgøres af entropien af den ene plus den betingede entropi af den anden. Dette følger af den efterfølgende sætning. Sætning 2.8 (Kædereglen) Entropien af de stokastiske variable X og Y opfylder H(Y, X) = H(X) + H(Y X). [8, s.7] Bevis Det vides fra denitionen for simultan entropi 2.5, at entropien af et par

22 Relativ entropi af stokastiske variable (X, Y ), hvor P (X = x i, Y = y j ), er H(X, Y ) = p(x, y) log p(x, y) x X y Y = p(x, y) log p(x)p(y x) x X y Y = p(x, y) log p(x) p(x, y) log p(y x) x X y Y x X y Y = p(x) log p(x) p(x, y) log p(y x) x X x X y Y = H(X) + H(Y X). Hvormed sætningen er vist. [8, s.7] 2.4 Relativ entropi I følgende afsnit introduceres de to begreber relativ entropi og gensidig information. Relativ entropi er er et mål for afstanden mellem to forskellige sandsynlighedsfordelinger. Den relative entropi D(p q) er således et mål for den usikkerhed, der opstår, når man antager, at en givet sandsynlighed er q, når den sande entropi i virkeligheden er p. Her følger dentionen for relativ entropi. Denition 2.9 (Relativ Entropi) Lad den diskrete stokastiske variabel X antage værdier i X, samt P og Q være sandsynlighedsfordelinger for X. Den relative entropi mellem P og Q er givet ved D(P Q) = ( ) p(x) p(x) log. q(x) x X [8, s. 9] ( )] Denne kan, jvf. denitionen på middelværdi, skrives på formen E p [log p(x) q(x). Den relative entropi kaldes også for Kullback-Leibler afstanden mellem to sandsynlighedsfordelinger. Man bemærker dog, at det ikke er en rigtig metrik, da den ikke er symmetrisk og ej heller opfylder trekantsuligheden. 2.5 Gensidig information Givet to stokastiske variable så udtrykker den gensidige information noget om, hvor meget information den ene indeholder om den anden. Helt formelt har vi følgende denition:

23 2. Entropi 5 Denition 2.0 (Gensidig information) Lad X og Y være to stokasiske variable med udfaldsrummene X og Y, samt en simultan sandsynlighedsfunktion p(x, y). Da deneres den gensidige information mellem X og Y som [8, s. 9-20] I(X; Y ) = x X p(x, y) log y Y ( p(x, y) p(x)p(y) ). Det bemærkes, at hvis de to stokastiske variable er uafhængige, så er p(x, y) = p(x)p(y), og den gensidige information er da nul. Det giver intuitivt god mening, hvis to stokastiske variable er uafhængige, indeholder de ikke nogen information om hinanden. Vi indfører desuden følgende konvention ) for relativ entropi og gensidig information: For p(x) = 0 sættes p(x) log ) sættes p(x) log =. ( p(x) q(x) ( p(x) q(x) = 0, og for p(x) > 0 og q(x) = 0 Det følgende korollar anvendes senere under den såkaldte dataprocesseringsulighed. Korollar 2. For to stokastiske variable X og Y gælder, at I(X; Y ) 0, med ulighed hvis og kun hvis X og Y er uafhængige. Bevis I(X; Y ) = D ( p(x, y) p(x)p(y) ) 0 Hvor uligheden kun er gældende hvis p(x, y) = p(x)p(y) dvs. hvis X og Y er uafhængige. Sætning 2.2 Lad X og Y være stokastiske variable. Da haves, at [8, s. 20-2] I(X; Y ) = H(X) H(X Y ).

24 Gensidig information Vi anvender denitionen på gensidig information og betinget sandsyn- Bevis lighed: I(X; Y ) = D ( p(x, y) p(x)p(y) ) = x X y Y = x X y Y = x X y Y p(x, y) log p(x, y) log ( ) p(x, y) p(x)p(y) ( ) p(x y) p(x) ( ) p(x, y) log p(x) = H(X) H(X Y ). x X y Y ( ) p(x, y) log p(x y) Herved er sætningen bevist. Kædereglen for entropi, sætning 2.8 på side 3, af to stokastiske variable kan udvides til n variable. Hertil anvendes kædereglen for sandsynligheder Lemma 2.3 (Kædereglen for sandsynligheder) Givet n diskrete stokastiske variable X, X 2,..., X n haves, at [8, s. 23] p(x,..., X n ) = n p(x i X i,..., X ). Bevis Vi anvender denitionen på betinget sandsynlighed: p(x, Y ) = p(x Y )p(y ). Betragtes den simultane sandsynlighed for X,..., X n haves, at p(x,..., X n ) = p(x n X n,..., X )p(x n,..., X ) n = p(x n X n,..., X ) p(x i X i,..., X ) = n p(x i X i,..., X ), hvor vi har anvendt denitionen på betinget sandsynlighed n gange.

25 2. Entropi 7 have sandsyn- Sætning 2.4 Lad de stokastiske variable X, X 2,..., X n lighedsfunktionen p(x, x 2,..., x n ). Da gælder, at H(X,..., X n ) = H(X i X i,..., X ). [8, s. 22] Bevis Vi anvender kædereglen for sandsynligheder og det faktum, at middelværdioperatoren er lineær. Dette giver os, at som ønsket. H(X,..., X n ) = E [log(p(x,..., X n ))] [ ( n )] = E log p(x i X i,..., X ) [ ] = E log(p(x i X i,..., X )) = = E [log(p(x i X i,..., X ))] H(X i X i,..., X ), 2.6 Egenskaber for entropien Vi opstiller først to lemmaer, hvoraf det ene benyttes senere i beviset for kildekodningssætningen. Lemma 2.5 Det gælder, at ln(x) x, for alle x > 0, med lighedstegn hvis og kun hvis x =. [7, s. 22] Bevis Lad f(x) = x ln(x) for x > 0. Sætningen bevises ved at vise, at f(x) 0 for alle x > 0. Ved dierentiation af f(x) fås f (x) = x.

26 Egenskaber for entropien Denne sættes lig nul, for at nde ekstremumspunkt: Vi nder nu f (x): f (x) = x = 0 x =. f (x) = x 2. Heraf ses at f (x) er positiv for alle x, og dermed er f konveks, og ekstremumspunktet x = er derfor et globalt minimum. Da f() = ln() = 0, så er f(x) 0 for alle x > 0. Samtidig viser dette, at ln(x) = x, når og kun når x =. Lemma 2.6 (Informationsuligheden) Lad P = {p, p 2,..., p n } være en sandsynlighedsfordeling, altså er 0 p i og p i =. Lad Q = {q, q 2,..., q n } opfylde 0 q i og q i 2. Så gælder, at ( ) p i log p i ( ) p i log, (2.0) q i hvor 0 log ( 0) := 0 og p log ( 0) := for p > 0. Lighedstegnet gælder, hvis og kun hvis q i = p i for alle i. [7, s. 22] Bevis Vi kan antage at log er den naturlige logaritme i (2.0), da logaritmer med forskellige grundtal er proportionale. Vi vil nu vise, at ( ) ( ) p i ln p i ln + q i p i (2.) p i gælder uafhænging af, om p i og q i er nul eller forskellige fra nul. Det ses af (2.), at der gælder lighedstegn når p i = q i. Hvis p i = 0: Ved indsættelse i (2.) fås 0 ln hvilket er sandt, da 0 q i. Hvis q i = 0 og p i 0: Så fås 0 q i, q i ( ) ( ) 0 ln + q i 0 q i ( ) p i ln p i p i ( ) p i ln, p i

27 2. Entropi 9 hvilket også er sandt. Hvis q i 0 og p i 0: Vi laver nu en omskrivning af (2.), og derved fås ( ) ( ) p i ln p i ln q i p i p i ln ln ( qi p i ( qi p i p i ) ) q i p i q i p i. Vi kan så ud fra lemma 2.5 se, at uligheden gælder for alle q i p i > 0. Vi har nu vist, at (2.) gælder for alle i =,..., n, og vi kan nu indsætte sumtegn på begge sider af uligeden i (2.), så fås ( ) p i ln p i = q i ( ( p i ln ( p i ln q i q i ) + q i p i ) ) + q i (2.2) p i (2.3) ( ) p i ln, (2.4) q i hvor sidste ulighed gælder, da n q i og n p i =, og dermed er n q i n p i 0. Fra lemma 2.5 haves at der kun gælder lighed, hvis x =, dvs. at der kun gælder lighed, hvis q i p i =, altså hvis q i = p i for alle i =,..., n. Omvendt lad nu ( ) n p i ln p i og (2.2) at ( ) p i ln = q i = ( p i ln = ( ) n p i ln q i, så haves fra (2.4), (2.3) q i ( ( p i ln ) + q i q i ) ) + q i p i = Og da må der gælde lighedstegn ved ( ) ( p i ln + q i p i = p i ln for i =,..., n, og dermed er p i = q i for i =,..., n. q i p i p i ), ( ) p i ln. p i

28 Egenskaber for entropien Bemærk at informationsuligheden også kan udtrykkes som den relative entropi mellem P og Q. Sætning 2.7 Lad X være en stokastisk variabel, som antager værdier i X = {x,..., x n }. Så 0 H(X) log(n). Endvidere er H(X) = log(n), hvis og kun hvis p(x i ) = n hvis og kun hvis p(x i ) = for et vilkårligt i. [7, s. 23] for alle i, og H(X) = 0, Bevis Fra tidligere vides det at entropien er givet ved ( ) H(X) = p(x i ) log, (2.5) p(x i ) ( ) og da 0 p(x i ), så er log p(x i ) 0, og dermed er H(X) 0. Lad nu Q = { n,..., n } være en uniform fordeling. Hvis vi anvender lemma 2.6 på denne fordeling, så fås H(X) = = ( ) p(x i ) log p(x i ) p(x i ) log(n) = log(n) ( p(x i ) log n ) p(x i ) = log(n). Fra lemma 2.6 gælder der lighedstegn i (2.0), hvis og kun hvis p(x i ) = q(x i ) for i =,..., n. Det svarer til, at H(X) = log(n), hvis og kun hvis p(x i ) = n for i =,..., n. Hvis p(x i ) = så ses det af (2.5), at H(X) bliver nul. ( ) Lad nu H(X) = 0. Dette er kun muligt, hvis log p(x i ) = 0, hvilket ses ved at ( ) betragte (2.5). Er log p(x i ) = 0, så må p(x i ) =, men dette kan det kun være for ét i =,..., n. Herved må de resterende sandsynligheder i summen være nul og disse led bliver derfor alle nul Egenskaber for simultan entropi Vi vil i dette afsnit opstille to sætninger om den simultane entropi.

29 2. Entropi 2 Sætning 2.8 Lad X og Y være diskrete stokastiske variable. Da er H(X, Y ) H(X) + H(Y ), hvor der gælder lighedstegn, hvis og kun hvis X og Y er uafhængige. [7, s. 24] Bevis Det er klart, at y Y p(x, y) = p(x) og x X p(x, y) = p(y). Vi betragter nu højresiden af uligheden H(X) + H(Y ) = ( ) p(x) log + ( ) p(y) log x X y Y x X y Y = x X y Y = x X y Y p(x) ( p(x, y) log p(x) ( p(x, y) log ) + x X p(x)p(y) y Y ). p(y) ( p(x, y) log p(y) Vi kan nu anvende lemma 2.6, hvor vi benytter (2.0). Her svarer q til p(x)p(y) ( ) ( ) p(x, y) log p(x, y) log, p(x)p(y) p(x, y) og dermed haves H(X) + H(Y ) = x X y Y x X y Y x X y Y ( p(x, y) log p(x)p(y) ) ( ) p(x, y) log = H(X, Y ). p(x, y) Igen fra lemma 2.6 gælder der lighedstegn, hvis og kun hvis p(x) = q(x), dvs. når p(x, y) = p(x)p(y), hvilket er når X og Y er uafhængige. ) Sætning 2.8 kan udvides yderligere til følgende: Sætning 2.9 Lad X,..., X n være diskrete stokastiske variable. Da er H(X,..., X n ) H(X ) H(X n ), hvor der gælder lighedstegn, hvis og kun hvis X i 'erne er uafhængige. [7, s. 24]

30 Egenskaber for entropien Bevis For at bevise denne sætning fortager vi følgende omskrivninger at højresiden: ( ) ( ) H(X ) H(X n ) = p(x i ) log p(x ni ) log p(x i ) p(x ni ) = = ( p(x i,..., x ni ) log + ( p(x i,..., x ni ) log p(x i ) ) +... ( p(x i,..., x ni ) log p(x ni ) p(x i ) p(x ni ) Da n p(x i ) p(x ni ) =, så kan lemma 2.6 benyttes, og der fås H(X ) H(X n ) ) ). ( ) p(x i,..., x ni ) log p(x i x ni ) = H(X,..., X n ). Fra lemma 2.6 haves endvidere, at der gælder lighedstegn, hvis og kun hvis altså når X j er uafhængige af de andre. p(x i ) p(x ni ) = p(x i,..., x ni ), Entropi er et centralt begreb for den videre behandling af informations- og kodningsteori idet man, ud fra entropien, er istand til at beregne mængden af information en kilde indeholder. Afsnittene omkring entropi behandler ere begreber fra sandsynlighedsregningen. Dette gør det bl.a. muligt at behandle en kilde som en stokastisk variabel, ved at kigge på sandsynlighedsfordelingen over symbolerne i en kilde. Indledningsvist har vi derfor indført entropifunktionen aksiomatisk og dertil ere egenskaber ved entropien såsom betinget entropi og simultan entropi.

31 Krafts ulighed 3 For at kunne opstille Krafts ulighed, skal der først redegøres for bagvedliggende teori og symbolanvendelse. Et kodealfabet A = {a, a 2,..., a n } er en endelig mængde, som består af symboler. En streng eller et ord er en følge af en eller ere symboler fra A og skrives på følgende form: x = x x 2 x k, x i A Antallet af symboler i en streng x kaldes længden og betegnes len(x). Mængden af alle strenge over A betegnes A. Ovenstående illustreres nemmest ved et eksempel: Eksempel 3. Lad kodealfabetet være den binære kode, dvs. A = {0, }. Så er A givet ved A = {c, c 2,...} = {0,, 00, 0, 0,, 000, 00,...}. Her er længderne af strengene i A givet ved len(c ) = len(c 2 ) =, len(c 3 ) = len(c 4 ) = len(c 5 ) = len(c 6 ) = 2, len(c 7 ) = len(c 8 ) =... = 3,. Denition 3.2 En r-ær kode er en kode C over alfabetet A, hvor A = r og C A. Dvs. r er antallet af symboler i kodealfabetet. Elementerne i koden C kaldes kodeord. [7, s ] 23

32 Entydig kode Denition 3.3 Lad S = (S, P ) være en kilde. Et kodningsskema for S er et ordnet par (C, f), hvor f : S C er en injektiv afbildning. [7, s. 40] Den gennemsnitlige kodeordlængde, kaldet middelordlængden, er et mål for eektiviteten af et kodningsskema. Jo mindre værdi middelordlængden har, des mere eektiv er kodningsskemaet. Den er givet ved følgende denition: Denition 3.4 (Middelordlængden) Middelordlængden af et kodningsskema (C, f) for en kilde S = (S, P ), hvor S = {s, s 2,..., s n } er deneret ved AveLen(C, f) = P (s i )len(f(s i )). [7, s. 40] Der er to typer af koder; fast-længde kode og variabel-længde kode. For en fastlængde kode er alle kodeord i koden C af samme længde, og for en variabel-længde kode er kodeordene i C ikke nødvendigvis af samme længde. 3. Entydig kode For at beskrive betydningen af en entydig kode, lægges der ud med et modeksempel. Eksempel 3.5 Lad S = {a, b, c, d, e} og C = {, 00, 0, 00, 000}. Så er f(a) =, f(b) = 00, f(c) = 0, f(d) = 00, f(e) = 000. Dette kodningsskema er ikke entydigt, da ordet kan være sammensat af ere forskellige kodeord, f.eks. kan det dekodes som bcd eller som ed. For at gøre ovenstående kodningsskema entydigt, vil det være nødvendigt at benytte kodnings-separatorer, f.eks. /, men herved forøges kodens længde. Fastlængde koder er altid entydige. Denition 3.6 (Entydig kode) Lad c, c 2,..., c k, d, d 2,..., d j være kodeord i en kode C. Koden C er entydig hvis c, c 2,..., c k = d, d 2,..., d j medfører at k = j og c i = d i, for alle i =,..., k. [7, s. 42]

33 3. Krafts ulighed 25 Følgende er et eksempel på en entydig kode: Eksempel 3.7 Lad S = {a, b, c, d} og C = {, 0, 00, 000}. Så er f(a) =, f(b) = 0, f(c) = 00, f(d) = 000. Det ses her, at symbolet, virker som en kodeordsseparator, da -tallet indikerer slutningen på kodeordet. Herved kan et ord bestående af disse kodeord dekodes, når og kun når tallet læses ved læsning fra venstre mod højre. Følgende eksempel viser, at entydige koder ikke altid er så nemme at dekode, som ovenstående eksempel. Eksempel 3.8 Lad S = {a, b, c, d} og C = {0, 0, 0, 0}. Så er f(a) = 0, f(b) = 0, f(c) = 0, f(d) = 0. Koden er igen entydig, men problemt ved denne kode er, at ved dekodning er det nødvendigt at vente til hele ordet er modtaget. F.eks. hvis ordet 0 sendes, så er det først når hele ordet er modtaget, at det er klarlagt at d blev sendt og ikke a, b eller c. 3.2 Momentane og præks-fri koder Egenskaben for ovenstående eksempel undersøges yderligere i dette afsnit Denition 3.9 (Momentan kode) En kode kaldes momentan, hvis alle kodeord i ethvert ord kan dekodes så snart de er modtaget, dvs. ved læsning fra venstre mod højre. [7, s. 43] Det er klart, at momentane koder altid vil være entydige, men det gælder ikke omvendt. Et eksempel på dette ses i eksempel 3.8. Denition 3.0 (Præks-fri kode) En kode kaldes præks-fri, hvis det for ethvert kodeord x x 2...x n gælder, at x x 2...x k ikke er et kodeord for k < n. [7, s. 43]

34 Krafts sætning Det er forholdsvist nemt at afgøre, om en kode er præks-fri. Dette gøres ved at sammenligne hvert enkelt kodeord med kodeord af samme længde eller længere. Hvis vi betragter eksempel 3.7 igen, så er denne en præks-fri kode, da ikke er præks af 0, 00 eller 000 og 0 ikke er præks af 00 eller 000 osv. Derimod er eksempel 3.8 ikke præks-fri, da 0 er en præks af både 0, 00 og 000. Sætning 3. En kode C er momentan, hvis og kun hvis den er præks-fri. Bevis Antag at C = {c, c 2,..., c n } er en præks-fri kode. Det vil sige for ethvert modtaget ord c i c i2...c im gælder, at c i c i2...c ik ikke noget kodeord for k < m. Altså kan vi dekode med det samme, hvormed koden må være momentan. Omvendt, antag at C er en momentan kode. Det vil sige, at vi kan dekode med det samme. Altså når vi har modtaget et ord og fundet første kodeord x x 2...x n C, så er x x 2...x k C, for k < n, dermed er C præks-fri. 3.3 Krafts sætning Det er nu muligt at opstille Krafts sætning. Sætning 3.2 (Krafts Sætning) (i) Hvis C er en r-ær momentan kode, hvor længden af kodeordene er l, l 2,..., l n, så gælder Krafts ulighed, givet ved r l k k=. (3.) (ii) Hvis tallene l, l 2,..., l n og r 2 opfylder Krafts ulighed (3.), så ndes der en r-ær momentan kode hvor længderne af kodeordene er l, l 2,..., l n. [7, s. 44] Bevis for (i) Antag at C = {c,..., c n } er en r-ær momentan kode, hvor len(c ) = l, len(c 2 ) = l 2,..., len(c n ) = l n. Vi ønsker nu at vise, at Krafts ulighed må gælde.

35 3. Krafts ulighed 27 Lad L = max{l,..., l n }. Det samlede antal ord af længde L, der enten selv er et kodeord eller har et kodeord som præks beskrives ved r L l i = r L r l i = r L r l i. Da man højst kan konstruere r L ord med længde L fra et alfabet med r symboler, må det gælde, at r L Hvilket er ensbetyende med Krafts ulighed r l i rl. r l i. Bevis for (ii) Antag at l, l 2,..., l n og r opfylder Krafts ulighed. Det skal vises, at der kan konstrueres en kode, C = {c, c 2,..., c n }, med længderne l, l 2,..., l n over alfabetet A = {a, a 2,..., a r }. Lad α j være antallet af l i = j, dvs. at α j betegner de kodeord, som har ens længde; j. Altså er α j = { c C len(c) = j }. Symbolet α betegner altså antallet af kodeord med længde. Da r betegner antallet af symboler i alfabetet, må α være opadtil begrænset af r, altså haves α r. Vi ønsker så at vælge α 2 kodeord med længde 2, hvilket umiddelbart kan gøres på r 2 forskellige måder. Men da koden skal være momentan (dermed præks-fri), kan vi ikke medtage de α r kodeord, der har et præks i blandt de α kodeord af længde. Dette giver os r 2 α r kodeord at vælge α 2 fra: α 2 r 2 α r. Hvormed der gælder, at α 2 + α r r 2. Gentages et analogt argument, fås at α 3 r 3 α 2 r α r 2 α 3 + α 2 r + α r 2 r 3.

36 McMillans sætning Denne proces fortsættes, og der fås følgende system af uligheder. α r α 2 + α r r 2 α 3 + α 2 r + α r 2 r 3 α m + α m r α 2 r m 2 + α r m r m Bemærk hvordan hver enkelt af ulighederne i systemet implikerer den forrige. Det vil sige, at hvis den sidste ulighed er opfyldt, er de forrige også. Divideres den sidste ulighed igennem med r m fås α m r m + α m r m α 2 r 2 + α r. Denne ulighed er ækvivalent med Krafts ulighed. Dette kan anskueliggøres ved at betragte Krafts ulighed r l + r l r l +. n ln r Nu sorteres leddene efter voksende rækkefølge og der opstilles nye indekseringer. Resultatet ses nu, hvis de første ens led betragtes, hvor l =... = l i = k. Altså r l r l i = r k = r k r k = α k r k. Sidste lighed opstår, da lægges sammen præcist α k gange. Et tilsvarende argument kan benyttes til de øvrige led McMillans sætning Krafts sætning er beslægtet med McMillans sætning. Det skal forståes således, at hvis der haves en entydig kode, så vha. McMillans sætning opfylder denne Krafts ulighed. Krafts sætning (del (i)) er dermed en svagere udgave af McMillans sætning. Det skal i øvrigt her bemærkes, at den omvendte implikation af McMillan ikke holder på samme måde som i Krafts sætning.

37 3. Krafts ulighed 29 Sætning 3.3 (McMillans sætning) Hvis C = {c,..., c n } er en entydig r- ær kode, så opfylder len(c ) = l, len(c 2 ) = l 2,..., len(c n ) = l n Krafts ulighed (3.). [7, s. 48] Bevis Antag at C = {c,..., c n } er en entydig r-ær kode, og lad α k betegne antallet af kodeord med længde k. Det skal nu vises, at koden opfylder Krafts ulighed. Det fås, at m = α i r i, r l i ud fra samme argumentation som i beviset for sætning 3.2 del (ii). Højresiden opløftes til en heltalspotens, u N og ganges ud. Der fås, at ( m ) u α ( i α r i = r + α 2 r α ) m u r m = α i2 r i αi u 2 r iu α i r i i,i 2,...,i u = α α α i i2 iu r i +i i u, i,i 2,...,i u hvor i j m. Det ses endvidere, at u u j= i j um. Med denne viden kan summen deles op, så ( m ) u α i r i = um k=u r k i +i i u=k Lad N k := i +i i u=k α i α i2 α iu, så fås, at ( m ) u α i r i = um k=u α i α i2 α iu. N k r k. (3.2) Bemærk nu at α i α i2 α iu kan opfattes som antallet af ord med længde i + i i u = k, der kan konstrueres ved at sammensætte et kodeord med længde i efterfulgt af et kodeord med længde i 2 osv. op til et kodeord med længde i u. På baggrund af dette, er summen N k det totale antal ord c c 2...c u med længde k. Betragtes mængden N = { } x := c c 2...c u c i C, len(x) = k er det klart, at N = N k. Bemærk at elementerne i N naturligvis blot kan betrages som elementer i A, hvori der er præcist r k ord med længde k. Ligeledes observeres,

38 McMillans sætning at da C er entydig, må alle elementer i N være forskellige. Herved fås at N k = N r k, og ved substitution fås ( m α i r i ) u = um k=u N k r k um = um u um. k=u Tages den u'te rod på begge sider fås, da den u'te rod er en monotom voksende funktion for u >, at m α i r i u u m u. Da dette holder, for alle m N, og u u m u hvilket vi ønskede at vise. m α i r i, for u så haves, at Bemærkning 3.4 At u u m u for u kan vises således: u u m u ln mu = e u Da ln mu og u for u, kan L'Hôpitals regl benyttes. ln mu Så lim u e u = e 0 =. ln mu (ln mu) lim = lim u u u (u) lim u mu = 0

39 Human-kodning 4 Human kodning er en metode til at konstruere eektive momentane kodningsskemaer. Det forholder sig sådan, at middelordlængden i et momentant kodningsskema ikke er berørt af selve kildesymbolerne. For at måle middelordlængden antages det, at kodeordene er direkte afhængige af sandsynlighederne. Det vil sige, at kodningsskemaet dannes ud fra sandsynlighedsfordelingen (p,..., p n ). Fra tidligere haves notationen AveLen(c,..., c n ), som betegner middelordlængde i et kodningsskema (C, f), hvor C = {c,..., c n }, og AveLen(c,..., c n ) = p i len(c i ). Derudover anvendes notationen MinAveLen r (p,..., p n ) til at betegne den mindste middelordlængede blandt alle r-ære momentane kodningsskemaer med sandsynlighedsfordelingen (p,..., p n ). Dette leder til følgende denition: Denition 4. (Optimalt r-ært kodningsskema) Et optimalt r-ært kodningsskema for en sandsynlighedsfordeling (p,..., p n ) er et r-ært momentant kodningsskema for (c,..., c n ), for hvilket [7, s. 56] AveLen(c,..., c n ) = MinAveLen r (p,..., p n ). I det følgende redegøres der gennem et eksempel for, hvordan man danner et 3- ært Human kodningsskema for sandsynlighedsfordelingen bestående af følgende seks sandsynligheder P = (0.2, 0., 0., 0.3, 0., 0.2). 3

40 32 Eksempel 4.2 (Human-reducering) Første skridt i udarbejdelsen af skemaet er at arrangere sandsynlighederne efter aftagende orden. Se første søjle i skemaet tabel 4.. I det næste skridt beregnes summen af de to laveste sandsynligheder i første søjle, dvs. summen af 0. og 0., som giver 0.2. Den nye sum placeres herefter i rækken af de resterende sandsynligheder, så den aftagende orden bibeholdes, se tabellens tredje søjle (den nye sum er i tabellen markeret med en stjerne). Vi har på nuværende tidspunkt opnået det, der kaldes en Human-reduktion af størrelsen 2. Dernæst foretages en Hufmann-reduktion af størrelsen 3. Resultatet er afbilledet i tabellens femte søjle. Dermed er sandsynligheds-søjlerne i tabellen dannet ud fra Human-reduktioner og replaceringer. Der gælder for de forskellige Humanreduktioner, at størrelsen af hver reduktion skal have størrelsen r. Dette er dog på nær den første reduktion, der skal tilpasses, så man i sidste sandsynligheds-søjle af tabellen opnår r indgange. Dette gøres vha. en formel, som vi vender tilbage til senere. Når sandsynligheds-søjlerne er dannet i tabellen, er det muligt at danne en kode for hver af sandsynligheds-søjlerne ved at arbejde sig den modsatte vej tilbage gennem skemaet. Vi starter således ved at kigge på femte søjle, som består af 3 sandsynligheder. Her betegnes sandsynlighederne oppefra og ned med koderne 0,,..., r i søjle 6. For at danne en kode til fjerde søjle udvides det kodeord, hvis sandsynlighed er markeret med en stjerne i femte søjle. I eksemplet fra tabellen udgøres dette af sandsynligheden 0, 5, som har tildelt koden 0. Det vil sige, at koden til de sandsynligheder, som i tredje søjle tilsammen udgør sandsynligheden 0, 5 udvides med et 0 og de tre sandsynligheder får således koderne 00, 0, og 02 i fjerde søjle (se tabel 4.). Koderne til de øvrige sandsynligheder i sjette søjle overføres direkte til fjerde søjle. Samme udvidelses-strategi anvendes til at danne koden til den første sandsynligheds-søjle. Tabel: 4. Sand. Kode Sand. Kode Sand. Kode } } Tabel 4.: Eksempel på Human-reducering.

41 4. Human-kodning Generelt om Human-kodning Som tidligere, skal der gælde for konstruktionen af en r-ær Human-kode, at den sidste sandsynlighedssøjle skal indeholde r forskellige sandsynligheder, og samtlige reduktioner, på nær den første, skal være af størrelsen r. Den første reduktion derimod skal tilpasses, så det er muligt at opnå de r sandsynligheder ved sidste reduktion. Mere generelt kan det anskues på følgende vis. En reduktion af størrelsen t vil reducere antallet af sandsynligheder med størrelsen t. Hvis vi lader s være størrelsen af den første reduktion, og u være antallet af efterfølgende reduktioner af størrelsen r, da er det muligt at beregne, hvilken størrelse den første reduktion s skal have for en kode med n kodeord: n (s ) u(r ) = r s = n (u + )(r ). Der må nødvendigvis gælde om s, at 2 s r. Dermed kan vi antage, at den første reduktion s er entydigt bestemt ud fra forholdene s n mod (r ), 2 s r. (4.) Helt generelt kan der opstilles følgende sætning omkring Human-kodning: Sætning 4.3 Lad p = (p, p 2,..., p n ) være en sandsynlighedsfordeling, for hvilken p p 2 p n. Så eksisterer der et optimalt r-ært kodningsskema for p, hvor de sidste s kodeord har maksimal længde, og er på formen d0, d,..., d(s ). Der er ikke ere kodeord med d som præks, og s er bestemt ved s n mod (r ), 2 s r. Heraf følger det, at MinAveLen r (p,..., p n ) = MinAveLen r (p,... p n s, q) + q, hvor q = p n s+ + + p n. [7, s. 56] Bevis Antag, at C = {c,..., c n } er et optimalt r-ært kodningsskema for (p,... p n ), og at C har den mindste totale kodeordslængde n l i, ud af alle optimale kodningsskemaer.

42 Generelt om Human-kodning Idet C er valgt til at være optimal, må der gælde, at AveLen(C) = p i len(c i ) = MinAveLen r (p,..., p n ). I det følgende skal det vises, at hvis C er optimal, men ikke opfylder de ønskede egenskaber, da er det muligt at foretage visse ændringer ved C, sådan at den endelige kode forbliver optimal, men samtidig har de ønskede egenskaber. Der må gælde for C, at jo større sandsynligheden er for et bestemt kodeord, jo kortere længde vil det have, dvs. p i > p j len(c i ) len(c j ). Det sidste må gælde, for havde det modsætningsvist været tilfældet, at len(c i ) > len(c j ), da ville det have været muligt at ombytte kodeordene c i og c j og opnå en mindre middelordlængde. Det er antaget, at p p n, og dermed kan det ligeledes antages om kodeordenes længder, at l l n. Hvis vi antager, at at der ndes præcist k kodeord i C med maksimal længde L, da giver ovenstående ulighed l n k < l n k+ = = l n = L. I det følgende lader vi, som tidligere, s betegne længden af den første reduktion af kodeordene. Hvis vi kan vise, at k s, må der gælde om C, at denne indeholder mindst s kodeord af maksimal længde L. For at vise dette anvendes summen i Krafts ulighed: K = r l i. Idet C er momentan, vides det, at K. Antag, at K r L + r (L ), (4.2) da er det muligt at erstatte det sidste kodeord med et ord af længde L, hvilket må betyde, at der må ndes en momentan kode med kodeordslængderne l,..., l n, l n. Dette strider dog imod det faktum, at C har minimal total kodeords-længde blandt alle optimale kodnings-skemaer. Altså må negationen af (4.2) gælde: + r L r (L ) < K.

43 4. Human-kodning 35 Ved at multiplicere uligheden med r L fås r L r + < r L K r L. Hermed kan vi konkludere at, α {2, 3,..., r} så r L K = r L r + α, (4.3) da r L K N. Der kan konkluderes følgende omkring r L K:. Idet r r L r 2, så medfører lighed (4.3), at 2. Idet r L K α mod (r ). r L K = r L l i, og da der samtidig må gælde, at r u mod (r ) for ethvert positivt heltal u, haves at r L K n mod (r ). 3. Fra de to ovenstående punkter og 2 fås, at α n mod (r ), og idet 2 α r, kan det udledes fra (4.), at α = s. Det vil sige, 4. Da r r L r, giver punkt 3 følgende: r L K = r L r + s. r L K s mod r. 5. Idet L l i = 0, hvis og kun hvis i > n k, kan man skrive r L K = n k r L l i = r L l i + k, og dermed er 6. Fra punkt 4 og 5 fås r L K k mod r. s k mod r. Idet den første reduktion s nødvendigvis må opfylde, at 2 s r, må der gælde om de k kodeord, at k 0, k = s eller k > r. Idet antallet af kodeord nødvendigvis ikke kan være mindre eller lig med nul, og idet den endelige reduktions-størrelse r må være større end eller lig med den første reduktion s, dvs. r s, kan det udledes, at k s, og dermed at k = tr + s. At r L K N ses da r L K = r L n r l i = n rl r l i = n rl l i. Da L l i så er alle potenserne i summen heltallige, hvormed summen er det 2 Dette er gældende, idet r L r = (r )(r L + r L r).