Kommunikation over støjfyldte kanaler

Istitut for Matematise Fag wwwmathaaud Kommuiatio over støjfyldte aaler MAT2-projetrapport af G3-7 forårssemestret 2008

Istitut for Matematise Fag Fredri Bajers Vej 7G 9220 Aalborg Øst Telefo 99 40 88 04 Fax 98 5 8 29 http://wwwmathaaud Titel: Kommuiatio over støjfyldte aaler Projetperiode: MAT2, forårssemestret 2008 Projetgruppe: G3-7 Deltagere: Syopsis: Da Sou Olese Marti Toft Miael Harjær Møller Miel Meyer Aderse Roi Yde Post Dee rapport omhadler ommuiatio over støjfyldte aaler Først behadles iformatiosteori, hvor støjfri aaler betragtes Etropibegrebet samt gesidig iformatio itroduceres og egesaber herved i forbidelse med ilder geemgås Dette efterfølges af Jeses ulighed, Dataprocesserigsulighede og Faos ulighed Herefter besrives ildeodig, hvor bla Krafts sætig, McMillas sætig og ildeodigssætige bevises og Huffmaodig samt uiversel ildeodig gives som esempler Kaalodig for støjfyldte aaler behadles efterfølgede geem e itrodutio af lieære oder Herefter bliver Gilbert-Varshamov græse og aalodigssætige bevist og sammeliget Til sidst besrives Reed-Solomo oder, og hvorda disse a deodes både med Sudas listedeodig og Petersos deodigsalgoritme, der også vises avedt på e BCH-ode Vejleder: Christia Thommese Oplagstal: 8 Sidetal: Bilagsatal og art: Ige Afsluttet: 28 maj 2008 Projetrapportes idhold er frit tilgægeligt, offetliggørelse er tilladt med ildeagivelse

ABSTRACT This report is the product of a project i codig ad iformatio theory, sprig 2008 The purpose of this project is to give a overview of these subjects ad to documet vital results of these The report is divided ito three parts The first part is discussig the cocept of etropy, which is cetral i iformatio theory Etropy is itrocuded through three requiremets which are show to result i a uique form of the etropy fuctio Properties of this fuctio is the show, specifically several importat iequalities such as the Iformatio Iequality Furthermore the cocepts of relative etropy ad mutual iformatio are itroduced The secod part covers the subject of iformatio theory The focus is o commuicatio through oiseless chaels, specifically Jese s Iequality, The Data Processig Iequality, Fao s Iequality, Kraft s Theorem, ad McMilla s Theorem, ad source ecodig, where the Source Ecodig Theorem is proved ad examples of Huffma ecodig ad Uiversal Source Ecodig are give The third part covers ecodig of iformatio to be set through oisy chaels Liear bloc codes ad error correctig codes are itroduced The Gilbert-Varshamov limit ad the Chael Ecodig Theorem is proved ad the obtaiable rates of codes which these theorems gives rise to is compared The best result is achieved usig the Chael Ecodig Theorem which gives obtaiable rates below the capacity of the codes Fially Reed-Solomo codes are itroduced ad it is show that these ca be decoded usig Suda s List Ecodig ad Peterso s Decodig Algorithm, which is also used o the briefly itroduced BCH-codes

FORORD Dee rapport er udarbejdet som hovedprojet i forårssemestret 2008 af fem studerede på MAT2 ved Aalborg Uiversitet og har til formål at redegøre for cetrale begreber ide for emet iformatiosbehadlig Det er ie u forsøgt at præsetere relevate teoretise resultater efter studieordiges avisiger, det er også søgt at demostrere visse af disse resultaters avedelse på orete esempler Vi øser at tae vores vejleder Christia Thommese for ydig vejledig og at have været medvirede til at få valitete af rapportes idhold til at være stregt stigede over tid ved at bidrage med aseelige mægder hjælp og iput til forbedriger også flere ed vi har formået at idarbejde i dette edelige resultat BRUG AF KILDER Der avedes primært de ilder, der er brugt i semestrets PE-ursus Kodigs og iformatiosteori, me der avedes også litterature fra de to SE-urser Matematis Aalyse II og Sadsylighedsregig samt eelte øvrige ilder Ved ildehevisiger avedes forme [ forfattere), årstal [, placerig i ilde] ], esempelvis [Roma, 992] og [Roma, 992, s 36] Vi har bestræbt os på at referere så præcist som muligt i de tilfælde, hvor defiitioer og sætiger mv er helt eller delvist gegivet fra e ilde LÆSEVEJLEDNING OG NOTATION Vi har ie medtaget de mest elemetære begreber og sætiger fra lieær algebra, aalyse og sadsylighedsregig i dee rapport; der hevises til hhv [Axler, 997], [Wade, 2004] samt [Olofsso, 2005] herfor Defiitioer, sætiger og lemmaer mv er ummereret på forme XY, hvor X er det atuelle apitel, og Y et fortløbede heltal startede fra i hvert apitel Ligiger mv er ummereret på samme vis, me på forme XY) Det bemæres, at der bagerst i rapporte fides oversigter over avgive defiitioer, lemmaer, sætiger og orollarer i dee rapport Oversigte består af et av for det omtalte samt det sidetal, det a fides på Symbolet 0 m beteger e ulmatrix med m ræer og søjler Vetorer er ie specielt marerede, idet det fremgår ud fra oteste, hvorår et givet symbol repræseterer e vetor

INDHOLDSFORTEGNELSE Itrodutio 0 2 Etropi 3 2 Etropie af e ilde 3 22 Egesaber ved etropi 8 3 Iformatiosuligheder 28 4 Kildeodig 40 4 Støjfri oder 43 42 Kildeodigssætige 48 43 Huffma-odig 49 44 Uiversel ildeodig 54 5 Kaalodig 57 5 Gilbert-Varshamov græse 62 52 Kaalodigssætige 65 6 Reed-Solomo oder 7 6 Geerator- og paritetstjematricer 74 62 Cylise oder 76 62 Cylise Reed-Solomo oder og BCH-oder 8 63 Deodig 85 63 Sudas simple listedeodig 86 632 Petersos algoritme 90 633 Listedeodig 99 7 Opsummerig 03 Litteratur 05 A Biomialformle 06 B Oversigt over matematise højdeputer 08 B Defiitioer 09 B2 Lemmaer, sætiger og orollarer 0 B3 Esempler

KAPITEL INTRODUKTION I dette afsit gives et overbli over, hvad odigs- og iformatiosteori er, lidt om forselle på dem, og hvorda det er opdelt i rapporte Figur a avedes til at give et idledede overbli over de proces, der fider sted, år data sal trasmitteres fra ét sted til et adet Figur Oversigtsbillede figure er adapteret fra [Roma, 992, s 3] Når iformatio sal overføres fra ét sted til et adet, så ser der bag ulisse e hel ræe af tri, der hver især har et matematis grudlag I dee rapport er der behadlet e ræe af disse tri Først og fremmest haves e ilde, der ideholder de iformatio, som øses overført Vha begrebet etropi a dee iformatio behadles matematis, hvilet er emet for apitel 2 I iformatiosteori er etropi e målig af, hvor meget iformatio og usierhed, der er i e ilde Ide iformatioe afsedes, a de med fordel omprimeres for at effetivere overførsle Dee proces aldes for ildeodig og der er i apitel 4 fous på dee del af processe Emet behadles både ret formelt, og der ses også på orete ildeodigsmetoder i form af Huffma-odig og uiversel ildeodig Efter omprimerige er iformatioe lar til at blive sedt over e ommuiatiosaal Begrebet aal dæer over e vej, som iformatioe følger fra afseder til modtager, og a være så vidt forsellige tig som radiobølger eller e cd-rom Ved overførsel geem e aal itroduceres ofte støj, hvilet medfører, at de modtage iformatio er forsellig fra de afsedte Der er flere måder at imødegå dee problemstillig på é måde er at tilføje otroliformatio til det afsedte, der ved modtagelse a bruges til at verificere, hvorvidt der er opstået fejl I tilfælde af fejl a iformatioe sedes ige, me mere avacerede teier a decideret rette op til et vist atal fejl, der måtte være opstået, så atallet af getrasmissioer a edbriges Disse teier aldes for aalodig, og det er emet for apitel 5 og 6 I det apitel 5 behadles aalodig geerelt, mes der i apitel 6 ses på Reed-Solomo oder, der er e hyppigt avedt aalodig Efter iformatioe er modtaget, sal de idførte aalodig deodes Dee proces idebærer at udersøge, om der er opstået fejl udervejs, og i givet fald forsøge at rette fejlee I afsit 63 besrives de to deodigs- Side

Gruppe G3-7 Kapitel Itrodutio metoder Sudas simple listedeodig og Petersos algoritme, der a a avedes til dee deodig Ide de opridelige iformatio a læses af modtagere, sal de deomprimeres, hvilet er e del af ildeodige, som blev behadlet i apitel 4 Edeligt vil iformatioe efter deomprimerige være tilgægelig i de opridelige form og lar til aflæsig af modtagere Side 2

KAPITEL 2 ENTROPI I dette apitel behadles etropi idledigsvist geerelt, hvorefter der arbejdes med det i forbidelse med iformatiosteorie Vi får ofte brug for at avede visse egesaber ved logaritmer, hvorfor disse defieres her é gag for alle Defiitio 2 Kovetioer for logaritmer) For e vilårlig logaritme med grudtal a > sættes 0 log 0) := 0 og p log 0) := for p > 0 Desude sættes p log p ) ) 0 := for p > pi 0, pi log q i := 0 for p i = 0 samt ) pi p i log q i := for p i > 0 og q i = 0 2 ENTROPIEN AF EN KILDE Dette afsit er baseret på [Roma, 992, s -3] Defiitio 22 Kilde) E ilde S = S,P) er et ordet par, hvor S = {x,,x } er e edelig mægde aldet ildealfabetet, og P er e sadsylighedsfordelig over S Sadsylighede for x i beteges med p i eller px i ) for alle i {, 2,, } Atag u, at der samples fra e ilde S = S,P), dvs, at der vælges elemeter fra S med sadsylighedsfordelige P Sadsylighede for at vælge x i er så px i ) Det ses, at usierhed og iformatio er relateret, da der ide samplige er usierhed mht udfaldet, og efter samplige er der opået iformatio om ilde Målet er u at defiere e futio Hp,,p ), som udtryer usierhede ved samplig af e ilde e såda aldes for e etropifutio Bemær at H u afhæger af ildes sadsylighedsfordelig og ie af des ildealfabet For at defiere H er det ødvedigt at igge ærmere på begrebet usierhed, da det stiller e ræe rav til H Umiddelbart sal Hp,,p ) være defieret for alle p,,p, der opfylder 0 p i og p i = Derudover sal e lille ædrig af sadsylighedere u give e lille ædrig af usierhede, så H sal også være otiuert Når alle udfald har samme sadsylighed, er det et rimeligt rav, at flere udfald medfører større usierhed Et yderligere rav til H er dermed, at H,, ) } {{ } < H ) +,, + } {{ } + Det sidste rav, der stilles til H, er et såaldt grupperigsasiom Lad elemetere i S = {x,,x } være lasseopdelt i ie-tomme, disjute mægder B,,B aldet bloe), hvor b i := B i og b i = Hver blo har sadsylighede PB i ) := b i for at blive udtruet Betragt u følgede esperimet: Først vælges e blo, og derefter Side 3

Gruppe G3-7 Afsit 2: Etropie af e ilde vælges et elemet fra de valgte blo Bemær at hvis x j er i bloe B u, så er { 0 hvis i = u Px j B i ) = b u hvis i = u Dermed haves vha Love om Total Sadsylighed [Olofsso, 2005, sæt 6, s 43]), at Px j ) = Px j B i )PB i ) = b u b u = Dvs, at sadsylighede for at vælge et hvilet som helst x j uder disse betigelser er es, ligesom hvis elemetet blev valgt fra e ilde med ligefordelt sadsylighed, og usierhede sal derfor være de samme ved begge esperimeter Usierhede ved at vælge direte fra S med es sadsyligheder er H,, ), og usierhede ved at vælge e af bloee B,,B er H b,, b ), me i sidste tilfælde magler der dog stadig at blive valgt et elemet fra bloe De geemsitlige usierhed i dee proces er b PB i ) usierhed ved valg fra B i ) = i H,, ) b i b i Dermed bliver det sidste rav til etropifutioe, at H,, ) ) b = H,,b Vi defierer u formelt etropifutioe + b i H,, ) b i b i Defiitio 23 Etropifutioe) Lad H være e familie af futioer af p,, p R for alle N Hvis H opfylder følgede betigelser, aldes H e etropifutio: i) H p,, p ) er defieret og otiuert for alle p,, p, der opfylder, at 0 p i og p i = ii) For N gælder, at H,, ) } {{ } iii) For b i N og b i = gælder, at H,, ) } {{ } b = H hvilet aldes et grupperigsasiom < H ) +,, 2) + } {{ } + ),,b + } {{ } b i H,, ), 22) b i b i } {{ } [Roma, 992, s 3] Side 4

Afsit 2: Etropie af e ilde Gruppe G3-7 Det viser sig, at der fides e etydig futio, som opfylder defiitio 23 Sætig 24 Forme af etropifutioe) E familie af futioer H b af p,, p R for alle N er e etropifutio, hvis og u hvis H b p,, p ) = p i log b p i ) = ) p i log b, hvor b > 23) p i [Roma, 992, sæt, s 3] BEVIS Atag at H er e etropifutio Dee vej vises ved at lave e futiosaalyse Sæt H := H b Vælg m, N, således at m, og at der fides et s N, så = m s Sæt desude := m, hvor N Lad b i = m for alle i {,,}, så følger det af 22), at ) m H = H,, m ) ) m + For x N defieres hvorved der haves, at,, } {{ } = H } {{ } m,, m ) + H m = H m s,, m ) m s = H m s,, m s gx) := H x,, ), x } {{ } x H m,, m } {{ } ) m,, m + H m,, ) m ) + H hvor g) := 0 for m, s N Ved idutio vises det u, at m,, m ) gm s ) = gm s ) + gm), 24) gm s ) = sgm) 25) For basistriet s = er 25) oplagt opfyldt Der atages for idutiostriet, at 25) gælder for s, og dermed følger det af 24), at gm s ) = gm s ) + gm) = s )gm) + gm) = sgm) Jf 2) er g e stregt vosede futio, så der gælder for m >, at gm) > 0 = g) Til ethvert r, m N, hvor r 2, m 2 og t N, fides s N, så der gælder, at m s r t < m s+, hvilet lader sig gøre, hvis s vælges som det største aturlige tal, så m s r t, hvilet sammeholdt med, at m s er stregt vosede, giver det øsede Da g er stregt vosede, så fås fra 25), at sgm) tgr) < s + )gm), Side 5

Gruppe G3-7 Afsit 2: Etropie af e ilde hvilet giver, at s t gr) gm) < s +, 26) t hvor lægde af itervallet [ s t ; s+ ] t er t for alle s, og da t vælges frit, a lægde af itervallet laves tilpas lille Logaritmefutioe opfylder disse egesaber ved at beytte samme argumetatio som for g, så s t logr) logm) < s + 27) t Ved at ombiere 26) og 27) fås der for fast r og m, me for vilårligt t, at t < gr) gm) logr) logm) < t, hvoraf det følger, at gr) gm) = logr) Det ses for m >, at logm) gr) = gm) logm) logr) Dvs, at gr) er proportioal med logr), så gr) = log b r) for r > og et fastholdt m Derved fås, at H,, ) = g) = log b ) for ethvert N Efter dee aalyse vises u, at H er på forme givet i 23) Der fås jf 22), at b H,, b ) = H,, ) = log b ) = = = b i log b b i) b i H,, ) b i b i b i log b ) b i log b b i) bi log b ) b ) i log b b i) b i log bi b ) 28) Såfremt p,, p Q +, hvor p i = for N a p i forlæges, så p,, p ) = hvor b + + b = Heraf giver 28), at H p,,p ) = b,, b ), p i log p i ) 29) Side 6

Afsit 2: Etropie af e ilde Gruppe G3-7 Da futioe H per atagelse er otiuert, gælder 29) også for p,, p R + {0} Desude haves fra l Hôpital, at lim p 0 +p log b p) = lim p 0 + = lim p 0 + = lim p 0 + = 0, ) logb p p p lb) p 2 ) p ) lb) hvorved 29) gælder for alle ie-egative tal Nu vises, at 29) opfylder i), ii) og iii): i) Logaritmefutioe, og dermed H, er defieret og otiuert for p,,p > 0 Da p log b p = 0 for p = 0 haves desude, at H er defieret for p = = p = 0 Som vist ovefor, så er p i log b p i 0 for p i 0 +, og det vil sige, at H er otiuert i p = = p = 0 ii) Bemær, at hvilet giver log ) ) > log +, hvor N, H,, ) ) = log ) = log ) < log + + = = H ) + log + ) +,, + Side 7

Gruppe G3-7 Afsit 22: Egesaber ved etropi iii) Vises med summatioer og logaritmefutioe: ) b H,,b b + i H,, ) = b i b i Dermed er begge veje u vist b i log b i log ) bi bi = ) b = i log ) = log ) = log = H,, ) ) + log b b i ) i log b j= i b i )) b i 22 EGENSKABER VED ENTROPI Der er e ræe væsetlige egesaber ved etropi, der her vil blive vist et atal af Først er der brug for et par lemmaer, hvoraf det første udtaler sig om, at de aturlige logaritmefutio altid har midre ed eller samme futiosværdi som des taget for x = Lemma 25 Sammehæg mellem lx) og x ) Lad lx) betege de aturlige logaritme af x > 0 Da gælder, at og der gælder lighed i 20) hvis og u hvis x = lx) x for alle x > 0, 20) [Roma, 992, lem 2, s 22] BEVIS Futioe f x) = x lx) for x > 0 udersøges Ved differetiatio fås, at f x) = x, og det ses, at f x) = 0 for x = Da f 2) = 2 < 0 og f 2) = 2 > 0, så er der tale om et globalt miimum for x =, og da f ) = 0 følger det, at ulighede i 20) er opfyldt, idet 0 x lx) lx) x, og lighede i 20) er opfyldt for etop x = Det viser sig at være yttigt at ue sifte mellem logaritmer med forsellige grudtal Lemma 26 Kostat fator mellem logaritmer) Givet to logaritmer med forsellige grudtal a > og b > gælder, at log a x) = log b a) log b x) Side 8

Afsit 22: Egesaber ved etropi Gruppe G3-7 BEVIS Givet log a x) = log b x) fås ved idsættelse af x = a, at =, så det er log b a) altså muligt at gage e logaritme med grudtal b med for at besrive de ved log b a) logaritme med grudtal a Det æste lemma udtaler sig om e yttig ulighed for etropifutioe, hvis der idføres e y fordelig Q = {q,, q }, hvor det gælder, at q i Q er dermed ie ødvedigvis e sadsylighedsfordelig Lemma 27 Iformatiosulighede) Lad P = {p,, p } være e sadsylighedsfordelig, og lad for Q = {q,, q } gælde, at 0 q i og q i Da gælder, at ) ) p i log p i p i log, 2) q i hvor ovetioere fra defiitio 2 gælder Yderligere gælder, at der i 2) er lighed, hvis og u hvis q i = p i for alle i =,, Ulighede 2) a også udtryes som hvilet aldes iformatiosulighede p i log pi q i ) 0, 22) [Roma, 992, lem 22, s 22] BEVIS Jf lemma 26 a vi gage logaritmere i 2) med e passede ostat og betragte dem som de aturlige logaritme ude tab af geeralitet Det vises u, at ) ) p i l p i l + q i p i 23) p i q i gælder, og der er tre tilfælde at betragte Hvis p i = 0 fås, at 0 q i, hvilet er oplagt sadt Hvis p i > 0 me q i = 0, så gælder 23) også, idet højreside er Edeligt er der tilfældet med både p i og q i positive her a 23) srives på forme ) )) p i l l q i p i p i q i ) qi p i l q i p i l p i qi p i ) q i p i, hvilet gælder per lemma 25, så 23) gælder for alle de mulige tilfælde Ved at summere 23) over i =, 2,, fås, at ) p i l p i ) p i l q i + q i p i ) p i l q i Side 9

Gruppe G3-7 Afsit 22: Egesaber ved etropi da q i og p i =, hvilet viser gyldighede af 2) Ved at se på triee for at vise gyldighede af 23) og betigelsere for lighed i lemma 25, så ses det, at lighed gælder hvis og u hvis p i = q i for alle i Lemma 27 giver aledig til følgede defiitio Defiitio 28 Relativ etropi / Kullbac-Leibler-afstad) Givet to sadsylighedsfordeliger P = {p,, p } og Q = {q,, q }, så er de relative etropi eller Kullbac-Leibler-afstade DP Q) mellem P og Q givet ved DP Q) := p i log pi q i ) [Thommese, 2008a, spis 2, s 3] Bemær at Kullbac-Leibler-afstade ie er symmetris og bemær yderligere, at iformatiosulighede 22) a udtryes som DP Q) 0, og der gælder lighed hvis og u hvis p i = q i for alle i, hvilet beteges P = Q Vi vil også idføre de relative etropi for e stoastis variabel, me først er det ødvedigt at idføre geerel etropi for e stoastis variabel med udgagsput i forme af etropifutioe, som blev fudet i sætig 24 Defiitio 29 Etropi af e stoastis variabel) Lad X være e stoastis variabel med billede S = {x,,x } Hvis P X = x i ) = p x i ), da er etropie af X givet ved HX) = ) p x i ) log p x i ) = p x i ) log p x i )) [Roma, 992, s 8] Defiitio 20 Relativ etropi / Kullbac-Leibler-afstad for stoastise variable) Hvis X og Y er disrete stoastise variable med samme billede S, og px) = PX = x) og qx) = PY = x) for alle x S, så er DX Y) givet ved ) px) DX Y) := px) log qx) x S [Thommese, 2008a, spis 2, s 3] På tilsvarede måde som før gælder, at DX Y) 0, Side 20

Afsit 22: Egesaber ved etropi Gruppe G3-7 og med lighed, hvis og u hvis px) = qx) for alle x S Lemma 27 a u beyttes til at vise e ulighed, der giver både e øvre og e edre græse for e vilårlig etropifutio De øvre græse fås ved e ligefordelt sadsylighed, og de edre græse fås, år px i ) = for etop ét i Sætig 2 Øvre og edre græse for etropifutioe) Lad X være e stoastis variabel med billede {x, x 2,, x } Da gælder, at 0 H b X) log b ) 24) Yderligere gælder, at HX) = log), hvis og u hvis px i ) = der gælder, at HX) = 0 hvis og u hvis px i ) = for etop ét i for i =, 2,,, og [Roma, 992, sæt 23, s 23] BEVIS Lad H := H b og log := log b Først vises de højre ulighed i 24) Ved at avede lemma 27 på fordelige af X og på e ligefordelt sadsylighed Q = {,, } fås, at ) HX) = px i ) log px i ) = px i ) log px i ) log ) = log) = log), px i ) så HX) log) Yderligere fås det fra lemma 27, at der er lighed, år px i ) = qx i ) for alle i, dvs år px i ) = for alle i, hvilet etop er tilfældet her De vestre ulighed i 24) ) vises ved at betragte defiitioe af etropifutioe HX) = px i) log Hvert led i dee sum er på forme px i ) ) px i ) log = px px i ) i ) log ) px i ) log px i )), og idet 0 px i ), så følger det, at px i ) log px i )) < 0, så der er tale om e sum af ie-egative led, hvilet viser, at HX) 0 Idet der etop er tale om ie-egative led, så sal alle led være 0, hvis HX) = 0 sal gælde Det er u tilfældet for led med px i ) = 0 eller px i ) =, og idet der gælder, at px i) =, så er HX) = 0 hvis og u hvis px i ) = for ét i Bemær at sidste påstad i sætig 2 om, at Hx) = 0 givet p i = for ét i, er ituitivt sad, da udfaldet ved ethvert esperimet så ville være givet på forhåd, hvorved 0 bliver e edre græse for etropie, fordi der ige usierhed er At log) er e øvre græse, har de brugbare fortolig, at der opås mest iformatio per samplig ved e ligefordelt sadsylighed Korollar 22 siger, at etropie af e stoastis variabel a udtryes som middelværdie af de stoastise variabel logpx)) dog med omvedt forteg), der har sadsylighedsfordelige P = {px ),,px )} ) Side 2

Gruppe G3-7 Afsit 22: Egesaber ved etropi Korollar 22 Givet e stoastis variabel X, da er HX) = E[logpX))] [Cover & Thomas, 2006, s 4] BEVIS Per defiitio 29 har vi, at etropie af de stoastise variabel X er HX) = p x i ) log p x i )) 25) Det ses, at hvis logpx)) er de stoastise variabel, så svarer summe i 25) til de i sætige om middelværdie af e disret stoastis variabel givet i [Olofsso, 2005, prop 244, s 04] Det bemæres, at etropie af e stoastis ) variabel også a udtryes som middelværdie af de stoastise variabel log, så der fås, at px) [ )] HX) = E log px) Defiitio 23 Sammesat etropi) Etropie af to sammesatte disrete stoastise variable X,Y), der atager værdier i heholdsvis X og Y, med sadsylighedsfordelige px,y), defieres som HX,Y) := x X ) px,y) log = y Y px,y) x X px,y) logpx,y)) y Y [Cover & Thomas, 2006, s 6] Bemær at de sammesatte etropi også a udtryes som middelværdie af e sammesat stoastis variabel, så [ ] HX,Y) = E = E[logpX,Y))] logpx,y)) Defiitio 24 Betiget etropi) For to sammesatte disrete stoastise variable X,Y), med sadsylighedsfordelige px,y) defieres de betigede etropi HX Y) := py)hx Y = y) := py) px y) log y Y y Y x X px y) ) [Cover & Thomas, 2006, s 7] Dee etropi a også udtryes vha middelværdie af e stoastis variabel Side 22

Afsit 22: Egesaber ved etropi Gruppe G3-7 Lemma 25 Lad X og Y være stoastise variable, da gælder, at HY X) = E [log py X))] [Cover & Thomas, 2006, s 7] BEVIS Defiitio 24 beyttes og dermed fås, at hvilet er det øsede HY X) = px)hy X = x) x X = px) py x) log x X y Y = = E x X y Y [ log py x) ) ) py,x) log py x) )] py X) = E [log py X))], Sætig 26 De lille æderegel for etropi) Givet to stoastise variable X og Y, da gælder, at HX,Y) = HX) + HY X) = HY) + HX Y) [Cover & Thomas, 2006, sæt 22, s 7] BEVIS Vi beviser u det første lighedsteg i sætige, da det adet vises på øjagtig samme måde Der gælder, at HX,Y) = px,y) logpx,y)) x X y Y = px,y) logpx)py x)) x X y Y = px,y)logpx)) + log py x)) x X y Y = px,y) logpx)) + px,y) logpy x))) x X y Y = x X y Y = x X og dermed er sætige vist px,y) logpx)) px,y) logpy x)) x X y Y px) logpx)) px,y) logpy x)) x X y Y = HX) + HX Y), Side 23

Gruppe G3-7 Afsit 22: Egesaber ved etropi Som et mål mellem stoastise variable idføres de gesidige iformatio De udtryer, som avet besriver, hvor meget iformatio de stoastise variable ideholder om hiade Defiitio 27 Gesidig iformatio) De gesidige iformatio IX; Y) mellem to stoastise variable X og Y med sammesat sadsylighed px,y), er givet ved IX; Y) := px,y) log x X y Y ) [ px,y) = E log px)py) px,y) )] px)py) [Cover & Thomas, 2006, s 9-20] De gesidige iformatio a også udtryes ved etropie Sætig 28 Givet de stoastise variable X og Y, så gælder, at IX; Y) = HX) HX Y) = HY) HY X) [Cover & Thomas, 2006, s 9] BEVIS Det er u det første lighedsteg, der vises, da det adet følger direte af symmetrie af de gesidige iformatio Ved brug af defiitioe af gesidig iformatio, og i 26) beyttes betiget sadsylighed, hvorved der fås, at hvilet er det øsede ) px,y) IX; Y) = px,y) log x X px)py) y Y = px,y) log x X y Y = px,y) log x X y Y = HX) HX Y), ) px y) px) ) px) + px,y) log px y)) x X y Y 26) Korollar 29 Givet de stoastise variable X og Y, så gælder, at IX; Y) 0, og IX; Y) = 0 hvis og u hvis X og Y er uafhægige [Cover & Thomas, 2006, s 28] Side 24

Afsit 22: Egesaber ved etropi Gruppe G3-7 BEVIS Vi har fra iformatiosulighede i lemma 27, at p i log pi q i ) 0, hvor der u er lighedsteg, hvis p i = q i for alle i {0,,} Lad P og Q være sadsylighedsfordeliger, hvor p i := px i,y i ), og q i := px i )py i ) Det ses da at 0 p i log pi q i ) = px i,y i ) log = IX; Y) pxi,y i ) ) px i )py i ) Hermed er ulighede vist, og da der u er lighedsteg, år p i = q i for alle i {0,,}, sal px i,y i ) = px i )py i ), hvilet u er opfyldt, år X og Y er uafhægige Korollar 220 Selviformatio) Givet e stoastis variabel X, så gælder, at IX; X) = HX) BEVIS Per defiitio fås, at hvilet giver det øsede IX; X) = HX) HX X) = HX), For at ue idføre de store æderegel for etropi, er det ødvedigt at itroducere følgede æderegel for sadsylighed Sætig 22 Kæderegle for sadsylighed) Givet stoastise variable X,X,, X, da gælder, at hvor px X 0, X ) := px ) px,x,, X ) = px i X i,,x ), BEVIS Per defiitioe af betiget sadsylighed fås, at px,x,, X ) = px X,, X )px,, X ) = px X,, X )px X 2, X )px 2,, X ) = hvilet etop er det øsede px i X i,,x ), Side 25

Gruppe G3-7 Afsit 22: Egesaber ved etropi Sætig 222 De store æderegel for etropi) Givet stoastise variable X,X 2,, X, med sadsylighedsfordelige px,x 2,, x ), da gælder, at HX,X 2,, X ) = HX i X i,,x ) [Cover & Thomas, 2006, sæt 25, s 22] BEVIS Af orollar 22 og sætig 22 fås, at HX,X 2,, X ) = E [log px,x 2,, X ))] [ )] = E log px i X i,,x ) [ ] = E log px i X i,,x )) = E [log px i X i,,x ))] = HX X,,X ) + + HX 2 X ) + HX ) = HX i X i,,x ), hvilet er det øsede Defiitio 223 Betiget gesidig iformatio) Givet tre stoastise variable X,Y,Z defieres de betigede gesidige iformatio som IX; Y Z) := HX Z) HX Y,Z) [Cover & Thomas, 2006, s 23] Sætig 224 Kæderegle for gesidig iformatio) Givet + stoastise variable X,X 2,, X og Y, da gælder, at IX,X 2,, X ; Y) = IX i ; Y X i,,x ) [Cover & Thomas, 2006, sæt 252, s 24] Side 26

Afsit 22: Egesaber ved etropi Gruppe G3-7 BEVIS Vha de store æderegel for etropi i sætig 222 fås, at IX,X 2,, X ; Y) = HX, X 2,, X ) HX, X 2,, X Y) hvilet er det øsede = = = HX i X i,,x ) HX i X i,,x,y) HX i X i,,x ) HX i X i,,x,y)) IX i ; Y X i,,x ), Side 27

KAPITEL 3 INFORMATIONSULIGHEDER I dette apitel vises e ræe yttige uligheder, bla Jeses ulighed, Faos ulighed og Dataprocesserigsulighede Før vi a vise Jeses ulighed, sal vi først idføre begrebet ovesitet Defiitio 3 Koves mægde) E mægde K R siges at være oves, hvis der givet x,y K opfyldes, at for 0 a ax + a)y K [Roma, 992, s 26] Bemær at mægde {ax + a)y 0 a } er det rette lijestye mellem x og y, så der gælder med adre ord om e oves mægde K, at de ideholder alle putere på de rette lije mellem ethvert par af puter i K Defiitio 32 Kovesitet af futioer over ovese mægder) Givet e oves mægde K, da aldes e reel futio f : K R oves op såfremt de opfylder for ethvert x,y K og 0 a f ax + a)y) a f x) + a) f y) Givet e oves mægde K, da aldes e reel futio f : K R oves ed eller oav såfremt de opfylder for ethvert x,y K og 0 a f ax + a)y) a f x) + a) f y) [Roma, 992, s 27] Sætig 33 Sadsylighedsfordeliger er ovese) Mægde K = { P = p,, p ) } 0 p i, p i = af alle sadsylighedsfordeliger er e oves delmægde af R [Roma, 992, s 27] BEVIS Givet P = p,, p ) og Q = q,, q ) i K, så haves ap + a)q = ap + a)q i,, ap + a)q ) Side 29

Gruppe G3-7 Kapitel 3 Iformatiosuligheder Nu er 0 a,p i,q i, hvilet medfører, at 0 ap i + a)q samt at ap i + a)q i ) = a p i + a) så ap + a)q K, og dermed er K oves Det viser sig, at etropifutioe H er oves ed q i = a + a) =, Sætig 34 Kovesitet af etropifutioe) Etropifutioe H er oves ed på sadsylighedsfordeligere P = p,, p ) og Q = q,, q ) så for 0 a H ap + a)q) ah P) + a)hq) [Roma, 992, s 27 28] BEVIS Der haves, at HaP + a)q) = = a a ap i + a)q i ) log p i log p i log p i = ahp) + a)hq), ap i + a)q i ) + a) ap i + a)q i ) ) + a) q i log hvor der i 3) er brugt lemma 27, og sætige følger dermed q i ) q i log ap i + a)q i ) 3) Sætig 35 Jeses ulighed) Givet e oves op futio f, og e stoastis variabel X, da gælder, at E [ f X)] f E[X]) [Cover & Thomas, 2006, sæt 262, s 26] BEVIS Sætige vises u for disrete sadsylighedsfordeliger Dette vises vha idutio Som basistri beyttes e 2-delt sadsylighedsfordelig P = p, p) Samme med [Olofsso, 2005, prop 244, s 04] om middelværdi af disrete stoastise variable og defiitio 32 af ovesitet af futioer fås, at E[ f X)] = p f x ) + p 2 f x 2 ) = p f x ) + p ) f x 2 ) f p x + p )x 2 ) = f p x + p 2 x 2 ) = f E[X]) Side 30

Kapitel 3 Iformatiosuligheder Gruppe G3-7 Atag u at sætige gælder for e )-delt sadsylighedsfordelig, og så sal det i idutiostriet u vises, at det også gælder for e -delt sadsylighedsfordelig Sæt først p i := p i p for i {,, } Lad u X være e disret stoastis variable med e -delt sadsylighedsfordelig, da gælder, at E[ f X)] = p i f x i ) = p f x ) + p i f x i ) = p f x ) + p ) p f x ) + p ) f f = f p i f x i) ) p i x i ) p x + p ) p i x i ) p x + p i x i ) = f p i x i = f E[X]), 32) 33) hvor 32) følger af idutiosatagelse og 33) følger af defiitio 32 af ovesitet af futioer Da biomialformle ofte beyttes, a de fides i bilag som sætig A Lemma 36 For e biomialfordelt sadsylighedsfordelig qi) := ) p i p) i i for i {0,,,}, gælder, at år {0,,,} og p =, er q vosede for i <, aftagede for i og atager sit masimum år i = Side 3

Gruppe G3-7 Kapitel 3 Iformatiosuligheder BEVIS Betragt først qi + ) qi) ) i+ = i+ ) ) i ) = = =! i )!i+)!! i)!i! ) i ) i ) i)!i! i )!i + )! i) i + ) ) Såfremt q sal være vosede, sal qi) qi + ), hvilet er esbetydede med, at qi + ) qi) = i) i + ) ), 34) hvoraf reducerig giver, at i + +, hvilet er opfyldt etop år i < da {0,,, } så 0 For at vise, at q er aftagede, sal 34) omsrives, således at i + +, hvilet etop er opfyldt, år i Dermed er det vist, at q er vosede for i < og aftagede for i, og så atager q sit masimum år i = Sætig 37 For ethvert {0,,, } med N gælder, at + 2H 2 ) ) 2 H 2 ) BEVIS Først vises de højre ulighed, dvs ) 2H 2 ) Til dette bruges sætig A, hvorved det fås, at = = p) + p) = =0 Da alle led i summe er positive gælder, at ) p) p for alle 0 p og N ) p) p for alle 0 p og {0,,, } Specielt for p = haves, at ) ) ), Side 32

Kapitel 3 Iformatiosuligheder Gruppe G3-7 hvoraf det fås, at ) ) ) ) = 2 log 2 ) ) 2 2 log ) ) ) = 2 ) log 2 ) 2 log 2 ) ) = 2 ) log 2 )+ log 2 ) ) = 2 )log 2 )+ log 2 )) ) = 2 H 2 ) Dermed haves, at ) 2 H 2 ) Nu vises de vestre ulighed, dvs + 2H 2 ) ) Fra starte af beviset haves, at ved fastholdte og så, at i=0 ) i Jf lemma 36 atager de edelige følge år i = Dette giver, at + ) ) ) ) ) i ) i = ) i ) } i { i ) sit masimum, i {0,,,} i=0 ) i Fra beviset for højre ulighed haves, at ) ) ) + ) 2 H 2 ), ) i ) i = ) = )2 H 2 ), hvorfor således at hvilet beviser det øsede ) + 2H 2 ), Sætig 38 For p > 0, q > 0, p + q =, 0 λ p og µ + λ = gælder der for N, at λ =0 ) p q λ λ µ µ p λ q µ Side 33

Gruppe G3-7 Kapitel 3 Iformatiosuligheder BEVIS Bemær atagelsere giver, at 0 λ < og 0 < µ For ethvert 0 < x gælder, at x λ x for = 0,,, λ Dette giver, at x λ λ =0 ) p q = = λ =0 λ =0 λ =0 =0 ) p x λ q ) p x q ) px) q ) px) q = px + q) Det sidste lighedsteg fås vha sætig A og dermed fås, at λ =0 ) p q x λ px + q) = x λ px + q)) 35) Lad ϕ x) = x λ px + q) for x > 0 Nu udføres estremumsaalyse af ϕ ϕ x) = λx λ px + q) + px λ = λpx λ λqx λ + px λ = x λ λpx + λq px) = x λ λ ) px + λq) = x λ µpx + λq) Der er estremum år λq µpx = 0 eller x λ = 0 Da ϕx) u er defieret for x > 0, er det u iteressat ) at se på det estremum, hvor ) λq µpx = 0, hvilet etop er år x = λ q µ p Da ϕ λ q µ p < ϕ y) for y > λ q µ p og ϕ λ q µ p > ϕ y) for y < λ q µ p, er x = λ q µ p et miimum, og derfor a ϕ vurderes edadtil Omsrives 35) fås, at λ =0 ) p q ϕx)), hvor 0 < x Side 34

Kapitel 3 Iformatiosuligheder Gruppe G3-7 q p 0 λ p a oveståede ulighed betragtes for etop x = λ µ Idet λ µ for λ p, at λ =0 hvilet er det øsede ) )) λ p q q ϕ µ p ) λ q λ λ = p µ p µ λq = λ λ µ λ q λ p λ µ + q = λ λ µ λ q λ p λ qµ )) = λ λ µ λ q λ+ p λ) = λ λ µ µ p λ q µ), ) ) ) q + q p )) q p, deraf fås Korollar 39 For p > 0, q > 0, p + q =, 0 λ p og µ + λ = gælder det for N og P = p, q), Λ = λ, µ), at λ =0 ) p q 2 DΛ P), hvor DΛ P) er de relative etropi med logaritmegrudtallet 2 BEVIS Per sætig 38 gælder λ =0 ) p q λ λ µ µ p λ q µ p ) ) λ q µ = λ µ ) λ λ µ = p q = 2 ) µ ) ) λ ) )) log λp µ µ 2 +log 2 q = 2 λ log 2 λp )+µ log 2 µ q = 2 DΛ P) Det sidste lighedsteg fås fra defiitio 28, hvilet er det øsede resultat Sætig 30 For r N med r 2 og 0 λ r r gælder, at λ =0 )) ) r ) r H rλ)+λ log r r )) Side 35

Gruppe G3-7 Kapitel 3 Iformatiosuligheder BEVIS Da λ =0 ) r ) = = λ =0 λ =0 = r λ =0 = r λ =0 = r λ =0 = r λ =0 ) r ) r )) r ) r ) r ) r ) r ) r ) r r ) r r ) r ) r ) giver sætig 38, hvor p := r og q := r, at Bemær at λ =0 ) r ) r λ λ µ µ r λ λ µ µ = λ λ λ) λ) ) λ ) λ) = λ λ = r λ log r λ) r λ) log r λ) = r λ log r λ)+ λ) log r λ)) = r H rλ, λ) = r H rλ), ) λ ) µ 36) r hvor λ + µ = jf de tidligere avedelse af sætig 38 Det idsættes i 36), så der fås, at λ =0 hvilet giver det øsede ) λ ) µ r = r λ+µ) r H rλ) ) λ r r = r Hrλ) r λ ) λ r µ r r ) r ) r r H rλ) r = r H rλ) r ) λ, For at vise Dataprocesserigsulighede og Faos ulighed, er det ødvedigt at itroducere Marov-æder ) µ ) µ Side 36

Kapitel 3 Iformatiosuligheder Gruppe G3-7 Defiitio 3 Marov-æde) De stoastise variable X, Y, Z siges at dae e Marov-æde i de ævte ræefølge, beteget X Y Z, hvis pz y,x) = pz y) for alle x, y, z, så 0 < px,y,z) [Cover & Thomas, 2006, s 34] Af defiitio 3 følger visse egesaber, som u vil blive vist Lemma 32 i) Hvis X Y Z, så er px, y, z) = px)py x)pz y) ii) X Y Z hvis og u hvis px,z y) = px y)pz y) iii) X Y Z Z Y X iv) Hvis X og Y er stoastise variable, gælder at X Y f Y), hvor f Y) beteger e futio af Y [Cover & Thomas, 2006, s 34] BEVIS Da i) og iv) følger per defiitio 3, vises u de adre to i) px,z y) = px,y,z) py) = px,y)pz y) py) = px y)pz y) ii) Fra ii) er X Y Z esbetydede med, at betiget Y er X og Z er uafhægige Derfor gælder der også, at X Y Z Z Y X Sætig 33 Chebyshevs ulighed) Lad X være e stoatis variabel med middelværdi µ og varias σ 2 Da gælder for ethvert ε > 0 at P X µ εσ) ε 2 [Olofsso, 2005, sæt 247, s 0] Sætig 34 De store tals lov svag udgave) Lad X, X 2,, X være e følge af esfordelte og uafhægige stoastise variable med middelværdie µ og lad X := X = være det aritmetise geemsit For ethvert ε > 0 gælder da, at P X µ > ε ) 0 for [Olofsso, 2005, sæt 42, s 270] Side 37

Gruppe G3-7 Kapitel 3 Iformatiosuligheder BEVIS Atag at X har e edelig varias σ Så a Chebyshevs ulighed i sætig 33 avedes med c = ε σ således der fås, at P X µ > ε ) σ2 0 for ε2 Hvis variase σ = a det også vises, me da det jf [Olofsso, 2005, s 270] er mere ompliceret, vises det ie her Sætig 35 Dataprocesserigsulighede) Hvis X Y Z, så gælder, at IX; Y) IX; Z) [Cover & Thomas, 2006, sæt 28, s 34] BEVIS Ifølge defiitio 27 af gesidig iformatio gælder, at IX; Y,Z) = IX; Z) + IX; Y Z) = IX; Y) + IX; Z Y) = IX; Y), da IX; Z Y) = 0 jf defiitio 223, og dermed er sætige vist Sætig 36 Faos ulighed) Lad X og Y være stoastise variable For ehver estimator X := gy) således X Y X gælder, at ) H b P e ) + P e log b X H b X X H b X Y), ) hvor P e := P X = X beteger fejlsadsylighede, og alfabetet for X er X og for X er alfabetet X BEVIS Lad først H := H b og log := log b Da X Y X, ) fordi X = g Y), giver ) dataprocesserigsulighede, at IX; X) IX; Y), og da I X; X = H X) H X X ) og I X; Y) = H X) H X Y) følger det, at H X X H X Y) ) Derfor sal det u u vises, at H b P e ) + P e log b X H b X X Idfør fejlidiatorvariable E := { hvis X = X 0 hvis X = X ) Kæderegle for etropi i sætig 26 giver to udtry for H E, X X afhægigt af, om der tages udgagsput i E eller X Der gælder, at ) ) H E, X X = H X X + H ) = H X X ) E X, X 37) Side 38

Kapitel 3 Iformatiosuligheder Gruppe G3-7 samt at ) ) ) H E, X X = H E X + H X E, X 38) ) I 37) er H E X, X = 0 da der ige usierhed er for E, hvis ma både eder X og ) X I 38) er H E X HE) = H P e ), da etropie reduceres givet mere iformatio Ydermere gælder, at givet E = 0 er X = X, så derfor er ) H X E, X = e {0,} x X = H x X H x X ) H X E = e, X = x PE = e, X = x) ) X E = 0, X = x PE = 0, X = x)+ ) X E =, X = x PE =, X = x) = log X ) PE =, X = x) x X = log X ) PE =, X = x) x X =P e log X ) Samlet giver dette, at ) H X X = H = H ) E, X X E X ) + H HP e ) + P e log X ), ) X E, X og sætige er vist Det bemæres, at hvis X = X, så er det i stedet log b X ), der a avedes Side 39

KAPITEL 4 KILDEKODNING I dette apitel beyttes de itroducerede begreber til at foretage ildeodig, der, som besrevet i idledige, går ud på at forberede iformatioe til afsedelse ved at omprimere det Dette ser ved at repræsetere iformatioe ved færre symboler ed de egetlige iformatio Først er der brug for ogle grudlæggede begreber Defiitio 4 Alfabeter, strege og r-ære oder) De edelige mægde A = {a, a 2,, a r } aldes et odealfabet, og elemetere a, a 2,, a r aldes symboler E streg a over alfabetet A er e edelig følge af elemeter fra A, og de srives som a = a i a i2 a i, hvor a i, a i2,, a i A De tomme streg, θ, er de etydige streg, der ie ideholder ogle symboler Mægde af alle strege over A oteres A E r-ær ode er e ie-tom delmægde C A, og r aldes odes radix Elemetere i C aldes odeord E ode, hvis alfabet er {0, }, aldes e biær ode, og e ode, hvis alfabet er {0,, 2}, aldes e tertiær ode Lægde af e streg a oteres le a) og agiver atallet af symboler i strege [Roma, 992, s 39 40] Når odes radix ie er cetral, vil betegelse r-ær ode blive erstattet med ode Defiitio 42 Disret huommelsesfri aal) E disret aal med iput X og output Y siges at være huommelsesfri, hvis P X = x, Y = y ) = P X = x ) P Y = y X = x ), hvor P Y = y X = x ) := py i x i ) Defiitio 43 Kaalapacitet) For e disret huommelsesfri aal defieres aalapacitete K som K := max IX; Y) px) [Cover & Thomas, 2006, s 84] Side 4

Gruppe G3-7 Kapitel 4 Kildeodig Sætig 44 Kaalapacitet for e symmetris huommelsesfri aal) For e biær symmetris huommelsesfri aal, gælder at K = Hp) [Cover & Thomas, 2006, s 87] BEVIS Da aalapacitete er defieret som masimum af de gesidige iformatio, bevises sætige ved at vurdere de gesidige iformatio opad til Dermed fås, at IX; Y) = HY) HY X) = HY) px) py x) log x X y Y = HY) px)hp) x X = HY) Hp) px) x X = HY) Hp) Hp), hvor de sidste ulighed fås da Y er e biær stoastis variabel ) py x) Lemma 45 Lad X og Y være heholdsvis iput og output til de te udvidelse af e disret huommelsesfri aal med apacitete K Da gælder, at samt at H Y X ) = I Y ; X ) H Y i X i ), I Y i ; X i ) K BEVIS Ifølge lemma 25 og defiitio 42 fås, at H Y X ) = E [log p Y X ))] [ = E = E = = )] log p Y i X i ) [ ] log p Y i X i )) E [log p Y i X i ))] H Y i X i ) Side 42

Afsit 4: Støjfri oder Gruppe G3-7 Jf defiitio 27 om gesidig iformatio fås, at I Y ; X ) = H Y ) H Y X ) = H Y ) = H Y ) = H Y ) H Y i X i ) H Y i ) I Y i ; X i )) H Y i ) + I Y i ; X i ), og da [Cover & Thomas, 2006, Sæt 26, s 30] giver, at H Y ) H Y i), så er H Y ) H Y i) 0, hvorved de vestre ulighed er opfyldt De højre ulighed er opfyldt, da aales apacitet er e masimerig af de gesidige iformatio 4 STØJFRI KODER Dette afsit omhadler støjfri oder, og idholder vigtige resultater som Krafts sætig og McMillas sætig Støjfri oder er oder, der avedes i forbidelse med støjfri aaler Idledigsvist er der brug for e ræe defiitioer Defiitio 46 Kodigssema) Lad S = S, P) være e ilde Et odigssema for S er et ordet par C, f ), hvor C er e ode og f : S C e ijetiv futio, der beæves odigsfutioe [Roma, 992, s 40] Defiitio 47 Geemsitslig odeordslægde) De geemsitslige odeordslægde af et odigssema C, f ) for e ilde S = S, P) = {s, s 2,, s }, P) er defieret ved AveLe C, f ) := Ps )le f s )) = [Roma, 992, s 40] Defiitio 48 Bloode og ode af variabel lægde) Hvis alle odeord i e ode C har de samme lægde, aldes C e bloode Hvis C ideholder odeord af forsellig lægde aldes C e ode af variabel lægde [Roma, 992, s 4] Defiitio 49 Etydig ode) E ode C er etydig hvis, c,, c m og d,, d er odeord i C og c c m = d d, så m = og c = d for alle {,, m} [Roma, 992, s 43] Side 43

Gruppe G3-7 Afsit 4: Støjfri oder Defiitio 40 Mometa ode) E ode siges at være mometa, hvis ethvert odeord i ehver streg af odeord a deodes ved læsig fra vestre mod højre løbede, så sart ode modtages [Roma, 992, s 43] Bemær at hvis e ode er mometa, er de etydig Defiitio 4 Midste geemsitlige odeordslægde) MiAveLe r p,,p ) beteger de midste geemsitlige odeordslægde bladt alle r-ære, mometae oder for sadsylighedsfordelige p,,p ) Defiitio 42 Optimal ode) E optimal, r-ær ode for e sadsylighedsfordelig p,,p ) er e r-ær mometa ode c,,c ), hvor der gælder, at AveLec,,c ) = MiAveLe r p,,p ) Defiitio 43 Præfisegesab) E ode siges at have præfiegesabe, hvis itet odeord er et præfis af ehvert adet odeord; så år c = x x er et odeord, så er x x ie et odeord for < [Roma, 992, s 43] Sætig 44 Mometa ode esbetydede med præfisode) E ode er mometa, hvis og u hvis ode har præfisegesabe [Roma, 992, sæt 2, s 44] Sætig 45 Krafts sætig) Der esisterer e r-ær mometa ode C over alfabetet A med odeordslægdere l, l 2,, l, hvis og u hvis hvilet aldes Krafts ulighed = r l, [Roma, 992, sæt 22, s 44] BEVIS Atag at C er e r-ær mometa ode over alfabetet A med odeordslægdere l, l 2,, l Atag ude tab af geeralitet, at l max = le c ), hvor l max := max{l, l 2,, l } Hvis c i = x x 2 x li C betragtes for i {, 2,, }, a c i forlæges, således at c i = x x 2 x li y li +y li +2 y lmax for y li +, y li +2,, y lmax A, Side 44

Afsit 4: Støjfri oder Gruppe G3-7 hvorved c i er præfis af c i og le c i ) = l Da C er e mometa ode, er de jf sætig 44 præfisfri Der fides altså r l l i måder at forlæge c i på, idet i holdes fast Til hvert af odeordee c,c 2,,c i,,c er der r l max l i forsellige odeord af lægde l max Så fides der rl l i mulige odeord af lægde l max På de ade side fides der i alt r lmax odeord af lægde l max Derfor gælder der, at hvilet betyder, at r l l i r l r l r l i r l, r l i for r 2 og l i N 0 for alle i {, 2,, } Atag u på de ade side, at r, l, l 2,, l N med r 2 og = r l hjælpestørrelse α j, der beteger atallet af ord med lægde j Idfør u Der sal u beyttes α ord af lægde, hvilet a gøres ved at vælge de første α symboler Dét er også muligt, hvis α r For at ostruere α 2 ord med lægde 2, sal disse vælges, således at ige af de α symboler er præfis, da ode så ie ville være præfisfri Så ud af de r 2 mulige ord med lægde 2 over A, sal der ses bort fra de rα, der er beyttet til at lave de α ord med lægde Dermed a der laves α 2 odeord med lægde 2 ud af r 2 rα mulige Som før er det tilstræeligt, at hvilet er esbetydede med, at α 2 r 2 rα, α 2 + rα r 2 For at lave α 3 odeord med lægde 3 er det som før et rav, at ige af de r 2 α odeord med lægde 3 starter med ogle af de α odeord fra otrutioe af α odeord og heller ie med ogle af de rα 2 odeord fra ostrutioe af α 2 odeord Ige er det tilstræeligt, at α 3 r 3 rα 2 r 2 α, hvilet er esbetydede med, at α 3 + rα 2 + r 2 α r 3 Ved at fortsætte fremgagsmåde fås et system af uligheder givet ved α r 4) α 2 + rα r 2 α 3 + rα 2 + r 2 α r 3 α m + rα m + + r m 2 α 2 + r m α r m Kostrutioe er mulig, hvis ulighedere i systemet er opfyldt Det vises u, at de sidste ulighed medfører de forrige, dvs at hvis α m + rα m + + r m 2 α 2 + r m α r m α m + rα m 2 + + r m 3 α 3 + r m 2 α 2 r m, Side 45

Gruppe G3-7 Afsit 4: Støjfri oder så a der ostrueres e præfisfri ode Impliatioe gælder for r 2, da r m = rm r α m + rα m + + r m 2 α 2 + r m α r = α m r + α m + + r m 3 α 2 + r m 2 α α m + + r m 3 α 2 + r m 2 α Det ses desude at sidste ulighed i 4) er ævivalet med Krafts ulighed, idet de ved divisio med r m fås til α m r m + rα m r m + + rm 2 α 2 r m + rm α r m = hvor gyldighede af det sidste lighedsteg fås ved substitutio m α r = = I forbidelse med esistes af etydige oder er det iteressat at igge på ødvedige og tilstræelige betigelser Da ehver mometa ode er etydig, er Krafts ulighed e tilstræelig betigelse At Krafts ulighed er e ødvedig betigelse ommer af McMillas sætig, der dermed giver, at ma ie taber oget ved at arbejde med præfisoder, r l i Sætig 46 McMillas sætig) Hvis ode C = {c, c 2,, c } er e etydig r-ær ode, så opfylder lægdere l, l 2,, l for odeordee i C Krafts ulighed, således at = r l [Roma, 992, sæt 23, s 48] BEVIS Atag at α er atallet af odeord i C med lægde Der gælder da, at = r l = m α r =, hvor m er de masimale odeordslægde For u N betragtes u udtryet m = α r ) u = = α r + + α ) m u r m m α i r i m i = = i,,i u i j m = i,,i u i j m α i r i i u = αi u r i u α i α iu r i + +i u αi u r i u )) Side 46

Afsit 4: Støjfri oder Gruppe G3-7 Da i j m for j {,, u}, er u i + + i u um Led med fælles sum i + + i i a samles, hvorved det fås, at ) u α = r r hvor m = = N = um =u um N r =u, ) α i α iu i + +i u = α i α iu i + +i u = N er dermed det totale atal strege af lægde, der fremommer ved at sammesætte u odeord Betragt u N = {x = c c u c i C, le x) = }, som etop er mægde af alle de førævte strege, dvs N = N Ethvert x = c c u N a ases for at være e streg af lægde over det r-ære alfabet A Da C er etydig, er der ie to strege i N, som a være starte på e streg i A, og da der er r strege i A, fås og dermed, at m = N = N r, α r ) u um =u r r um = =u um Da dette gælder for alle u N, a der tages de u te rod, således at m α r = u u m u Det er u muligt at tage græseværdie, hvorved m u for u Betragt u omsrivige u u = e lu) u = e u lu), og beyt l Hôpitals regel på espoete, hvorved der fås lu) lu)) lim = lim u u u u u = lim u = lim u u = 0 Da e u lu) haves, at m u u u for u og således fås, at hvilet etop er det øsede = r l = m α r =, Side 47

Gruppe G3-7 Afsit 42: Kildeodigssætige 42 KILDEKODNINGSSÆTNINGEN Sætig 47 Lad C = c,,c ) være e r-ær etydig ode for e sadsylighedsfordelig P = p,,p ) Så gælder der, at H r p,,p ) AveLe c,,c ), hvor der gælder lighedsteg hvis og u hvis le c i ) = log r p i [Roma, 992, sæt 23, s 62] BEVIS Da C er etydig gælder Krafts ulighed Dvs ode opfylder, at r l i Vælges q i =, haves der jf lemma 27, at r l i H r p,,p ) = = p i log r p i p i log r q i p i log r r l i = p i l i = AveLe c,,c ), hvor lighedsteget gælder hvis og u hvis q i = p i, dvs hvis og u hvis p i = r l i l i = log r p i Sætig 48 Kildeodigssætige) For ehver sadsylighedsfordelig P = p,,p ) gælder der, at H r p,,p ) MiAveLe r p,,p ) < H r p,,p ) + eller [Roma, 992, sæt 232, s 64] BEVIS Lad l i = log r p i Så gælder der, at log r p i l i < log r p i + 42) Det vestre ulighedsteg medfører, at p i Altså må der gælde, at r l i r l i p i = Dvs at Krafts ulighed er opfyldt Derfor esisterer der så e r-ær etydig ode C = c,,c ) for sadsylighedsfordelige P = p,,p ), hvorfor der jf sætig 47 gælder, at H r p,,p ) AveLe c,,c ) 43) Side 48

Afsit 43: Huffma-odig Gruppe G3-7 Det højre ulighedsteg i 42) giver, at de geemsitlige ordlægde for C opfylder, at ) AveLe C) = p i l i < p i log r + p i = p i log r + p i p i = H r p,,p ) + Samme med 43) fås, at H r p,,p ) AveLe C) < H r p,,p ) + De midste geemsitlige ordlægde må således opfylde, at H r p,,p ) MiAveLe r p,,p ) < H r p,,p ) +, hvilet beviser det øsede 43 HUFFMAN-KODNING Dette afsit er baseret på [Roma, 992, afsit 22] Huffma-odig er e metode til at ostruere effetive mometae oder Kodige udføres ved at lave såaldte Huffma-redutioer og -udvidelser, som vi vil itroducere geem et esempel Efter esemplet udvides fremgagsmåde til e geerel algoritme Vi vil u ostruere e tertiær Huffma-ode for sadsylighedsfordelige der består af 8 sadsyligheder P = 0,09; 0,7; 0,03; 0,22; 0,02; 0,07; 0,29; 0,), Der sal u laves de førævte Huffma-redutioer, der går ud på at reducere de 8 sadsyligheder til 3, da det er e tertiær ode, der betragtes i dette esempel Alle redutioer, udtaget muligvis de første, sal have størrelse r = 3, da det er e tertiær ode, der ostrueres Størrelse af første redutio sal vælges, så sidste oloe får r sadsyligheder for e r-ær ode Da e redutio af størrelse s reducerer atallet af sadsyligheder med s, og da 8 2 ) 3 ) 3 ) = 3, er det lart, at første redutio sal have størrelse 2 Vi itroducerer seere e formel til at berege størrelse af første redutio Betragt figur 4 Først arrageres sadsylighedere i faldede ræefølge, som illustreret i første oloe Derefter erstattes de to midste sadsyligheder med deres sum, og de resulterede sadsyligheder arrageres i e y oloe i faldede ræefølge Summe sal mareres, da det seere er ødvedigt at ue geede de for at ue folde summe ud til de opridelige sadsyligheder Typis srives et symbol ved summe, me vi har her valgt at bruge pile mellem oloere Processe med at ombiere de to midste sadsyligheder til é sadsylighed aldes e Huffma-redutio af størrelse 2 Næste sridt er at lave e Huffma-redutio af størrelse 3 Resultatet ses i tredje oloe på figur 4 Reste af tabelle fås ved at lave Huffma-redutioer af størrelse 3, idtil atallet af sadsyligheder er reduceret til 3 Efter hver redutio arrageres sadsylighedere i faldede ræefølge Ved at arbejde fra højre mod vestre a der u ostrueres odeord for sadsylighedere Dette a gøres i samme tabel som på figur 4, me for at tydeliggøre processe Side 49

Gruppe G3-7 Afsit 43: Huffma-odig S K S K S K S K 0,29 0,29 0,29 0,49 0,22 0,7 0, 0,09 0,07 0,03 0,02 0,22 0,7 0, 0,09 0,07 0,05 0,22 0,2 0,7 0, 0,29 0,22 Figur 4 Huffma-redutioer S = Sadsyligheder, K = Kodeord S K S K S K S K 0,29 0,29 0,29 0,49 0 0,22 0,7 2 0 0,22 0,7 2 0 0,22 0,2 2 00 0,29 0,22 2 0, 0,09 0,07 0,03 0,02 02 000 00 0020 002 0, 0,09 0,07 0,05 02 000 00 002 0,7 0, 0 02 Figur 42 Huffma-udvidelser S = Sadsyligheder, K = Kodeord gøres dette i e separat tabel på figur 42 Først tildeles de r = 3 sadsyligheder i sidste oloe odeordee 0,,,r Derefter tildeles der odeord til de ade sidste K- oloe ved at udvide odeordet for summe i de sidste oloe Udvidelse foregår ved at sammesætte summes odeord med symbolere 0,,,r På figur 42 er summe 0,49 med odeordet 0 Summe 0,49 splittes op i sadsylighedere 0,2, 0,7 og 0,, der får odeordee hhv 00, 0 og 02 Udvidelsere fortsættes mod vestre, idtil første K-oloe på figur 42 opås Kode beståede af odeordee i dee oloe er de øsede Huffma-ode, som ses at være e mometa ode Vi a atage, at odealfabetet er {0,,,r }, da vi har at gøre med r-ære oder Følgede a observeres ud fra det idledede esempel Lad P = p,,p ) være e sadsylighedsfordelig Ved at udføre e Huffma-redutio af størrelse s fås sadsylighedsfordelige Q = p,,p s,q), hvor q = p s+ + + p Atag at D = c,,c s,d) er e optimal ode for fordelige Q Så a ode C = c,,c s,d0,d,,ds )) for p,,p ) ostrueres ved at udvide odeordet d til s odeord d0,d,,ds ), der alle har e lægde, som vi alder L Kode C har præfisegesabe og er derfor e mometa ode Da AveLeD) = s p i le c i ) + qle d) Side 50