ÒØÖÓÔÝ Ó Ò Ò ÂÈ Ø ÐÐ Ñ ÓÑÔÖ ÓÒ Â Ò ÎÓ Ð Ò Ë ÔØ Ñ Ö ¼Ø ¾¼½½ ½» ½
ÒÓ Ò Ò Ò Ö Ð ÒÓ Ò Ò Ò Ö Ð ¾» ½
ÖÓÑ Ù ÑÔÐ Ò ÌÖ Ò ÓÖÑ Ø ÓÒ ÒØÓ ³ Ö ÓÐÓÖ Ô» ½
ÖÓÑ Ù ÑÔÐ Ò ÌÖ Ò ÓÖÑ Ø ÓÒ ÒØÓ ³ Ö ÓÐÓÖ Ô Ê ÙØ ÓÒ Ó Ô Ø Ð Ö ÓÐÙØ ÓÒ Ó Ù Ò ØÙÖ Ø ÓÒ ÓÑÔÓÒ ÒØ» ½
Ö Ø Ó Ò ØÖ Ò ÓÖÑ ËÔÐ ØØ Ò ÒØÓ Ü ÐÓ
Ö Ø Ó Ò ØÖ Ò ÓÖÑ ËÔÐ ØØ Ò ÒØÓ Ü ÐÓ ÔÔÐÝ Ò Ö Ø Ó Ò ÌÖ Ò ÓÖÑ Ø ÓÒ Ìµ
ÉÙ ÒØ Þ Ø ÓÒ ÔÔÐÝ ÕÙ ÒØ Þ Ø ÓÒ Ñ ØÖ Ü Q
ÉÙ ÒØ Þ Ø ÓÒ ÔÔÐÝ ÕÙ ÒØ Þ Ø ÓÒ Ñ ØÖ Ü Q Ò ÐÐÝ Ú Ø ÒÙÑ Ö ÑÓ Ø ÒØÐݺºº
ÒØÖÓÔÝ ÒÓ Ò ÒØÖÓÔÝ ÒÓ Ò
Ø ÓÑÔÖ ÓÒ Û Ò ÓÔ ÓÖ Ä Ñ Ø Ø Ý Ø ÒØÖÓÔÝ Ó Ø Ø H(X) = i p i log 2 (1/p i ) Û Ö Ò Ò Ñ Ð Ó ÔÓ Ð ÓÙØÓÑ Ó Ú Ö Ð Ò Ø Ö ÔÓ Ð Ø º
Ø ÓÑÔÖ ÓÒ Û Ò ÓÔ ÓÖ Ä Ñ Ø Ø Ý Ø ÒØÖÓÔÝ Ó Ø Ø H(X) = i p i log 2 (1/p i ) Û Ö Ò Ò Ñ Ð Ó ÔÓ Ð ÓÙØÓÑ Ó Ú Ö Ð Ò Ø Ö ÔÓ Ð Ø º Á ÝÓÙ Û ÒØ ØÓ ØÓÖ Ø ÓÙØÓÑ Ó ÙÒ Ó Ò Ø ÖÓÛ Ò Ø ÒØÖÓÔÝ H = 0.5 log 2 (1/0.5) +0.5 log 2 (1/0.5) = 1 ËÓ ÝÓÙ Ò Ø Ð Øµ ÓÒ Ø ØÓ ØÓÖ Ø Ø º
Ø ÓÑÔÖ ÓÒ Û Ò ÓÔ ÓÖ Ä Ñ Ø Ø Ý Ø ÒØÖÓÔÝ Ó Ø Ø H(X) = i p i log 2 (1/p i ) Û Ö Ò Ò Ñ Ð Ó ÔÓ Ð ÓÙØÓÑ Ó Ú Ö Ð Ò Ø Ö ÔÓ Ð Ø º Á ÝÓÙ Û ÒØ ØÓ ØÓÖ Ø ÓÙØÓÑ Ó ÙÒ Ó Ò Ø ÖÓÛ Ò Ø ÒØÖÓÔÝ H = 0.5 log 2 (1/0.5) +0.5 log 2 (1/0.5) = 1 ËÓ ÝÓÙ Ò Ø Ð Øµ ÓÒ Ø ØÓ ØÓÖ Ø Ø ºÌ ÐÓÛ Ö Ð Ñ Ø Ú Ò Ý Ë ÒÒÓÒ³ ÓÙÖ Ó Ò Ø ÓÖ Ñ ÓÖ ÝÑ ÓÐ Ó º
ÜÔ Ø Ð Ò Ø Ó Ó Ï Ø Û ØÙ ÐÐÝ ØÖÝ ØÓ Ñ Ò Ñ Þ L = i p i l i l i = Ø¹Ð Ò Ø Ó ÝÑ ÓÐ i
ÜÔ Ø Ð Ò Ø Ó Ó Ï Ø Û ØÙ ÐÐÝ ØÖÝ ØÓ Ñ Ò Ñ Þ L = i p i l i l i = Ø¹Ð Ò Ø Ó ÝÑ ÓÐ i Ì Ù Ó Ø ÓÙÖ Ó Ò Ø ÓÖ Ñµ Ú Ý ÓÓ Ò l i = log 2 (1/p i ), Ø Ó ÐÐ Ë ÒÒÓÒ Ò ÓÖÑ Ø ÓÒ ÓÒØ ÒØ Ó ÝÑ ÓÐ
ÜÔ Ø Ð Ò Ø Ó Ó Ï Ø Û ØÙ ÐÐÝ ØÖÝ ØÓ Ñ Ò Ñ Þ L = i p i l i l i = Ø¹Ð Ò Ø Ó ÝÑ ÓÐ i Ì Ù Ó Ø ÓÙÖ Ó Ò Ø ÓÖ Ñµ Ú Ý ÓÓ Ò l i = log 2 (1/p i ), Ø Ó ÐÐ Ë ÒÒÓÒ Ò ÓÖÑ Ø ÓÒ ÓÒØ ÒØ Ó ÝÑ ÓÐ Ì ÒØÖÓÔÝ¹Ð Ñ Ø Ò ÓÒÐÝ Ö Ø Ë ÒÒÓÒ Ò ÓÖÑ Ø ÓÒ ÓÒØ ÒØ Ó ÝÑ ÓÐ Ò ÒØ Öº
ÈÖ Ü¹ Ö Ó Ò Ø ÓÒ ÈÖ Ü¹ Ö Ó ÝÑ ÓÐ Ó ÐÐ ÔÖ Ü¹ Ö Ó ÒÓ Ó ÛÓÖ ÔÖ Ü Ó ÒÝ ÓØ Ö Ó ÛÓÖ º
ÈÖ Ü¹ Ö Ó Ò Ø ÓÒ ÈÖ Ü¹ Ö Ó ÝÑ ÓÐ Ó ÐÐ ÔÖ Ü¹ Ö Ó ÒÓ Ó ÛÓÖ ÔÖ Ü Ó ÒÝ ÓØ Ö Ó ÛÓÖ º Ü ÑÔÐ ß¼ ¼½ ½¼ Ð ÒÓØ ÔÖ Ü¹ Ö Ó ¼½¼ ÓÙÐ Ñ Ò ÓÖ Ò ÝÓÙ ÛÓÙÐ Ò Ò Ø ÓÒ Ð ÛÓÖ ÓÖ Ñ Ö Ò Ø Ø ÖØ ÓÖ Ø Ò µ Ó ÛÓÖ
ÈÖ Ü¹ Ö Ó Ò Ø ÓÒ ÈÖ Ü¹ Ö Ó ÝÑ ÓÐ Ó ÐÐ ÔÖ Ü¹ Ö Ó ÒÓ Ó ÛÓÖ ÔÖ Ü Ó ÒÝ ÓØ Ö Ó ÛÓÖ º Ü ÑÔÐ ß¼ ¼½ ½¼ Ð ÒÓØ ÔÖ Ü¹ Ö Ó ¼½¼ ÓÙÐ Ñ Ò ÓÖ Ò ÝÓÙ ÛÓÙÐ Ò Ò Ø ÓÒ Ð ÛÓÖ ÓÖ Ñ Ö Ò Ø Ø ÖØ ÓÖ Ø Ò µ Ó ÛÓÖ ß¼ ½¼ ½½ Ð ÔÖ Ü¹ Ö Ó
ÈÖ Ü¹ Ö Ó Ò Ø ÓÒ ÈÖ Ü¹ Ö Ó ÝÑ ÓÐ Ó ÐÐ ÔÖ Ü¹ Ö Ó ÒÓ Ó ÛÓÖ ÔÖ Ü Ó ÒÝ ÓØ Ö Ó ÛÓÖ º Ü ÑÔÐ ß¼ ¼½ ½¼ Ð ÒÓØ ÔÖ Ü¹ Ö Ó ¼½¼ ÓÙÐ Ñ Ò ÓÖ Ò ÝÓÙ ÛÓÙÐ Ò Ò Ø ÓÒ Ð ÛÓÖ ÓÖ Ñ Ö Ò Ø Ø ÖØ ÓÖ Ø Ò µ Ó ÛÓÖ ß¼ ½¼ ½½ Ð ÔÖ Ü¹ Ö Ó Ì Û Ý ÐÑÓ Ø ÒØÖÓÔÝ¹Ð Ñ Ø ÓÙÖ Ó Ò Ö Ò ÂÈ ¹ÓÑÔÖ ÓÒ ÐÐ ÀÙ Ñ Ò Ó Ò º
ÀÙ Ñ Ò Ó Ò ÀÙ Ñ Ò Ð ÓÖ Ø Ñ Ì Ð ÓÖ Ø Ñ Ö Ô ÓÛ ØÓ Ù Ð Ò ÖÝ ØÖ Ø Ø Ú ÝÓÙ Ø ÓÔØ Ñ Ð Ó ÓÖ ÝÑ Óк ½ ¾ Ì Ø ØÛÓ Ð Ø ÔÖÓ Ð ÝÑ ÓÐ Ò Ø ÐÔ Øº Ì ØÛÓ ÝÑ ÓÐ Û ÐÐ Ú Ò Ø ÐÓÒ Ø Ó ÛÓÖ Û Û ÐÐ Ú ÕÙ Ð Ð Ò Ø Ò Ö ÓÒÐÝ Ò Ø Ð Ø Øº ÓÑ Ò Ø ØÛÓ ÝÑ ÓÐ ÒØÓ Ò Ð ÝÑ ÓÐ Ò Ö Ô Øº ½¼» ½
ÀÙ Ñ Ò Ó Ò ÀÙ Ñ Ò Ð ÓÖ Ø Ñ Ì Ð ÓÖ Ø Ñ Ö Ô ÓÛ ØÓ Ù Ð Ò ÖÝ ØÖ Ø Ø Ú ÝÓÙ Ø ÓÔØ Ñ Ð Ó ÓÖ ÝÑ Óк ½ ¾ Ì Ø ØÛÓ Ð Ø ÔÖÓ Ð ÝÑ ÓÐ Ò Ø ÐÔ Øº Ì ØÛÓ ÝÑ ÓÐ Û ÐÐ Ú Ò Ø ÐÓÒ Ø Ó ÛÓÖ Û Û ÐÐ Ú ÕÙ Ð Ð Ò Ø Ò Ö ÓÒÐÝ Ò Ø Ð Ø Øº ÓÑ Ò Ø ØÛÓ ÝÑ ÓÐ ÒØÓ Ò Ð ÝÑ ÓÐ Ò Ö Ô Øº Ü ÑÔÐ ÝÑ ÓÐ ÔÖÓÔ Ð ØÝ ß Ð ß¼º¾ ¼º¾ ¼º¾ ¼º½ ¼º½ Ð ½¼» ½
ÀÙ Ñ Ò Ó Ò ÀÙ Ñ Ò Ð ÓÖ Ø Ñ Ì Ð ÓÖ Ø Ñ Ö Ô ÓÛ ØÓ Ù Ð Ò ÖÝ ØÖ Ø Ø Ú ÝÓÙ Ø ÓÔØ Ñ Ð Ó ÓÖ ÝÑ Óк ½ ¾ Ü ÑÔÐ Ì Ø ØÛÓ Ð Ø ÔÖÓ Ð ÝÑ ÓÐ Ò Ø ÐÔ Øº Ì ØÛÓ ÝÑ ÓÐ Û ÐÐ Ú Ò Ø ÐÓÒ Ø Ó ÛÓÖ Û Û ÐÐ Ú ÕÙ Ð Ð Ò Ø Ò Ö ÓÒÐÝ Ò Ø Ð Ø Øº ÓÑ Ò Ø ØÛÓ ÝÑ ÓÐ ÒØÓ Ò Ð ÝÑ ÓÐ Ò Ö Ô Øº ÝÑ ÓÐ ß Ð ÔÖÓÔ Ð ØÝ ß¼º¾ ¼º¾ ¼º¾ ¼º½ ¼º½ Ð Ö ÙÐØ Ò Ó ß½¼ ¼¼ ¼½ ½½¼ ½½½Ð ÜÔ Ø Ó Ð Ò Ø L = 2.30 Ø ÒØÖÓÔÝ H = 2.28 Ø ½¼» ½
Ì ÜØÖ Ø Ü ÑÔÐ ÝÑ ÓÐ ß Ð ÔÖÓÔ Ð ØÝ ß¼º ¼º¼½ ¼º¼½Ð Ö ÙÐØ Ò Ó ß¼ ½¼ ½½Ð ÜÔ Ø Ó Ð Ò Ø L = 1.02 Ø ÒØÖÓÔÝ H = 0.16 Ø Ò ÓÖÑ Ø ÓÒ ÓÒØ ÒØ Ó l a = log 2 (1/0.98) = 0.03 ½½» ½
ØÓ ÂÈ ÊÙÒ¹Ð Ò Ø ÒÓ Ò ÊÙÒ Ó Ø Ö ØÓÖ Ò Ð Ø Ú ÐÙ Ò ÓÙÒØ Ü ÑÔÐ ÏÏÏÏÏÏÏÏÏÏÏÏ ÏÏÏÏÏÏÏÏÏÏÏÏ ØÓÖ ½¾Ï½ ½¾Ï ½¾» ½
Ú ÒØ Ó ÂÈ ½» ½
Ê Ö Ò ½ ¾ Ö ÓÖÝ Ï ÐÐ Ø Ðº Ì ÂÈ ËØ ÐÐ È ØÙ ÓÑÔÖ ÓÒ ËØ Ò Ö Á ÌÖ Ò Ø ÓÒ ÓÒ ÓÒ ÙÑ Ö Ð ØÖÓÒ ½ ½ Ú Å Ã Ý ÁÒ ÓÖÑ Ø ÓÒ Ì ÓÖÝ ÁÒ Ö Ò Ò Ä ÖÒ Ò Ð ÓÖ Ø Ñ Ñ Ö ÍÒ Ú Ö ØÝ ÈÖ ¾¼¼ ØØÔ»» Ø ÓÚ Ö ÐÓÛºÓÑ»ÕÙ Ø ÓÒ»½» Ó Ò ¹ ¹ Ô ¹ Ù Ñ Ò¹ ÐÓ ¹Ø Ð ØØÔ»»ÛÛÛº ÑÔÙÐ Ú ÒØÙÖ ºÓÑ»Ô ÓØÓ»ÓÔØ Ñ Þ ¹ Ô º ØÑÐ ØØÔ»» ÒºÛ Ô ºÓÖ»Û»ÂÔ ½
Ì Ò ÝÓÙ ÓÖ ÝÓÙÖ Ò ØØ ÒØ ÓÒ ½