解析信息論與編碼

第1章 信息概念與信息熵1.1 信息概念的引入與自信息1.1.1 從通信有效性的角度提出狹義信息的概念1.1.2 自信息1.2 單符號(hào)離散信源的信息熵1.3 信息熵的性質(zhì)習(xí)題第2章 單符號(hào)離散信道和平均交互信息量2.1 單符號(hào)離散信道的數(shù)學(xué)模型2.2 信息的流動(dòng)及其與通信可靠性的關(guān)系2.3 平均交互信息量2.4 平均交互信息量的性質(zhì)2.5 單符號(hào)離散信道的信道容量2.5.1 信道容量的定義2.5.2 離散無(wú)噪信道的信道容量2.5.3 對(duì)稱信道的信道容量2.5.4 用計(jì)算機(jī)輔助計(jì)算信道容量習(xí)題第3章 多符號(hào)離散信源和信道3.1 多符號(hào)離散信源的消息符號(hào)3.2 多符號(hào)離散無(wú)記憶信源3.3 多符號(hào)離散平穩(wěn)有記憶信源3.4 離散平穩(wěn)有記憶信源的數(shù)學(xué)模型及其極限熵3.4.1 離散平穩(wěn)有記憶信源的數(shù)學(xué)模型3.4.2 多符號(hào)離散平穩(wěn)有記憶信源的熵3.5 馬爾可夫鏈與馬爾可夫信源3.5.1 馬爾可夫鏈3.5.2 相關(guān)長(zhǎng)度有限的多符號(hào)離散平穩(wěn)信源與馬爾可夫鏈3.6 多符號(hào)離散信道3.6.1 離散無(wú)記憶信道的擴(kuò)展信道3.6.2 獨(dú)立并列信道的信道容量習(xí)題第4章 連續(xù)信源和連續(xù)信道4.1 單變量連續(xù)信源4.1.1 單變量連續(xù)信源的數(shù)學(xué)模型及其離散化4.1.2 單變量連續(xù)信源的相對(duì)熵及其特性4.1.3 相對(duì)熵的最大熵值4.2 單變量連續(xù)信道4.2.1 單變量連續(xù)信道的數(shù)學(xué)模型及其平均交互信息量4.2.2 單變量連續(xù)信道的信道容量和高斯加性信道4.3 多變量連續(xù)信源與信道4.3.1 多變量連續(xù)信源4.3.2 多變量連續(xù)信道4.3.3 多變量高斯白噪聲加性連續(xù)信道習(xí)題第5章 無(wú)失真信源編碼5.1 對(duì)信源編碼的要求及單義可譯碼5.1.1 信源編碼的過程及對(duì)無(wú)失真信源編碼的要求5.1.2 單義可譯碼5.2 即時(shí)碼及用樹圖構(gòu)碼的方法5.3 單義可譯定理5.3.1 必要性的證明5.3.2 充分性證明5.4 無(wú)失真信源編碼的有效性和香農(nóng)第一定理5.4.1 平均碼長(zhǎng)及其與信息熵的關(guān)系5.4.2 單符號(hào)離散無(wú)記憶信源的平均碼長(zhǎng)界限定理5.4.3 多符號(hào)離散信源編碼的極限平均碼長(zhǎng)5.5 香農(nóng)第一定理和數(shù)據(jù)壓縮5.5.1 香農(nóng)第一定理5.5.2 無(wú)失真信源編碼定理與數(shù)據(jù)壓縮5.6 霍夫曼編碼5.7 算術(shù)編碼習(xí)題第6章 有噪信道的編碼譯碼6.1 信道譯碼6.1.1 信道譯碼與譯碼規(guī)則6.1.2 平均錯(cuò)譯概率6.1.3 最大后驗(yàn)概率譯碼準(zhǔn)則6.2 信道編碼6.3 信道分組編碼的檢糾錯(cuò)能力和碼字間最小漢明距離的關(guān)系6.4 信息流理論與香農(nóng)第二定理6.4.1 信道等效信息流模型6.4.2 等效信息流分析與香農(nóng)第二定理習(xí)題第7章 信息率失真函數(shù)7.1 信源失真編碼與信道的關(guān)系7.2 失真函數(shù)和平均失真度7.3 信息率失真函數(shù)的定義及其性質(zhì)7.3.1 信息率失真函數(shù)月（D）的定義7.3.2 尺（D）函數(shù)的定義域及其性質(zhì)7.4 信息率失真函數(shù)的其他應(yīng)用習(xí)題第8章 信道檢糾錯(cuò)編碼8.1 分組碼概念8.2 線性分組碼的編碼8.3 線性分組碼的譯碼8.4 漢明碼8.5 循環(huán)碼8.5.1 循環(huán)碼及其多項(xiàng)式表示8.5.2 系統(tǒng)循環(huán)碼的編碼和譯碼8.6 卷積碼8.6.1 卷積碼編碼器的一般結(jié)構(gòu)8.6.2 卷積碼的編碼過程及解析表示8.6.3 卷積碼編碼過程的圖示法8.6.4 卷積碼的維特比譯碼習(xí)題附錄A 凸函數(shù)和詹森不等式A.1 凸域A.2 凸函數(shù)A.3 詹森不等式附錄B 信道編碼的代數(shù)知識(shí)B.1 域的概念B.2 線性空間和矩陣參考文獻(xiàn)