信息理論與編碼（第2版）

第1章 緒論 1
1.1 信息的概念 1
1.1.1 信息概念的復(fù)雜性 1
1.1.2 信息的定義 3
1.2 信息論的主要研究?jī)?nèi)容 4
1.3 信息論的發(fā)展歷程 7
習(xí)題 10
第2章 信息的度量 11
2.1 信源模型 11
2.2 (概率)信息的描述 13
2.3 不確定性與信息 14
2.3.1 自信息量 14
2.3.2 聯(lián)合自信息量 15
2.3.3 條件自信息量 16
2.3.4 自信息量的性質(zhì)和相互關(guān)系 17
2.3.5 互信息量及其性質(zhì) 19
2.4 離散隨機(jī)變量的(統(tǒng)計(jì))平均不確定性——離散熵 22
2.4.1 離散熵 22
2.4.2 離散熵的性質(zhì) 24
2.5 聯(lián)合熵和條件熵 26
2.5.1 聯(lián)合熵 27
2.5.2 條件熵 27
2.5.3 各類(lèi)熵之間的關(guān)系 28
2.6 平均互信息量及其性質(zhì) 29
2.7 離散無(wú)記憶信源的擴(kuò)展 31
2.8 離散平穩(wěn)信源的熵 32
2.9 馬爾可夫信源的信息熵 33
2.9.1 馬爾可夫鏈 33
2.9.2 馬爾可夫信源 35
2.9.3 馬爾可夫信源的信息熵 37
2.10 離散信源的信息(速)率和信息含量效率 38
2.11 連續(xù)隨機(jī)變量下的熵和平均互信息量 39
2.11.1 連續(xù)隨機(jī)變量的熵 39
2.11.2 連續(xù)隨機(jī)變量下的聯(lián)合熵、條件 熵以及平均互信息量 42
2.11.3 微分熵的極大化問(wèn)題 43
2.11.4 連續(xù)信源的熵功率 46
本章基本概念 46
習(xí)題 49
第3章 信道模型和信道容量 55
3.1 信道模型與信道分類(lèi) 55
3.2 離散無(wú)記憶信道的數(shù)學(xué)模型 56
3.3 概率的計(jì)算問(wèn)題 58
3.4 信道的疑義度、散布度和平均互信息 60
3.4.1 信道的疑義度 60
3.4.2 信道的散布度 61
3.4.3 信道的平均互信息 63
3.5 信道容量C 66
3.5.1 信道容量的定義 66
3.5.2 離散無(wú)噪信道的信道容量 67
3.5.3 離散對(duì)稱(chēng)信道 71
3.5.4 一般DMC達(dá)到信道容量的充要條件 76
3.5.5 信道容量的迭代算法 80
3.6 擴(kuò)展信道及其信道容量 81
3.6.1 擴(kuò)展信道的數(shù)學(xué)模型 82
3.6.2 擴(kuò)展信道的平均互信息量和信道容量 83
3.7 信道的組合 85
3.7.1 串聯(lián)信道 85
3.7.2 獨(dú)立并聯(lián)信道 87
3.8 信源與信道的匹配 87
3.9 連續(xù)信道及其信道容量 88
3.9.1 連續(xù)信道的數(shù)學(xué)模型 88
3.9.2 加性高斯噪聲信道的信道容量 89
3.9.3 一般加性噪聲信道的信道容量的界 92
3.10 波形信道及其信道容量 93
本章基本概念 96
習(xí)題 100
第4章 離散無(wú)記憶信源無(wú)失真編碼 104
4.1 信源編碼概論 105
4.2 碼的唯一可譯性 107
4.2.1 常見(jiàn)碼及其唯一可譯性 107
4.2.2 碼樹(shù)和Kraft不等式 108
4.3 定長(zhǎng)編碼 110
4.3.1 離散無(wú)記憶信源的漸近均分性質(zhì) 110
4.3.2 定長(zhǎng)編碼定理 113
4.4 變長(zhǎng)編碼定理 116
4.5 變長(zhǎng)編碼方法 117
4.5.1 霍夫曼編碼 118
4.5.2 費(fèi)諾編碼 123
4.5.3 香農(nóng)編碼 124
4.6 幾種實(shí)用的無(wú)失真信源編碼 125
4.6.1 游程編碼 125
4.6.2 算術(shù)編碼 129
4.6.3 基于字典的編碼 132
本章基本概念 134
習(xí)題 135
第5章 有噪信道編碼 138
5.1 譯碼規(guī)則與錯(cuò)誤概率 138
5.2 兩種典型的譯碼規(guī)則 140
5.3 平均差錯(cuò)率與信道編碼 143
5.3.1 “簡(jiǎn)單重復(fù)”編碼 144
5.3.2 對(duì)符號(hào)串編碼 145
5.4 漢明距離與最小距離譯碼規(guī)則 148
5.5 有噪信道編碼定理 150
5.5.1 聯(lián)合典型序列 150
5.5.2 有噪信道編碼定理 152
5.6 Fano不等式和有噪信道編碼逆定理 153
5.7 線性分組碼 155
5.7.1 線性分組碼的生成矩陣和校驗(yàn)矩陣 156
5.7.2 漢明距離和碼的糾錯(cuò)、檢錯(cuò)能力 158
5.7.3 線性碼的伴隨式與伴隨式譯碼 160
本章基本概念 161
習(xí)題 162
第6章 限失真信源編碼 165
6.1 失真測(cè)度 165
6.2 信息率失真函數(shù)及其性質(zhì) 167
6.2.1 信息率失真函數(shù)的定義 167
6.2.2 信息率失真函數(shù)的性質(zhì) 168
6.3 限失真信源編碼定理 171
6.4 信息率失真函數(shù)的計(jì)算 171
6.4.1 離散信源信息率失真函數(shù)的參量表示計(jì)算方法 171
6.4.2 離散信源信息率失真函數(shù)的迭代計(jì)算方法 179
本章基本概念 182
習(xí)題 183
第7章 網(wǎng)絡(luò)信息論基礎(chǔ) 185
7.1 概論 185
7.2 網(wǎng)絡(luò)信道的分類(lèi) 186
7.3 網(wǎng)絡(luò)信源編碼模型 188
7.4 多隨機(jī)變量聯(lián)合典型序列 190
7.5 相關(guān)信源編碼定理 193
7.6 多址接入信道 196
7.7 高斯多址接入信道 200
7.8 廣播信道 203
7.9 中繼信道 207
7.10 具有邊信息的信源編碼定理 208
本章基本概念 211
習(xí)題 213
第8章 信息安全與密碼學(xué)基礎(chǔ) 214
8.1 信息安全概述 214
8.2 網(wǎng)絡(luò)模型與安全服務(wù)功能 215
8.2.1 開(kāi)放系統(tǒng)互連(OSI)參考模型 215
8.2.2 安全分層原則 216
8.2.3 安全服務(wù)功能 216
8.2.4 網(wǎng)絡(luò)安全對(duì)策 218
8.3 密碼學(xué)基礎(chǔ)知識(shí) 220
8.3.1 基本術(shù)語(yǔ) 220
8.3.2 代替密碼 222
8.4 密碼算法的數(shù)學(xué)背景 225
8.4.1 信息論 225
8.4.2 復(fù)雜性理論 227
8.4.3 數(shù)論基礎(chǔ) 228
8.5 數(shù)據(jù)加密標(biāo)準(zhǔn) 231
8.5.1 數(shù)據(jù)加密標(biāo)準(zhǔn)的開(kāi)發(fā) 231
8.5.2 DES算法概要 231
8.5.3 初始置換 232
8.5.4 密碼運(yùn)算函數(shù)f(R,K) 232
8.5.5 密鑰置換 233
8.5.6 擴(kuò)展置換 234
8.5.7 S盒替代 234
8.5.8 P盒置換 236
8.5.9 逆初始置換 236
8.5.10 DES的安全性 236
8.6 公開(kāi)密鑰算法 237
8.6.1 公開(kāi)密鑰密碼體制 237
8.6.2 背包公鑰密碼 238
8.6.3 RSA公鑰加密 240
8.6.4 數(shù)字簽名 242
本章基本概念 244
習(xí)題 246
參考文獻(xiàn) 248