現(xiàn)代語(yǔ)音信號(hào)處理理論與技術(shù)

目 錄
第一篇 語(yǔ)音信號(hào)處理基礎(chǔ)

第1章 緒論 1
1．1 語(yǔ)音信號(hào)處理的發(fā)展歷史 1
1．2 語(yǔ)音信號(hào)處理的主要研究?jī)?nèi)容及
發(fā)展概況 3
1．3 本書(shū)的內(nèi)容 7
思考與復(fù)習(xí)題 8
第2章 語(yǔ)音信號(hào)處理的基礎(chǔ)知識(shí) 9
2．1 概述 9
2．2 語(yǔ)音產(chǎn)生的過(guò)程 9
2．3 語(yǔ)音信號(hào)的特性 12
2．3．1 語(yǔ)言和語(yǔ)音的基本特性 12
2．3．2 語(yǔ)音信號(hào)的時(shí)間波形和頻譜特性 13
2．3．3 語(yǔ)音信號(hào)的統(tǒng)計(jì)特性 15
2．4 語(yǔ)音產(chǎn)生的線(xiàn)性模型 16
2．4．1 激勵(lì)模型 17
2．4．2 聲道模型 18
2．4．3 輻射模型 20
2．4．4 語(yǔ)音信號(hào)數(shù)字模型 20
2．5 語(yǔ)音產(chǎn)生的非線(xiàn)性模型 21
2．5．1 FM-AM模型的基本原理 22
2．5．2 Teager能量算子 22
2．5．3 能量分離算法 23
2．5．4 FM-AM模型的應(yīng)用 24
2．6 語(yǔ)音感知 24
2．6．1 聽(tīng)覺(jué)系統(tǒng) 24
2．6．2 神經(jīng)系統(tǒng) 25
2．6．3 語(yǔ)音感知 26
思考與復(fù)習(xí)題 29

第二篇 語(yǔ)音信號(hào)分析

第3章 時(shí)域分析 30
3．1 概述 30
3．2 數(shù)字化和預(yù)處理 31
3．2．1 取樣率和量化字長(zhǎng)的選擇 31
3．2．2 預(yù)處理 33
3．3 短時(shí)能量分析 34
3．4 短時(shí)過(guò)零分析 36
3．5 短時(shí)相關(guān)分析 39
3．5．1 短時(shí)自相關(guān)函數(shù) 39
3．5．2 修正的短時(shí)自相關(guān)函數(shù) 40
3．5．3 短時(shí)平均幅差函數(shù) 41
3．6 語(yǔ)音端點(diǎn)檢測(cè) 42
3．6．1 雙門(mén)限前端檢測(cè) 43
3．6．2 多門(mén)限過(guò)零率前端檢測(cè) 43
3．6．3 基于FM-AM模型的端點(diǎn)檢測(cè) 43
3．7 基于高階累積量的語(yǔ)音端點(diǎn)檢測(cè) 44
3．7．1 噪聲環(huán)境下的端點(diǎn)檢測(cè) 44
3．7．2 高階累積量與高階譜 44
3．7．3 基于高階累積量的端點(diǎn)檢測(cè) 46
思考與復(fù)習(xí)題 48
第4章 短時(shí)傅里葉分析 50
4．1 概述 50
4．2 短時(shí)傅里葉變換 50
4．2．1 短時(shí)傅里葉變換的定義 50
4．2．2 傅里葉變換的解釋 51
4．2．3 濾波器的解釋 54
4．3 短時(shí)傅里葉變換的取樣率 55
4．4 語(yǔ)音信號(hào)的短時(shí)綜合 56
4．4．1 濾波器組求和法 56
4．4．2 FFT求和法 58
4．5 語(yǔ)譜圖 59
思考與復(fù)習(xí)題 61
第5章 倒譜分析與同態(tài)濾波 62
5．1 概述 62
5．2 同態(tài)信號(hào)處理的基本原理 62
5．3 復(fù)倒譜和倒譜 63
5．4 語(yǔ)音信號(hào)兩個(gè)卷積分量復(fù)倒譜的性質(zhì) 64
5．4．1 聲門(mén)激勵(lì)信號(hào) 64
5．4．2 聲道沖激響應(yīng)序列 65
5．5 避免相位卷繞的算法 66
5．5．1 微分法 67
5．5．2 最小相位信號(hào)法 67
5．5．3 遞推法 69
5．6 語(yǔ)音信號(hào)復(fù)倒譜分析實(shí)例 70
5．7 Mel頻率倒譜系數(shù) 72
思考與復(fù)習(xí)題 73
第6章 線(xiàn)性預(yù)測(cè)分析 74
6．1 概述 74
6．2 線(xiàn)性預(yù)測(cè)分析的基本原理 74
6．2．1 基本原理 74
6．2．2 語(yǔ)音信號(hào)的線(xiàn)性預(yù)測(cè)分析 75
6．3 線(xiàn)性預(yù)測(cè)方程組的建立 76
6．4 線(xiàn)性預(yù)測(cè)分析的解法(1)―自相關(guān)和
協(xié)方差法 77
6．4．1 自相關(guān)法 78
6．4．2 協(xié)方差法 79
6．4．3 自相關(guān)和協(xié)方差法的比較 80
6．5 線(xiàn)性預(yù)測(cè)分析的解法(2)―格型法 81
6．5．1 格型法基本原理 81
6．5．2 格型法的求解 83
6．6 線(xiàn)性預(yù)測(cè)分析的應(yīng)用―LPC譜估計(jì)和
LPC復(fù)倒譜 85
6．6．1 LPC譜估計(jì) 85
6．6．2 LPC復(fù)倒譜 87
6．6．3 LPC譜估計(jì)與其他譜分析方法的
比較 88
6．7 線(xiàn)譜對(duì)(LSP)分析 89
6．7．1 線(xiàn)譜對(duì)分析原理 89
6．7．2 線(xiàn)譜對(duì)參數(shù)的求解 91
6．8 極零模型 91
思考與復(fù)習(xí)題 93
第7章 語(yǔ)音信號(hào)的非線(xiàn)性分析 94
7．1 概述 94
7．2 時(shí)頻分析 94
7．2．1 短時(shí)傅里葉變換的局限 95
7．2．2 時(shí)頻分析 96
7．3 小波分析 97
7．3．1 概述 97
7．3．2 小波變換的定義 97
7．3．3 典型的小波函數(shù) 99
7．3．4 離散小波變換 100
7．3．5 小波多分辨分析與Mallat算法 100
7．4 基于小波的語(yǔ)音分析 101
7．4．1 語(yǔ)音分解與重構(gòu) 101
7．4．2 清/濁音判斷 102
7．4．3 語(yǔ)音去噪 102
7．4．4 聽(tīng)覺(jué)系統(tǒng)模擬 103
7．4．5 小波包變換在語(yǔ)音端點(diǎn)檢測(cè)中的應(yīng)用 103
7．5 混沌與分形 104
7．6 基于混沌的語(yǔ)音分析 105
7．6．1 語(yǔ)音信號(hào)的混沌性 105
7．6．2 語(yǔ)音信號(hào)的相空間重構(gòu) 106
7．6．3 語(yǔ)音信號(hào)的Lyapunov指數(shù) 108
7．6．4 基于混沌的語(yǔ)音、噪聲判別 109
7．7 基于分形的語(yǔ)音分析 110
7．7．1 概述 110
7．7．2 語(yǔ)音信號(hào)的分形特征 110
7．7．3 基于分形的語(yǔ)音分割 111
7．8 壓縮感知 113
7．9 語(yǔ)音信號(hào)的壓縮感知 114
7．9．1 語(yǔ)音信號(hào)的稀疏性 114
7．9．2 語(yǔ)音壓縮感知的實(shí)現(xiàn) 114
7．9．3 需要進(jìn)一步解決的問(wèn)題 116
思考與復(fù)習(xí)題 117
第8章 語(yǔ)音聲學(xué)參數(shù)檢測(cè)與估計(jì) 118
8．1 基音估計(jì) 118
8．1．1 自相關(guān)法 119
8．1．2 并行處理法 121
8．1．3 倒譜法 122
8．1．4 簡(jiǎn)化逆濾波法 124
8．1．5 高階累積量法 127
8．1．6 小波變換法 127
8．1．7 基音檢測(cè)的后處理 128
8．2 共振峰估計(jì) 129
8．2．1 帶通濾波器組法 129
8．2．2 DFT法 130
8．2．3 倒譜法 131
8．2．4 LPC法 133
8．2．5 FM-AM模型法 134
思考與復(fù)習(xí)題 135
第9章 矢量量化 136
9．1 概述 136
9．2 矢量量化的基本原理 137
9．3 失真測(cè)度 138
9．3．1 歐氏距離―均方誤差 139
9．3．2 LPC失真測(cè)度 139
9．3．3 識(shí)別失真測(cè)度 141
9．4 最佳矢量量化器和碼本的設(shè)計(jì) 141
9．4．1 矢量量化器最佳設(shè)計(jì)的兩個(gè)條件 141
9．4．2 LBG算法 142
9．4．3 初始碼書(shū)生成 142
9．5 降低復(fù)雜度的矢量量化系統(tǒng) 143
9．5．1 無(wú)記憶的矢量量化系統(tǒng) 144
9．5．2 有記憶的矢量量化系統(tǒng) 146
9．6 語(yǔ)音參數(shù)的矢量量化 148
9．7 智能信息處理在矢量量化中的應(yīng)用策略 149
思考與復(fù)習(xí)題 150
第10章 隱馬爾可夫模型 151
10．1 概述 151
10．2 隱馬爾可夫模型的引入 152
10．3 隱馬爾可夫模型的定義 154
10．4 隱馬爾可夫模型三個(gè)問(wèn)題的求解 155
10．4．1 概率的計(jì)算 156
10．4．2 HMM的識(shí)別 158
10．4．3 HMM的訓(xùn)練 159
10．4．4 EM算法 160
10．5 HMM的選取 161
10．5．1 HMM的類(lèi)型選擇 161
10．5．2 輸出概率分布的選取 162
10．5．3 狀態(tài)數(shù)的選取 162
10．5．4 初值選取 162
10．5．5 訓(xùn)練準(zhǔn)則的選取 164
10．6 HMM應(yīng)用與實(shí)現(xiàn)中的一些問(wèn)題 165
10．6．1 數(shù)據(jù)下溢 165
10．6．2 多輸出(觀察矢量序列)情況 165
10．6．3 訓(xùn)練數(shù)據(jù)不足 166
10．6．4 考慮狀態(tài)持續(xù)時(shí)間的HMM 167
10．7 HMM的結(jié)構(gòu)和類(lèi)型 169
10．7．1 HMM的結(jié)構(gòu) 169
10．7．2 HMM的類(lèi)型 171
10．7．3 按輸出形式分類(lèi) 172
10．8 HMM的相似度比較 173
思考與復(fù)習(xí)題 174

第三篇 語(yǔ)音信號(hào)處理技術(shù)與應(yīng)用

第11章 語(yǔ)音編碼 175
11．1 概述 175
11．2 語(yǔ)音信號(hào)的壓縮編碼原理 177
11．2．1 語(yǔ)音壓縮的基本原理 177
11．2．2 語(yǔ)音通信中的語(yǔ)音質(zhì)量 178
11．2．3 兩種壓縮編碼方式 179
11．3 語(yǔ)音信號(hào)的波形編碼 179
11．3．1 PCM及APCM 179
11．3．2 預(yù)測(cè)編碼及自適應(yīng)預(yù)測(cè)編碼 182
11．3．3 ADPCM及ADM 184
11．3．4 子帶編碼(SBC) 186
11．3．5 自適應(yīng)變換編碼(ATC) 188
11．4 聲碼器 190
11．4．1 概述 190
11．4．2 聲碼器的基本結(jié)構(gòu) 191
11．4．3 通道聲碼器 191
11．4．4 同態(tài)聲碼器 193
11．5 LPC聲碼器 194
11．5．1 LPC參數(shù)的變換與量化 195
11．5．2 LPC-10 196
11．5．3 LPC-10e 197
11．5．4 變幀率LPC聲碼器 198
11．6 各種常規(guī)語(yǔ)音編碼方法的比較 198
11．6．1 波形編碼的信號(hào)壓縮技術(shù) 198
11．6．2 波形編碼與聲碼器的比較 199
11．6．3 各種聲碼器的比較 199
11．7 基于LPC模型的混合編碼 200
11．7．1 混合編碼采用的技術(shù) 201
11．7．2 MPLPC 203
11．7．3 RPELPC 206
11．7．4 CELP 207
11．7．5 CELP的改進(jìn)形式 210
11．7．6 基于分形碼本的CELP 212
11．8 基于正弦模型的混合編碼 213
11．8．1 正弦變換編碼 214
11．8．2 多帶激勵(lì)(MBE)編碼 214
11．9 極低速率語(yǔ)音編碼 216
11．9．1 （400～1．2k）b/s數(shù)碼率的聲碼器 216
11．9．2 識(shí)別-合成型聲碼器 217
11．10 語(yǔ)音壓縮感知編碼 218
11．11 語(yǔ)音編碼的性能指標(biāo) 219
11．12 語(yǔ)音編碼的質(zhì)量評(píng)價(jià) 220
11．12．1 主觀評(píng)價(jià)方法 221
11．12．2 客觀評(píng)價(jià)方法 222
11．12．3 主客觀評(píng)價(jià)方法的結(jié)合 225
11．12．4 基于多重分形的語(yǔ)音質(zhì)量評(píng)價(jià) 226
11．13 語(yǔ)音編碼國(guó)際標(biāo)準(zhǔn) 227
11．14 語(yǔ)音編碼與圖像編碼的關(guān)系 227
小結(jié) 228
思考與復(fù)習(xí)題 229
第12章 語(yǔ)音合成 230
12．1 概述 230
12．2 語(yǔ)音合成原理 231
12．2．1 語(yǔ)音合成的方法 231
12．2．2 語(yǔ)音合成的系統(tǒng)特性 233
12．3 共振峰合成 233
12．3．1 共振峰合成原理 233
12．3．2 共振峰合成實(shí)例 235
12．4 LPC合成 236
12．5 PSOLA語(yǔ)音合成 238
12．5．1 概述 238
12．5．2 PSOLA的原理 238
12．5．3 PSOLA的實(shí)現(xiàn) 239
12．5．4 PSOLA的改進(jìn) 241
12．5．5 PSOLA語(yǔ)音合成系統(tǒng)的發(fā)展 241
12．6 文語(yǔ)轉(zhuǎn)換系統(tǒng) 242
12．6．1 組成與結(jié)構(gòu) 242
12．6．2 文本分析 242
12．6．3 韻律控制 244
12．6．4 語(yǔ)音合成 246
12．6．5 TTS系統(tǒng)的一些問(wèn)題 247
12．7 基于HMM的參數(shù)化語(yǔ)音合成 248
12．8 語(yǔ)音合成的發(fā)展趨勢(shì) 252
12．9 語(yǔ)音合成硬件簡(jiǎn)介 253
思考與復(fù)習(xí)題 254
第13章 語(yǔ)音識(shí)別 255
13．1 概述 255
13．2 語(yǔ)音識(shí)別原理 258
13．3 動(dòng)態(tài)時(shí)間規(guī)整 262
13．4 基于有限狀態(tài)矢量量化的語(yǔ)音識(shí)別 264
13．5 孤立詞識(shí)別系統(tǒng) 265
13．6 連接詞識(shí)別 268
13．6．1 基本原理 268
13．6．2 基于DTW的連接詞識(shí)別 269
13．6．3 基于HMM的連接詞識(shí)別 271
13．6．4 基于分段K-均值的最佳詞串
分割及模型訓(xùn)練 271
13．7 連續(xù)語(yǔ)音識(shí)別 272
13．7．1 連續(xù)語(yǔ)音識(shí)別存在的困難 272
13．7．2 連續(xù)語(yǔ)音識(shí)別的訓(xùn)練及識(shí)別方法 273
13．7．3 連續(xù)語(yǔ)音識(shí)別的整體模型 274
13．7．4 基于HMM統(tǒng)一框架的大詞匯
非特定人連續(xù)語(yǔ)音識(shí)別 275
13．7．5 聲學(xué)模型 276
13．7．6 語(yǔ)言學(xué)模型 278
13．7．7 最優(yōu)路徑搜索 280
13．8 魯棒的語(yǔ)音識(shí)別 282
13．9 分形語(yǔ)音識(shí)別 284
13．10 說(shuō)話(huà)人自適應(yīng) 285
13．10．1 MAP算法 285
13．10．2 基于變換的自適應(yīng)方法 286
13．10．3 基于說(shuō)話(huà)人分類(lèi)的自適應(yīng)方法 286
13．11 關(guān)鍵詞確認(rèn) 287
13．12 可視語(yǔ)音識(shí)別 289
13．12．1 概述 289
13．12．2 機(jī)器自動(dòng)唇讀 290
13．12．3 雙模語(yǔ)音識(shí)別 291
13．13 語(yǔ)音理解 294
13．13．1 MAP語(yǔ)義解碼 295
13．13．2 語(yǔ)義結(jié)構(gòu)的表示 295
13．13．3 意圖解碼器 296
小結(jié) 297
思考與復(fù)習(xí)題 297
第14章 說(shuō)話(huà)人識(shí)別和語(yǔ)種辨識(shí) 299
14．1 概述 299
14．2 特征選取 300
14．2．1 說(shuō)話(huà)人識(shí)別所用的特征 300
14．2．2 特征類(lèi)型的優(yōu)選準(zhǔn)則 301
14．2．3 常用的特征參數(shù) 302
14．3 說(shuō)話(huà)人識(shí)別系統(tǒng)的結(jié)構(gòu) 302
14．4 說(shuō)話(huà)人識(shí)別基本方法概述 303
14．5 說(shuō)話(huà)人識(shí)別系統(tǒng)實(shí)例 304
14．5．1 DTW系統(tǒng) 304
14．5．2 VQ系統(tǒng) 305
14．6 基于HMM的說(shuō)話(huà)人識(shí)別 306
14．7 基于GMM的說(shuō)話(huà)人識(shí)別 309
14．8 需要進(jìn)一步研究的問(wèn)題 311
14．9 語(yǔ)種辨識(shí) 312
思考與復(fù)習(xí)題 315
第15章 智能信息處理技術(shù)在語(yǔ)音
信號(hào)處理中的應(yīng)用 316
15．1 神經(jīng)網(wǎng)絡(luò) 316
15．1．1 人工神經(jīng)網(wǎng)絡(luò) 316
15．1．2 語(yǔ)音處理中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 319
15．2 神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)方法結(jié)合的策略 324
15．2．1 概述 324
15．2．2 神經(jīng)網(wǎng)絡(luò)與DTW 325
15．2．3 神經(jīng)網(wǎng)絡(luò)與VQ 325
15．2．4 神經(jīng)網(wǎng)絡(luò)與HMM 326
15．3 基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)音處理 327
15．3．1 語(yǔ)音識(shí)別 327
15．3．2 說(shuō)話(huà)人識(shí)別 329
15．3．3 非線(xiàn)性預(yù)測(cè)編碼 330
15．3．4 語(yǔ)音合成 333
15．4 支持向量機(jī) 334
15．4．1 概述 334
15．4．2 工作原理 335
15．5 基于支持向量機(jī)的語(yǔ)音識(shí)別與
說(shuō)話(huà)人識(shí)別 337
15．5．1 語(yǔ)音分類(lèi) 337
15．5．2 說(shuō)話(huà)人辨認(rèn) 338
15．5．3 說(shuō)話(huà)人確認(rèn) 339
15．6 深度學(xué)習(xí) 340
15．7 基于深度學(xué)習(xí)的語(yǔ)音識(shí)別 341
15．7．1 基于深度神經(jīng)網(wǎng)絡(luò) 341
15．7．2 基于卷積神經(jīng)網(wǎng)絡(luò) 342
15．8 模糊集 343
15．9 基于模糊集的語(yǔ)音處理 344
15．9．1 模糊語(yǔ)音識(shí)別策略 344
15．9．2 模糊矢量量化 345
15．10 遺傳算法 345
15．11 遺傳矢量量化 347
15．12 其他智能優(yōu)化算法在語(yǔ)音處理中的
應(yīng)用 348
15．13 語(yǔ)音處理中智能信息處理技術(shù)的
融合與集成策略 350
15．14 智能信息處理與非線(xiàn)性技術(shù)的結(jié)合及
在語(yǔ)音處理中的應(yīng)用 352
15．14．1 神經(jīng)網(wǎng)絡(luò)與混沌和分形 352
15．14．2 基于混沌神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別 353
15．14．3 遺傳算法與混沌 355
15．14．4 神經(jīng)網(wǎng)絡(luò)與小波 355
思考與復(fù)習(xí)題 355
第16章 語(yǔ)音增強(qiáng) 357
16．1 概述 357
16．2 語(yǔ)音、人耳感知及噪聲的特性 358
16．3 固定濾波法 359
16．4 非線(xiàn)性處理 360
16．5 減譜法 361
16．5．1 基本原理 361
16．5．2 改進(jìn)形式 362
16．6 相關(guān)對(duì)消法 363
16．7 自適應(yīng)濾波法 363
16．7．1 自適應(yīng)濾波 363
16．7．2 維納濾波 364
16．7．3 自適應(yīng)噪聲對(duì)消 365
16．8 基于語(yǔ)音產(chǎn)生模型的語(yǔ)音增強(qiáng) 367
16．8．1 最大后驗(yàn)概率估計(jì) 367
16．8．2 卡爾曼濾波 368
16．9 小波方法 369
16．9．1 原理 369
16．9．2 小波語(yǔ)音增強(qiáng) 369
16．9．3 小波包語(yǔ)音增強(qiáng) 371
16．10 子空間分解方法 372
16．11 其他語(yǔ)音增強(qiáng)方法 375
16．11．1 神經(jīng)網(wǎng)絡(luò)方法 375
16．11．2 HMM方法 376
16．11．3 基于聽(tīng)覺(jué)感知的方法 376
16．11．4 壓縮感知方法 376
思考與復(fù)習(xí)題 377
第17章 麥克風(fēng)陣列語(yǔ)音信號(hào)處理 378
17．1 概述 378
17．2 技術(shù)難點(diǎn) 379
17．3 聲源定位 380
17．3．1 去混響 380
17．3．2 近場(chǎng)模型 381
17．3．3 波束形成交叉定位 382
17．3．4 超分辨交叉定位 383
17．3．5 TDOA定位 383
17．3．6 幾類(lèi)定位方法的比較 385
17．4 基于麥克風(fēng)陣列的語(yǔ)音增強(qiáng) 386
17．4．1 概述 386
17．4．2 波束形成法 387
17．4．3 波束形成法與自適應(yīng)濾波的結(jié)合 388
17．4．4 自適應(yīng)波束形成法 388
17．4．5 新方法與技術(shù) 391
17．4．6 應(yīng)用 391
17．4．7 與單通道方法相比較的優(yōu)勢(shì) 392
17．5 語(yǔ)音盲分離 393
17．5．1 概述 393
17．5．2 瞬時(shí)線(xiàn)性混合模型 394
17．5．3 卷積混合模型 398
17．5．4 非線(xiàn)性混合模型 400
17．5．5 需要進(jìn)一步研究的問(wèn)題 401
思考與復(fù)習(xí)題 401
第18章 語(yǔ)音信息對(duì)抗 403
18．1 語(yǔ)音偵察與欺騙 403
18．2 語(yǔ)音通信反偵察 403
18．2．1 語(yǔ)音保密通信 404
18．2．2 語(yǔ)音隱蔽通信 405
18．3 語(yǔ)音信息安全 406
18．3．1 語(yǔ)音信息隱藏 406
18．3．2 語(yǔ)音數(shù)字水印 408
18．4 語(yǔ)音干擾 409
18．4．1 語(yǔ)音干擾的特征 409
18．4．2 語(yǔ)音干擾效能評(píng)估 410
18．5 基于語(yǔ)音處理技術(shù)的戰(zhàn)場(chǎng)聲目標(biāo)識(shí)別 413
思考與復(fù)習(xí)題 415
漢英名詞術(shù)語(yǔ)對(duì)照 416
參考文獻(xiàn) 425