深度學(xué)習(xí)核心技術(shù)與實(shí)踐

第1 部分深度學(xué)習(xí)基礎(chǔ)篇1
1 概述2
1．1 人工智能 3
1．1．1 人工智能的分類 3
1．1．2 人工智能發(fā)展史 3
1．2 機(jī)器學(xué)習(xí) 7
1．2．1 機(jī)器學(xué)習(xí)的由來(lái) 7
1．2．2 機(jī)器學(xué)習(xí)發(fā)展史 9
1．2．3 機(jī)器學(xué)習(xí)方法分類 10
1．2．4 機(jī)器學(xué)習(xí)中的基本概念 11
1．3 神經(jīng)網(wǎng)絡(luò) 12
1．3．1 神經(jīng)網(wǎng)絡(luò)發(fā)展史 13
參考文獻(xiàn) 16
2 神經(jīng)網(wǎng)絡(luò)17
2．1 在神經(jīng)科學(xué)中對(duì)生物神經(jīng)元的研究 17
2．1．1 神經(jīng)元激活機(jī)制 17
2．1．2 神經(jīng)元的特點(diǎn) 18
2．2 神經(jīng)元模型 19
2．2．1 線性神經(jīng)元 19
2．2．2 線性閾值神經(jīng)元 19
2．2．3 Sigmoid 神經(jīng)元 21
2．2．4 Tanh 神經(jīng)元 22
2．2．5 ReLU 22
2．2．6 Maxout 24
2．2．7 Softmax 24
2．2．8 小結(jié) 25
2．3 感知機(jī) 27
2．3．1 感知機(jī)的提出 27
2．3．2 感知機(jī)的困境 28
2．4 DNN 29
2．4．1 輸入層、輸出層及隱層 30
2．4．2 目標(biāo)函數(shù)的選取 30
2．4．3 前向傳播 32
2．4．4 后向傳播 33
2．4．5 參數(shù)更新 35
2．4．6 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練步驟 36
參考文獻(xiàn) 36
3 初始化模型38
3．1 受限玻爾茲曼機(jī) 38
3．1．1 能量模型 39
3．1．2 帶隱藏單元的能量模型 40
3．1．3 受限玻爾茲曼機(jī)基本原理 41
3．1．4 二值RBM 43
3．1．5 對(duì)比散度 45
3．2 自動(dòng)編碼器 47
3．2．1 稀疏自動(dòng)編碼器 48
3．2．2 降噪自動(dòng)編碼器 48
3．2．3 棧式自動(dòng)編碼器 49
3．3 深度信念網(wǎng)絡(luò) 50
參考文獻(xiàn) 52
4 卷積神經(jīng)網(wǎng)絡(luò)53
4．1 卷積算子 53
4．2 卷積的特征 56
4．3 卷積網(wǎng)絡(luò)典型結(jié)構(gòu) 59
4．3．1 基本網(wǎng)絡(luò)結(jié)構(gòu) 59
4．3．2 構(gòu)成卷積神經(jīng)網(wǎng)絡(luò)的層 59
4．3．3 網(wǎng)絡(luò)結(jié)構(gòu)模式 60
4．4 卷積網(wǎng)絡(luò)的層 61
4．4．1 卷積層 61
4．4．2 池化層 66
參考文獻(xiàn) 67
5 循環(huán)神經(jīng)網(wǎng)絡(luò)68
5．1 循環(huán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 68
5．2 RNN、LSTM 和GRU 69
5．3 雙向RNN 76
5．4 RNN 語(yǔ)言模型的簡(jiǎn)單實(shí)現(xiàn) 77
參考文獻(xiàn) 80
6 深度學(xué)習(xí)優(yōu)化算法81
6．1 SGD 81
6．2 Momentum 82
6．3 NAG 83
6．4 Adagrad 85
6．5 RMSProp 86
6．6 Adadelta 87
6．7 Adam 88
6．8 AdaMax 90
6．9 Nadam 90
6．10 關(guān)于優(yōu)化算法的使用 92
參考文獻(xiàn) 92
7 深度學(xué)習(xí)訓(xùn)練技巧94
7．1 數(shù)據(jù)預(yù)處理 94
7．2 權(quán)重初始化 95
7．3 正則化 96
7．3．1 提前終止 96
7．3．2 數(shù)據(jù)增強(qiáng) 96
7．3．3 L2/L1 參數(shù)正則化 98
7．3．4 集成 100
7．3．5 Dropout 101
參考文獻(xiàn) 102
8 深度學(xué)習(xí)框架103
8．1 Theano 103
8．1．1 Theano 103
8．1．2 安裝 104
8．1．3 計(jì)算圖 104
8．2 Torch 105
8．2．1 概述 105
8．2．2 安裝 106
8．2．3 核心結(jié)構(gòu) 107
8．2．4 小試牛刀 110
8．3 PyTorch 113
8．3．1 概述 113
8．3．2 安裝 113
8．3．3 核心結(jié)構(gòu) 114
8．3．4 小試牛刀 114
8．4 Caffe 117
8．4．1 概述 117
8．4．2 安裝 118
8．4．3 核心組件 119
8．4．4 小試牛刀 125
8．5 TensorFlow 125
8．5．1 概述 125
8．5．2 安裝 126
8．5．3 核心結(jié)構(gòu) 126
8．5．4 小試牛刀 127
8．6 MXNet 131
8．6．1 概述 131
8．6．2 安裝 131
8．6．3 核心結(jié)構(gòu) 132
8．6．4 小試牛刀 133
8．7 Keras 135
8．7．1 概述 135
8．7．2 安裝 136
8．7．3 模塊介紹 136
8．7．4 小試牛刀 136
參考文獻(xiàn) 139
第2 部分計(jì)算機(jī)視覺篇140
9 計(jì)算機(jī)視覺背景141
9．1 傳統(tǒng)計(jì)算機(jī)視覺 141
9．2 基于深度學(xué)習(xí)的計(jì)算機(jī)視覺 145
9．3 參考文獻(xiàn) 146
10 圖像分類模型147
10．1 LeNet-5 147
10．2 AlexNet 149
10．3 VGGNet 154
10．3．1 網(wǎng)絡(luò)結(jié)構(gòu) 155
10．3．2 配置 157
10．3．3 討論 157
10．3．4 幾組實(shí)驗(yàn) 158
10．4 GoogLeNet 159
10．4．1 NIN 161
10．4．2 GoogLeNet 的動(dòng)機(jī) 161
10．4．3 網(wǎng)絡(luò)結(jié)構(gòu)細(xì)節(jié) 162
10．4．4 訓(xùn)練方法 164
10．4．5 后續(xù)改進(jìn)版本 165
10．5 ResNet 165
10．5．1 基本思想 165
10．5．2 網(wǎng)絡(luò)結(jié)構(gòu) 167
10．6 DenseNet 169
10．7 DPN 170
參考文獻(xiàn) 170
11 目標(biāo)檢測(cè)173
11．1 相關(guān)研究 175
11．1．1 選擇性搜索 175
11．1．2 OverFeat 177
11．2 基于區(qū)域提名的方法 179
11．2．1 R-CNN 179
11．2．2 SPP-net 181
11．2．3 Fast R-CNN 182
11．2．4 Faster R-CNN 184
11．2．5 R-FCN 185
11．3 端到端的方法 186
11．3．1 YOLO 186
11．3．2 SSD 187
11．4 小結(jié) 188
參考文獻(xiàn) 190
12 語(yǔ)義分割192
12．1 全卷積網(wǎng)絡(luò) 193
12．1．1 FCN 193
12．1．2 DeconvNet 195
12．1．3 SegNet 197
12．1．4 DilatedConvNet 198
12．2 CRF/MRF 的使用 199
12．2．1 DeepLab 199
12．2．2 CRFasRNN 201
12．2．3 DPN 203
12．3 實(shí)例分割 205
12．3．1 Mask R-CNN 205
參考文獻(xiàn) 206
13 圖像檢索的深度哈希編碼208
13．1 傳統(tǒng)哈希編碼方法 208
13．2 CNNH 209
13．3 DSH 210
13．4 小結(jié) 212
參考文獻(xiàn) 212
第3 部分語(yǔ)音識(shí)別篇214
14 傳統(tǒng)語(yǔ)音識(shí)別基礎(chǔ)215
14．1 語(yǔ)音識(shí)別簡(jiǎn)介 215
14．2 HMM 簡(jiǎn)介 216
14．2．1 HMM 是特殊的混合模型 218
14．2．2 轉(zhuǎn)移概率矩陣 219
14．2．3 發(fā)射概率 220
14．2．4 Baum-Welch 算法 220
14．2．5 后驗(yàn)概率 224
14．2．6 前向-后向算法 224
14．3 HMM 梯度求解 227
14．3．1 梯度算法1 228
14．3．2 梯度算法2 230
14．3．3 梯度求解的重要性 234
14．4 孤立詞識(shí)別 234
14．4．1 特征提取 234
14．4．2 孤立詞建模 235
14．4．3 GMM-HMM 237
14．5 連續(xù)語(yǔ)音識(shí)別 240
14．6 Viterbi 解碼 243
14．7 三音素狀態(tài)聚類 245
14．8 判別式訓(xùn)練 248
參考文獻(xiàn) 254
15 基于WFST 的語(yǔ)音解碼256
15．1 有限狀態(tài)機(jī) 257
15．2 WFST 及半環(huán)定義 257
15．2．1 WFST 257
15．2．2 半環(huán)（Semiring） 258
15．3 自動(dòng)機(jī)操作 260
15．3．1 自動(dòng)機(jī)基本操作 261
15．3．2 轉(zhuǎn)換器基本操作 262
15．3．3 優(yōu)化操作 265
15．4 基于WFST 的語(yǔ)音識(shí)別系統(tǒng) 277
15．4．1 聲學(xué)模型WFST 279
15．4．2 三音素WFST 281
15．4．3 發(fā)音字典WFST 281
15．4．4 語(yǔ)言模型WFST 282
15．4．5 WFST 組合和優(yōu)化 284
15．4．6 組合和優(yōu)化實(shí)驗(yàn) 285
15．4．7 WFST 解碼 286
參考文獻(xiàn) 287
16 深度語(yǔ)音識(shí)別288
16．1 CD-DNN-HMM 288
16．2 TDNN 292
16．3 CTC 295
16．4 EESEN 299
16．5 Deep Speech 301
16．6 Chain 310
參考文獻(xiàn) 313
17 CTC 解碼315
17．1 序列標(biāo)注 315
17．2 序列標(biāo)注任務(wù)的解決辦法 316
17．2．1 序列分類 316
17．2．2 分割分類 317
17．2．3 時(shí)序分類 318
17．3 隱馬模型 318
17．4 CTC 基本定義 319
17．5 CTC 前向算法 321
17．6 CTC 后向算法 324
17．7 CTC 目標(biāo)函數(shù) 325
17．8 CTC 解碼基本原理 327
17．8．1 最大概率路徑解碼 327
17．8．2 前綴搜索解碼 328
17．8．3 約束解碼 329
參考文獻(xiàn) 333
第4 部分自然語(yǔ)言處理篇334
18 自然語(yǔ)言處理簡(jiǎn)介335
18．1 NLP 的難點(diǎn) 335
18．2 NLP 的研究范圍 336
19 詞性標(biāo)注338
19．1 傳統(tǒng)詞性標(biāo)注模型 338
19．2 基于神經(jīng)網(wǎng)絡(luò)的詞性標(biāo)注模型 340
19．3 基于Bi-LSTM 的神經(jīng)網(wǎng)絡(luò)詞性標(biāo)注模型 342
參考文獻(xiàn) 344
20 依存句法分析345
20．1 背景 346
20．2 SyntaxNet 技術(shù)要點(diǎn) 348
20．2．1 Transition-based 系統(tǒng) 349
20．2．2 “模板化” 技術(shù) 353
20．2．3 Beam Search 355
參考文獻(xiàn) 357
21 word2vec 358
21．1 背景 359
21．1．1 詞向量 359
21．1．2 統(tǒng)計(jì)語(yǔ)言模型 359
21．1．3 神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型 362
21．1．4 Log-linear 模型 364
21．1．5 Log-bilinear 模型 365
21．1．6 層次化Log-bilinear 模型 365
21．2 CBOW 模型 366
21．3 Skip-gram 模型 369
21．4 Hierarchical Softmax 與Negative Sampling 371
21．5 fastText 372
21．6 GloVe 373
21．7 小結(jié) 374
參考文獻(xiàn) 374
22 神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯376
22．1 機(jī)器翻譯簡(jiǎn)介 376
22．2 神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯基本模型 377
22．3 基于Attention 的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯 379
22．4 谷歌機(jī)器翻譯系統(tǒng)GNMT 381
22．5 基于卷積的機(jī)器翻譯 382
22．6 小結(jié) 383
參考文獻(xiàn) 384
第5 部分深度學(xué)習(xí)研究篇385
23 Batch Normalization 386
23．1 前向與后向傳播 387
23．1．1 前向傳播 387
23．1．2 后向傳播 390
23．2 有效性分析 393
23．2．1 內(nèi)部協(xié)移 393
23．2．2 梯度流 393
23．3 使用與優(yōu)化方法 395
23．4 小結(jié) 396
參考文獻(xiàn) 396
24 Attention 397
24．1 從簡(jiǎn)單RNN 到RNN + Attention 398
24．2 Soft Attention 與Hard Attention 398
24．3 Attention 的應(yīng)用 399
24．4 小結(jié) 401
參考文獻(xiàn) 402
25 多任務(wù)學(xué)習(xí)403
25．1 背景 403
25．2 什么是多任務(wù)學(xué)習(xí) 404
25．3 多任務(wù)分類與其他分類概念的關(guān)系 406
25．3．1 二分類 406
25．3．2 多分類 407
25．3．3 多標(biāo)簽分類 407
25．3．4 相關(guān)關(guān)系 408
25．4 多任務(wù)學(xué)習(xí)如何發(fā)揮作用 409
25．4．1 提高泛化能力的潛在原因 410
25．4．2 多任務(wù)學(xué)習(xí)機(jī)制 410
25．4．3 后向傳播多任務(wù)學(xué)習(xí)如何發(fā)現(xiàn)任務(wù)是相關(guān)的 412
25．5 多任務(wù)學(xué)習(xí)被廣泛應(yīng)用 413
25．5．1 使用未來(lái)預(yù)測(cè)現(xiàn)在 413
25．5．2 多種表示和度量 413
25．5．3 時(shí)間序列預(yù)測(cè) 413
25．5．4 使用不可操作特征 414
25．5．5 使用額外任務(wù)來(lái)聚焦 414
25．5．6 有序遷移 414
25．5．7 多個(gè)任務(wù)自然地出現(xiàn) 414
25．5．8 將輸入變成輸出 414
25．6 多任務(wù)深度學(xué)習(xí)應(yīng)用 416
25．6．1 臉部特征點(diǎn)檢測(cè) 416
25．6．2 DeepID2 418
25．6．3 Fast R-CNN 419
25．6．4 旋轉(zhuǎn)人臉網(wǎng)絡(luò) 420
25．6．5 實(shí)例感知語(yǔ)義分割的MNC 422
25．7 小結(jié) 423
參考文獻(xiàn) 425
26 模型壓縮426
26．1 模型壓縮的必要性 426
26．2 較淺的網(wǎng)絡(luò) 428
26．3 剪枝 428
26．4 參數(shù)共享 434
26．5 緊湊網(wǎng)絡(luò) 437
26．6 二值網(wǎng)絡(luò) 438
26．7 小結(jié) 442
參考文獻(xiàn) 442
27 增強(qiáng)學(xué)習(xí)445
27．1 什么是增強(qiáng)學(xué)習(xí) 445
27．2 增強(qiáng)學(xué)習(xí)的數(shù)學(xué)表達(dá)形式 448
27．2．1 MDP 449
27．2．2 策略函數(shù) 450
27．2．3 獎(jiǎng)勵(lì)與回報(bào) 450
27．2．4 價(jià)值函數(shù) 452
27．2．5 貝爾曼方程 453
27．2．6 最優(yōu)策略性質(zhì) 453
27．3 用動(dòng)態(tài)規(guī)劃法求解增強(qiáng)學(xué)習(xí)問題 454
27．3．1 Agent 的目標(biāo) 454
27．3．2 策略評(píng)估 455
27．3．3 策略改進(jìn) 456
27．3．4 策略迭代 457
27．3．5 策略迭代的例子 458
27．3．6 價(jià)值迭代 459
27．3．7 價(jià)值迭代的例子 461
27．3．8 策略函數(shù)和價(jià)值函數(shù)的關(guān)系 462
27．4 無(wú)模型算法 462
27．4．1 蒙特卡羅法 463
27．4．2 時(shí)序差分法 465
27．4．3 Q-Learning 466
27．5 Q-Learning 的例子 467
27．6 AlphaGo 原理剖析 469
27．6．1 圍棋與機(jī)器博弈 469
27．6．2 Alpha-Beta 樹 472
27．6．3 MCTS 473
27．6．4 UCT 476
27．6．5 AlphaGo 的訓(xùn)練策略 478
27．6．6 AlphaGo 的招式搜索算法 482
27．6．7 圍棋的對(duì)稱性 484
27．7 AlphaGo Zero 484
參考文獻(xiàn) 484
28 GAN 486
28．1 生成模型 486
28．2 生成對(duì)抗模型的概念 488
28．3 GAN 實(shí)戰(zhàn) 492
28．4 InfoGAN――探尋隱變量的內(nèi)涵 493
28．5 Image-Image Translation 496
28．6 WGAN（Wasserstein GAN） 499
28．6．1 GAN 目標(biāo)函數(shù)的弱點(diǎn) 500
28．6．2 Wasserstein 度量的優(yōu)勢(shì) 501
28．6．3 WGAN 的目標(biāo)函數(shù) 504
參考文獻(xiàn) 505
A 本書涉及的開源資源列表 506