深度學習之模型設計：核心算法與案例實踐

第1章 神經(jīng)網(wǎng)絡和計算機視覺基礎
第1章 神經(jīng)網(wǎng)絡和計算機視覺基礎 1
1.1 計算機視覺 1
1.1.1 研究視覺的重要性 1
1.1.2 生物學視覺原理與視覺分層理論 2
1.2 數(shù)字圖像基礎 3
1.2.1 數(shù)字圖像基礎概述 3
1.2.4 數(shù)字圖像處理基礎 7
1.3 神經(jīng)網(wǎng)絡基礎 11
1.3.1 生物神經(jīng)元與人工神經(jīng)網(wǎng)絡 12
1.3.2 感知機是神經(jīng)網(wǎng)絡嗎 12
1.3.3 BP算法 16
第2章 深度學習的基礎 20
2.1 全連接神經(jīng)網(wǎng)絡的局限性 20
2.1.1 學習原理的缺陷 20
2.1.2 全連接神經(jīng)網(wǎng)絡的結構缺陷 21
2.1.3 高性能的傳統(tǒng)機器學習算法 22
2.2 深度學習第三次復興簡史 22
2.2.1 互聯(lián)網(wǎng)與大數(shù)據(jù)來了 23
2.2.2 GPU的普及 23
2.2.3 深層神經(jīng)網(wǎng)絡華麗歸來 24
2.2.4 語音識別的重大突破 25
2.2.4 圖像識別的重大突破 26
2.2.5 自然語言處理的重大突破 28
2.3 卷積神經(jīng)網(wǎng)絡基礎 29
2.3.1 卷積操作 29
2.3.2 反卷積操作 30
2.3.3 卷積神經(jīng)網(wǎng)絡基本概念 31
2.3.4 卷積神經(jīng)網(wǎng)絡的核心思想 33
2.3.5 卷積神經(jīng)網(wǎng)絡的基本結構配置 33
2.4 深度學習優(yōu)化基礎 37
2.4.1 激活模型與常用激活函數(shù) 38
2.4.2 參數(shù)初始化方法 43
2.4.3 歸一化方法 45
2.4.4 池化 49
2.4.5 最優(yōu)化方法 50
2.4.6 學習率策略 54
2.4.7 正則化方法 57
2.5 深度學習主流開源框架 60
2.5.1 Caffe 60
2.5.2 TensorFlow 61
2.5.3 Pytorch 61
2.5.4 Theano 62
2.5.5 Keras 62
2.5.6 MXNet 63
2.5.7 Chainer 63
參考文獻 64
第3章 數(shù)據(jù)集、評測指標與優(yōu)化目標 66
3.1 數(shù)據(jù)集 66
3.1.1 分類數(shù)據(jù)集MNIST 66
3.1.2 ImageNet 66
3.1.3 分類數(shù)據(jù)集GHIM-10k 67
3.1.4 分類數(shù)據(jù)集Place20 67
3.1.5 肖像分割數(shù)據(jù)集 68
3.1.6 視頻分類數(shù)據(jù)集UCF101 68
3.1.7 目標跟蹤數(shù)據(jù)集ImageNet VIDEO 68
3.2 評測指標 69
3.2.1 分類評測指標 69
3.2.2 檢索與回歸評測指標 73
3.2.3 圖像生成評測指標 75
3.3 優(yōu)化目標 76
3.3.1 分類任務損失 76
3.3.2 回歸任務損失 78
參考文獻 80
第4章 加深網(wǎng)絡，提升模型性能 81
4.1 經(jīng)典的淺層卷積神經(jīng)網(wǎng)絡 81
4.1.1 Neocognitron網(wǎng)絡 81
4.1.2 TDNN 83
4.1.3 Cresceptron網(wǎng)絡 83
4.1.4 LeNet系列 84
4.2 經(jīng)典網(wǎng)絡的深度設計 87
4.2.1 AlexNet 87
4.2.2 從AlexNet到VGGNet的升級 90
4.2.3 為什么需要更深的網(wǎng)絡 93
4.3 實驗：網(wǎng)絡深度對分類模型性能的影響 94
4.3.1 基準模型 94
4.3.2 不同學習率策略與優(yōu)化方法 96
4.3.3 標準卷積模型網(wǎng)絡深度影響實驗 104
4.3.4 MobileNet網(wǎng)絡深度影響實驗 111
4.3.5 總結 113
參考文獻 114
第5章 1×1卷積，通道維度升降的利器 115
5.1 特征通道與信息融合 115
5.1.1 通道內(nèi)特征能做什么 115
5.1.2 通道間特征能做什么 116
5.2 1×1卷積及其應用 117
5.2.1 什么是1×1卷積 117
5.2.2 1×1卷積與瓶頸結構 117
5.2.3 1×1卷積與SqueezeNet 118
5.3 1×1卷積在瓶頸結構中的作用 120
5.3.1 基準模型 120
5.3.2 瓶頸結構探索 126
5.3.3 訓練結果 143
5.4 1×1卷積在增強網(wǎng)絡表達能力中的作用 145
5.4.1 基準模型 145
5.4.2 網(wǎng)絡配置 146
5.4.3 實驗結果 146
參考文獻 148

第6章 加寬網(wǎng)絡，提升模型性能 149
6.1 為什么需要更寬的網(wǎng)絡結構 149
6.2 經(jīng)典模型的網(wǎng)絡寬度設計思想 149
6.2.1 調(diào)整通道數(shù)量 150
6.2.2 多分支網(wǎng)絡結構設計 152
6.2.3 通道補償技術 154
6.3 實驗：網(wǎng)絡寬度對模型性能的影響 155
6.3.1 實驗背景 155
6.3.2 訓練結果 161
6.3.3 總結 166
參考文獻 166
第7章 殘差連接，深層網(wǎng)絡收斂的關鍵 167
7.1 殘差連接 167
7.1.1 什么是殘差連接 167
7.1.2 為什么殘差連接有效 169
7.2 殘差網(wǎng)絡結構發(fā)展和應用 171
7.2.1 密集連接的殘差網(wǎng)絡結構 171
7.2.2 多分支殘差結構 173
7.2.3 殘差連接與多尺度信息融合 174
7.3 跳層連接在圖像分割中的應用 175
7.3.1 數(shù)據(jù)集與基準模型 175
7.3.2 Allconv5_SEG實驗 184
7.3.3 增加跳層連接 186
參考文獻 199
第8章 分組卷積與卷積拆分，移動端高效率經(jīng)典模型 201
8.1 卷積拆分與分組卷積 201
8.1.1 卷積拆分 201
8.1.2 分組卷積 201
8.2 分組卷積結構 202
8.2.1 簡單的通道分組網(wǎng)絡 203
8.2.2 級連通道分組網(wǎng)絡 204
8.2.3 多分辨率卷積核通道分組網(wǎng)絡 205
8.2.4 多尺度通道分組網(wǎng)絡 206
8.2.5 多精度通道分組網(wǎng)絡 207
8.3 訓練一個用于圖像分割的實時分組網(wǎng)絡 208
8.3.1 項目背景 208
8.3.2 嘴唇分割模型訓練 208
8.3.3 嘴唇分割模型優(yōu)化 212
參考文獻 219
第9章 多尺度網(wǎng)絡與非正常卷積，更豐富的感受野與不變性 221
9.1 目標常見變換與不變性 221
9.1.1 常見變換 221
9.1.2 從模型本身獲取不變性 221
9.1.3 從數(shù)據(jù)中學習不變性 223
9.2 多尺度網(wǎng)絡結構 224
9.2.1 圖像金字塔 224
9.2.2 多尺度網(wǎng)絡 225
9.3 非正常卷積網(wǎng)絡結構 228
9.3.1 帶孔卷積 228
9.3.2 可變形卷積 229
9.3.3 非局部卷積 230
9.4 STN在可變形手寫數(shù)字中的應用 232
9.4.1 項目背景 232
9.4.2 STN實驗 233
參考文獻 237
第10章 多輸入網(wǎng)絡，圖像檢索和排序的基準模型 238
10.1 什么時候需要多個輸入 238
10.1.1 圖像檢索 238
10.1.2 目標跟蹤 239
10.1.3 相對排序 239
10.2 常見多輸入網(wǎng)絡 240
10.2.1 Siamese網(wǎng)絡 240
10.2.2 Triplet網(wǎng)絡 241
10.3 目標跟蹤Siamese網(wǎng)絡實戰(zhàn) 242
10.3.1 網(wǎng)絡結構 242
10.3.2 數(shù)據(jù)讀取 244
10.3.3 損失函數(shù)和評估指標 247
10.3.4 模型訓練 248
10.3.5 模型測試 249
參考文獻 254
第11章 時序神經(jīng)網(wǎng)絡，有記憶的網(wǎng)絡更聰明 255
11.1 單向RNN和雙向RNN 255
11.1.1 RNN 255
11.1.2 雙向RNN 257
11.2 LSTM 258
11.3 LSTM視頻分類實踐 260
11.3.1 數(shù)據(jù)準備 260
11.3.2 數(shù)據(jù)讀取 260
11.3.3 網(wǎng)絡定義 264
11.3.4 模型訓練結果 269
11.3.5 總結 270
第12章 卷積從二維變成三維，實現(xiàn)升維打擊 271
12.1 三維卷積 271
12.2 三維卷積的應用 272
12.2.1 分類任務 272
12.2.2 圖像分割 274
12.3 一個用于視頻分類的三維卷積網(wǎng)絡 274
12.3.1 基準模型與數(shù)據(jù)集 275
12.3.2 數(shù)據(jù)讀取 278
12.3.3 訓練結果 280
12.3.4 參數(shù)調(diào)試 281
12.3.5 總結 283
參考文獻 283
第13章 動態(tài)推理與注意力機制，網(wǎng)絡因樣本而異 284
13.1 拓撲結構動態(tài)變化的網(wǎng)絡 284
13.1.1 訓練時拓撲結構變化的網(wǎng)絡 284
13.1.2 測試時拓撲結構變化的網(wǎng)絡 285
13.2 注意力機制 288
13.2.1 空間注意力模型 289
13.2.2 通道注意力模型[9] 289
13.2.3 混合注意力模型 290
13.3 基于提前退出機制的BranchyNet分類實戰(zhàn) 291
13.3.1 背景 291
13.3.2 模型定義 292
13.3.3 實驗結果 302
參考文獻 305
第14章 生成對抗網(wǎng)絡 306
14.1 生成對抗網(wǎng)絡的基本原理 306
14.1.1 生成式模型與判別式模型 306
14.1.2 GAN簡介 307
14.2 生成對抗網(wǎng)絡損失的發(fā)展 308
14.2.1 GAN的損失函數(shù)問題 308
14.2.2 GAN的損失函數(shù)改進 309
14.3 生成對抗網(wǎng)絡結構的發(fā)展 310
14.3.1 條件GAN 310
14.3.2 多尺度級連GAN 311
14.3.3 多判別器單生成器GAN 312
14.3.4 多生成器單判別器GAN 313
14.3.5 多生成器多判別器GAN 313
14.4 DCGAN圖像生成實戰(zhàn) 314
14.4.1 項目背景 314
14.4.2 項目解讀 315
14.4.3 實驗結果 319
參考文獻 321