深度學習：從入門到實戰(zhàn)

第1篇深度學習入門篇
第0章引言：從人工智能到深度學習 2
01 人工智能與機器學習 2
011 人工智能 3
【知識擴容】大數(shù)據帶來的挑戰(zhàn) 4
012 機器學習 4
【認知提升】細說圖靈測試 5
【新觀點】機器學習適合做什么 6
02 機器學習的模式 7
【知識擴容】人工智能學派之爭 8
03 深度學習 9
【案例0-1】天氣預報深度神經網絡 9
【認知提升】說文解字“深度學習” 11
【應知應會】深度與學習 12
【最佳實踐】減小損失函數(shù)的方法 12
04 溫故知新 13
05 停下來，思考一下 14
第1章深度學習入門基礎 16
11 數(shù)學基礎 16
111 矩陣論基礎 17
【案例1-1】像指揮官一樣對矩陣進行“排兵布陣” 18
112 概率論基礎與重要結論 19
【應知應會】MATLAB中概率論基本命令 21
12 機器學習基礎 21
121 監(jiān)督學習 22
【應知應會】數(shù)據挖掘與機器學習 22
122 無監(jiān)督學習 23
【案例1-2】“無監(jiān)督學習”中的k-means聚類 24
13 神經網絡基礎 26
131 生物神經網絡 26
【認知提升】探索初級視覺皮層的啟示 26
132 人工神經網絡與神經元模型 27
【知識擴容】Walter Pitts其人 27
14 最優(yōu)化理論基礎 28
14 1 最優(yōu)化問題 29
142 多目標優(yōu)化問題 30
143 群智能優(yōu)化方法 31
【案例1-3】指揮“群智能團隊”逐漸逼近問題最優(yōu)解 32
15 溫故知新 35
16 停下來，思考一下 36
第2章神經網絡原理與實現(xiàn) 38
21 線性問題與感知機 38
22 多層前饋神經網絡與BP算法 41
221 多層前饋神經網絡 41
【案例2-1】具有異或邏輯的感知機 42
222 多層前饋神經網絡的訓練 43
【案例2-2】訓練前饋神經網絡 47
【應知應會】梯度下降算法 47
23 其他神經網絡 48
231 徑向基函數(shù)網絡 48
232 自組織映射網絡 49
【案例2-3】用SOM網絡聚類Iris數(shù)據 49
233 深度神經網絡 50
24 溫故知新 53
25 停下來，思考一下 53
第2篇深度學習方法論解析篇
第3章卷積神經網絡（CNN） 58
31 卷積神經網絡入門 58
311 生物機理 59
312 拓撲結構 61
【知識擴容】圖像處理中的全連接網絡與卷積網絡 63
313 卷積神經網絡的特點 63
32 卷積神經網絡的關鍵技術 64
321 卷積 65
【案例3-1】利用圖像的卷積操作對6×6的單通道圖像進行瘦身 66
【知識擴容】多通道卷積 67
【案例3-2】構建基本CNN 68
【認知提升】不同角度看“卷積” 68
322 池化 69
【最佳實踐】小技巧總結 71
【案例3-3】在Keras框架中實現(xiàn)MaxPooling 71
【知識擴容】VGG卷積神經網絡 72
【案例3-4】揭開VGG和GoogLeNet的“廬山真面目” 73
【認知提升】GoogleNet的Inception結構 75
323 扁平化 75
【案例3-5】實現(xiàn)圖像特征矩陣的扁平化操作 76
324 關鍵技術小結 76
【新觀點】卷積神經網絡發(fā)展方向 77
33 綜合案例：三步教你構建手寫字識別神經網絡 78
【應知應會】Adam優(yōu)化算法 79
【知識擴容】CNN在自然語言處理中的應用 81
34 溫故知新 82
35 停下來，思考一下 82
第4章生成式對抗網絡（GAN） 84
41 生成式對抗網絡基本原理 84
411 GAN的核心思想 84
【認知提升】GAN與博弈理論 85
412 GAN數(shù)學描述 86
【認知提升】“囚徒困境”博弈模型 86
413 GAN的網絡結構與核心技術 87
414 GAN的改進模型 90
【案例4-1】ACGAN基于TensorFlow框架的實現(xiàn)（圖像為64×64單通道數(shù)據） 91
【認知提升】博弈理論與多目標優(yōu)化 98
42 GAN應用 99
421 數(shù)據缺失 100
422 多標簽預測 101
423 根據環(huán)境生成相應數(shù)據 102
424 數(shù)據特征表示 103
425 圖像檢索 104
426 文本到圖像翻譯 104
427 醫(yī)學方面 105
43 綜合案例：動手構建生成式對抗網絡 106
431 基于MATLAB的GAN 106
432 基于TensorFlow的GAN 108
44 溫故知新 115
45 停下來，思考一下 115
第5章循環(huán)神經網絡（RNN） 117
51 循環(huán)神經網絡基本原理 117
511 問題背景 118
【案例5-1】詞性標注（我學習循環(huán)神經網絡） 118
【應知應會】one-hot編碼 119
【認知提升】神經網絡的記憶問題 120
512 循環(huán)神經網絡基本思想 120
【最佳實踐】RNN的梯度爆炸和消失問題 123
52 LSTM網絡基本原理 124
521 LSTM的關鍵技術 124
【知識擴容】遞歸神經網絡（Recursive Neural Network，RNN） 128
522 LSTM的應用 128
【應知應會】自然語言處理 129
53 綜合案例：基于LSTM的語音預測 130
531 加載數(shù)據 130
532 定義網絡結構 130
533 網絡訓練及評估 131
【應知應會】深度學習代碼一般結構 132
54 綜合案例：基于循環(huán)神經網絡的手寫數(shù)字識別 132
541 數(shù)據準備及參數(shù)設置 132
542 網絡構建 133
543 網絡訓練 134
55 綜合案例：基于LSTM的自然語言處理 135
551 數(shù)據收集及編碼 135
552 構建LSTM模型 136
553 模型訓練 137
55 溫故知新 137
56 停下來，思考一下 138
第3篇深度學習實戰(zhàn)篇
第6章深度學習主流工具及框架 142
61 MATLAB基本語法與深度學習工具箱 142
611 MATLAB簡介 142
612 MATLAB安裝 143
613 MATLAB常用語法 146
614 基于MATLAB的深度學習工具箱 149
【案例6-1】基于MATLAB的AlexNet模型初探 151
【案例6-2】用安裝好的深度學習工具箱中的卷積神經網絡做mnist
手寫數(shù)字識別，來驗證工具箱的有效性 152
62 Python基本語法、庫與開發(fā)工具 153
621 Python簡介 153
622 Python安裝 153
623 Python常用語法 155
【應知應會】Python常見錯誤提示及原因 156
624 常用Python庫 157
625 常用Python開發(fā)工具 161
【知識擴容】PyCharm常用快捷鍵 162
【案例6-3】Python送你圣誕帽 163
63 Caffe框架及環(huán)境搭建 165
631 Caffe簡介 165
632 Caffe環(huán)境搭建 166
【案例6-4】手寫體數(shù)字識別 167
64 TensorFlow框架及環(huán)境搭建 167
641 TensorFlow簡介 167
642 TensorFlow與Keras框架的關系 168
643 Windows 10上TensorFlow的環(huán)境搭建 169
65 其他常用框架 177
651 微軟CNTK 177
652 MXNet 178
653 Torch 178
654 Theano 179
66 溫故知新 180
67 停下來，思考一下 180
第7章 AlexNet關鍵技術與實戰(zhàn) 182
71 剖析AlexNet網絡結構 182
【知識擴容】ImageNet與李飛飛 186
72 AlexNet關鍵技術 187
721 ReLU激活函數(shù) 187
722 標準化 187
【應知應會】激活函數(shù)的“飽和”與“不飽和” 188
【認知提升】馬太效應、二八定律、長尾理論 188
723 Dropout 189
724 多GPU 190
【應知應會】CUDA 190
73 AlexNet與LeNet對比 191
74 CNN通用架構 191
75 綜合案例：基于AlexNet的深度學習實戰(zhàn) 192
751 靜態(tài)圖像分類 192
752 用AlexNet做特征提取（feature extraction） 194
753 用AlexNet做遷移學習 197
754 卷積神經網絡的特征可視化 200
76 溫故知新 209
77 停下來，思考一下 210
第8章將手寫體識別進行到底 211
81 手寫體識別“江湖地位” 211
82 手寫數(shù)字識別 212
821 手寫數(shù)字的無監(jiān)督學習 213
【應知應會】稀疏表示 213
【應知應會】無監(jiān)督學習中的自動編碼器 219
822 手寫數(shù)字的全連接神經網絡識別 219
【應知應會】softmax函數(shù)介紹 220
【認知提升】熵 220
823 手寫數(shù)字的卷積神經網絡識別 221
83 手寫漢字識別 229
831 數(shù)據讀取及預處理 229
【最佳實踐】數(shù)據讀取 231
832 卷積神經網絡構建 231
833 網絡模型訓練及結果可視化 233
84 綜合案例：手寫數(shù)字旋轉角度識別 234
841 數(shù)據載入 235
842 網絡構建 235
843 網絡訓練 236
844 測試預測精度 236
845 殘差展示 237
846 偏轉角度矯正及可視化 237
85 溫故知新 238
86 停下來，思考一下 239
第9章基于深度學習的視頻檢測 240
91 人物監(jiān)控視頻問題研究意義及現(xiàn)狀 240
911 研究意義 240
912 國內外研究現(xiàn)狀 242
92 研究情況介紹 244
921 研究內容 244
922 研究目標及關鍵科學問題 244
【案例9-1】基于Python庫的人臉識別 245
93 綜合案例：基于深度學習的人臉視頻檢測 247
931 環(huán)境準備 247
932 數(shù)據處理 248
933 模型訓練 250
934 監(jiān)控代碼 255
94 綜合案例：基于深度學習的物體視頻檢測 256
941 AlexNet回顧 256
942 入門版 257
943 初級版 258
944 加強版 259
945 升級版 260
946 豪華版 261
【案例9-2】讓手機當網絡攝像頭 262
95 溫故知新 262
96 停下來，思考一下 263
第10章基于深度學習的信息隱藏 264
101 數(shù)字圖像隱寫分析研究現(xiàn)狀及意義 264
1011 研究意義 267
1012 研究現(xiàn)狀 268
1013 潛在的應用 268
102 數(shù)字圖像隱寫分析概述 270
【案例10-1】基于四叉樹編碼的空間域高保真可逆信息隱藏 271
103 基于ACGAN的無載體信息隱藏 272
1031 生成式對抗網絡回顧 272
【應知應會】零和博弈 272
1032 基于ACGAN的信息隱藏關鍵技術 274
104 綜合案例：ACGAN信息隱藏實戰(zhàn) 276
1041 方案概述 276
【認知提升】可逆信息隱藏 277
1042 隱藏算法與提取算法的實現(xiàn) 278
1043 性能分析 286
1043 可靠性 287
1044 安全性 287
105 溫故知新 288
106 停下來，思考一下 288
第11章基于深度學習的服裝識別 289
111 服裝識別問題描述 289
112 解決方案 291
1121 方案目標 291
1122 方案概述 291
【知識擴容】OCR技術 293
1123 成本分析和可行性分析 294
1124 實施方案 294
113 綜合案例：基于卷積神經網絡的服裝識別實戰(zhàn) 294
1131 數(shù)據準備 294
1132 網絡結構設計 297
【案例11-1】Canny邊緣檢測算子 301
1133 網絡模型訓練 302
1134 訓練結果及測試 303
114 溫故知新 306
115 停下來，思考一下 306
致謝 308