神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)應(yīng)用實(shí)戰(zhàn)

基礎(chǔ)篇
第1章 時(shí)代崛起 2
1．1 概要 2
1．1．1 基本概念 2
1．1．2 深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的關(guān)系 4
1．1．3 深度學(xué)習(xí)與人工智能的關(guān)系 5
1．2 歷史發(fā)展 5
1．2．1 神經(jīng)網(wǎng)絡(luò)發(fā)展歷史 5
1．2．2 人工智能發(fā)展歷史 7
1．3 應(yīng)用領(lǐng)域 8
1．3．1 智能個(gè)人助理 8
1．3．2 智能安防 9
1．3．3 無(wú)人駕駛 9
1．3．4 電商零售 11
1．3．5 智慧醫(yī)療 11
1．3．6 金融服務(wù) 12
1．3．7 智能教育 13
1．4 未來(lái)猜想 14
1．4．1 人文的快速發(fā)展 14
1．4．2 人類(lèi)也是“機(jī)器人” 14
1．4．3 新的不平等現(xiàn)象 15
1．5 本章小結(jié) 16
第2章 數(shù)學(xué)理論基礎(chǔ) 17
2．1 向量 17
2．1．1 相關(guān)概念 17
2．1．2 向量的線性相關(guān)性 18
2．1．3 向量的外積 18
2．1．4 向量夾角與余弦相似性 18
2．1．5 實(shí)例：基于向量夾角的文本相似性分析 19
2．2 矩陣 20
2．2．1 矩陣乘法 20
2．2．2 克羅內(nèi)克積 21
2．3 導(dǎo)數(shù) 22
2．3．1 概述 22
2．3．2 一般運(yùn)算法則 22
2．3．3 鏈?zhǔn)角髮?dǎo)法則 23
2．4 數(shù)值計(jì)算 23
2．4．1 誤差 23
2．4．2 距離 24
2．4．3 數(shù)值歸一化 26
2．5 概率分布 26
2．5．1 二項(xiàng)分布 26
2．5．2 超幾何分布 27
2．5．3 泊松分布 27
2．5．4 指數(shù)分布 28
2．5．5 正態(tài)分布 29
2．6 參數(shù)估計(jì) 29
2．6．1 概率 29
2．6．2 貝葉斯估計(jì) 30
2．6．3 最大似然估計(jì) 31
2．6．4 最大后驗(yàn)估計(jì) 32
2．7 回歸分析 33
2．7．1 線性回歸 33
2．7．2 邏輯回歸 36
2．8 判定問(wèn)題 39
2．8．1 P問(wèn)題 39
2．8．2 NP問(wèn)題 39
2．8．3 NP-Complete問(wèn)題 40
2．8．4 NP-Hard問(wèn)題 40
2．9 本章小結(jié) 41
第3章 機(jī)器學(xué)習(xí)概要 42
3．1 機(jī)器學(xué)習(xí)的類(lèi)型 42
3．1．1 有監(jiān)督學(xué)習(xí) 42
3．1．2 無(wú)監(jiān)督學(xué)習(xí) 43
3．1．3 強(qiáng)化學(xué)習(xí) 43
3．2 機(jī)器學(xué)習(xí)中常見(jiàn)的函數(shù) 44
3．2．1 激活函數(shù) 44
3．2．2 損失函數(shù) 47
3．2．3 核函數(shù) 48
3．3 機(jī)器學(xué)習(xí)中的重要參數(shù) 49
3．3．1 學(xué)習(xí)速率 49
3．3．2 動(dòng)量系數(shù) 50
3．3．3 偏置項(xiàng) 50
3．4 擬合問(wèn)題 51
3．4．1 過(guò)擬合現(xiàn)象 51
3．4．2 欠擬合現(xiàn)象 52
3．4．3 解決過(guò)擬合問(wèn)題的一般方法 52
3．4．4 實(shí)例：擬合與二元一次方程求解 55
3．5 交叉檢驗(yàn) 55
3．5．1 數(shù)據(jù)類(lèi)型種類(lèi) 55
3．5．2 留一交叉驗(yàn)證 57
3．5．3 K折交叉驗(yàn)證 57
3．6 線性可分與不可分 58
3．7 機(jī)器學(xué)習(xí)的學(xué)習(xí)特征 59
3．8 產(chǎn)生式模型與判別式模型 60
3．9 機(jī)器學(xué)習(xí)效果的一般評(píng)價(jià)指標(biāo) 61
3．10 本章小結(jié) 63
第4章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 64
4．1 概述 64
4．1．1 神經(jīng)網(wǎng)絡(luò)模型 64
4．1．2 經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 65
4．1．3 一般業(yè)務(wù)場(chǎng)景中神經(jīng)網(wǎng)絡(luò)適應(yīng)性 66
4．1．4 神經(jīng)網(wǎng)絡(luò)的深度 67
4．2 常見(jiàn)學(xué)習(xí)方法 67
4．2．1 誤差修正學(xué)習(xí) 67
4．2．2 赫布學(xué)習(xí)規(guī)則 68
4．2．3 最小均方規(guī)則 69
4．2．4 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則 70
4．2．5 其他學(xué)習(xí)規(guī)則 71
4．3 優(yōu)化方法：梯度下降 72
4．3．1 概述 72
4．3．2 梯度下降法 72
4．3．3 梯度下降的優(yōu)化算法 74
4．3．4 梯度消失問(wèn)題 76
4．3．5 示例：利用梯度下降法求函數(shù)極值 77
4．4 常見(jiàn)的神經(jīng)網(wǎng)絡(luò)類(lèi)型 78
4．4．1 前饋型神經(jīng)網(wǎng)絡(luò) 78
4．4．2 反饋型神經(jīng)網(wǎng)絡(luò) 79
4．4．3 自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò) 79
4．5 深度學(xué)習(xí)中常見(jiàn)的網(wǎng)絡(luò)類(lèi)型 80
4．5．1 卷積神經(jīng)網(wǎng)絡(luò) 80
4．5．2 循環(huán)神經(jīng)網(wǎng)絡(luò) 80
4．5．3 深度信念網(wǎng)絡(luò) 80
4．5．4 生成對(duì)抗網(wǎng)絡(luò) 81
4．5．5 深度強(qiáng)化學(xué)習(xí) 81
4．6 其他神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí) 82
4．6．1 隨機(jī)神經(jīng)網(wǎng)絡(luò) 82
4．6．2 量子神經(jīng)網(wǎng)絡(luò) 82
4．6．3 遷移學(xué)習(xí) 82
4．7 深度學(xué)習(xí)與多層神經(jīng)網(wǎng)絡(luò)的關(guān)系 83
4．8 調(diào)參技巧 84
4．9 本章小結(jié) 85
進(jìn)階篇
第5章 前饋型神經(jīng)網(wǎng)絡(luò) 88
5．1 概述 88
5．2 常見(jiàn)結(jié)構(gòu) 88
5．3 單層感知器網(wǎng)絡(luò) 89
5．3．1 原理 89
5．3．2 網(wǎng)絡(luò)結(jié)構(gòu) 90
5．3．3 實(shí)例一：基于單層感知器“與”運(yùn)算 90
5．3．4 實(shí)例二：利用感知器判定零件是否合格 91
5．4 BP神經(jīng)網(wǎng)絡(luò) 93
5．4．1 概述 93
5．4．2 反向傳播算法 93
5．4．3 異或問(wèn)題的解決 96
5．4．4 避免病態(tài)結(jié)果 98
5．4．5 實(shí)例：基于多層感知器的手寫(xiě)體數(shù)字識(shí)別 99
5．5 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò) 101
5．5．1 原理介紹 101
5．5．2 中心選擇方法 102
5．5．3 訓(xùn)練過(guò)程 103
5．5．4 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)的差異 104
5．6 本章小結(jié) 105
第6章 反饋型神經(jīng)網(wǎng)絡(luò) 107
6．1 概述 107
6．1．1 基本原理 107
6．1．2 與前饋型神經(jīng)網(wǎng)絡(luò)的差異 108
6．2 Hopfield神經(jīng)網(wǎng)絡(luò) 109
6．3 Elman神經(jīng)網(wǎng)絡(luò) 112
6．3．1 結(jié)構(gòu)組成 112
6．3．2 學(xué)習(xí)算法 112
6．4 遞歸神經(jīng)網(wǎng)絡(luò) 113
6．4．1 產(chǎn)生背景 114
6．4．2 基本結(jié)構(gòu) 115
6．4．3 前向計(jì)算過(guò)程 116
6．4．4 反向傳播：BPTS算法 117
6．4．5 應(yīng)用場(chǎng)景 118
6．4．6 遞歸神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)改進(jìn) 118
6．4．7 應(yīng)用實(shí)例 121
6．5 本章小結(jié) 124
第7章 自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò) 125
7．1 概述 125
7．1．1 一般網(wǎng)絡(luò)模型 125
7．1．2 工作原理 126
7．1．3 實(shí)例：用競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則進(jìn)行模式分類(lèi) 127
7．2 常見(jiàn)的聚類(lèi)方法 129
7．2．1 系統(tǒng)聚類(lèi)法 129
7．2．2 基于劃分的聚類(lèi)算法 130
7．2．3 基于密度的聚類(lèi)算法 131
7．2．4 基于層次的聚類(lèi)算法 132
7．3 自組織映射網(wǎng)絡(luò) 134
7．3．1 概述 134
7．3．2 訓(xùn)練算法 134
7．3．3 實(shí)例：利用自組織映射網(wǎng)絡(luò)劃分城市群 135
7．3．4 優(yōu)劣勢(shì)分析 136
7．4 其他自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò) 137
7．4．1 自適應(yīng)共振理論 137
7．4．2 對(duì)偶傳播神經(jīng)網(wǎng)絡(luò) 138
7．5 本章小結(jié) 139
高階篇
第8章 卷積神經(jīng)網(wǎng)絡(luò) 142
8．1 概述 142
8．1．1 發(fā)展背景 142
8．1．2 基本概念 143
8．1．3 基本網(wǎng)絡(luò)結(jié)構(gòu) 144
8．2 卷積 145
8．2．1 卷積的物理意義 145
8．2．2 卷積的理解 145
8．2．3 卷積的實(shí)例 147
8．3 卷積核 148
8．3．1 卷積核的含義 148
8．3．2 卷積操作 150
8．3．3 卷積核的特征 150
8．4 卷積神經(jīng)網(wǎng)絡(luò)中各層工作原理 151
8．4．1 卷積層 151
8．4．2 下采樣層 151
8．4．3 Softmax層 152
8．5 卷積神經(jīng)網(wǎng)絡(luò)的逆向過(guò)程 153
8．6 常見(jiàn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 154
8．6．1 LeNet-5 154
8．6．2 AlexNet 155
8．7 應(yīng)用場(chǎng)景與效果評(píng)估 157
8．7．1 場(chǎng)景1：圖像分類(lèi) 157
8．7．2 場(chǎng)景2：目標(biāo)檢測(cè) 158
8．7．3 場(chǎng)景3：實(shí)例分割 159
8．8 Maxout Networks 160
8．9 本章小結(jié) 162
第9章 循環(huán)神經(jīng)網(wǎng)絡(luò) 163
9．1 概述 163
9．2 一般循環(huán)神經(jīng)網(wǎng)絡(luò) 164
9．2．1 概述 164
9．2．2 單向循環(huán)神經(jīng)網(wǎng)絡(luò) 165
9．2．3 雙向循環(huán)神經(jīng)網(wǎng)絡(luò) 166
9．2．4 深度循環(huán)神經(jīng)網(wǎng)絡(luò) 167
9．3 訓(xùn)練算法：BPTT算法 168
9．3．1 前向計(jì)算 168
9．3．2 誤差項(xiàng)計(jì)算 169
9．3．3 權(quán)值梯度計(jì)算 169
9．3．4 梯度爆炸與梯度消失問(wèn)題 170
9．4 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò) 170
9．4．1 背景 170
9．4．2 核心思想 171
9．4．3 詳細(xì)結(jié)構(gòu) 172
9．4．4 訓(xùn)練過(guò)程 176
9．4．5 相關(guān)變種簡(jiǎn)介 181
9．5 常見(jiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 182
9．5．1 N比N結(jié)構(gòu) 182
9．5．2 N比1結(jié)構(gòu) 183
9．5．3 1比N結(jié)構(gòu) 183
9．5．4 N比M結(jié)構(gòu) 184
9．6 與自然語(yǔ)言處理結(jié)合 185
9．7 實(shí)例：文本自動(dòng)生成 186
9．8 本章小結(jié) 187
第10章 深度信念網(wǎng)絡(luò) 188
10．1 概要 188
10．1．1 背景 188
10．1．2 基本結(jié)構(gòu) 188
10．2 受限玻爾茲曼機(jī) 190
10．2．1 概述 190
10．2．2 邏輯結(jié)構(gòu) 192
10．2．3 對(duì)比分歧算法 194
10．3 訓(xùn)練過(guò)程 194
10．3．1 工作流程 194
10．3．2 調(diào)優(yōu)過(guò)程 195
10．4 本章小結(jié) 196
第11章 生成對(duì)抗網(wǎng)絡(luò) 197
11．1 概述 197
11．1．1 背景概要 197
11．1．2 核心思想 198
11．1．3 基本工作流程 199
11．2 樸素生成對(duì)抗網(wǎng)絡(luò) 201
11．2．1 網(wǎng)絡(luò)結(jié)構(gòu) 201
11．2．2 實(shí)例：基于樸素生成對(duì)抗網(wǎng)絡(luò)生成手寫(xiě)體數(shù)字 203
11．3 深度卷積生成對(duì)抗網(wǎng)絡(luò) 206
11．3．1 產(chǎn)生背景 206
11．3．2 模型改進(jìn) 206
11．3．3 網(wǎng)絡(luò)結(jié)構(gòu) 207
11．3．4 實(shí)例：基于深度卷積對(duì)抗網(wǎng)絡(luò)生成手寫(xiě)體數(shù)字 208
11．4 條件生成對(duì)抗網(wǎng)絡(luò) 212
11．4．1 網(wǎng)絡(luò)結(jié)構(gòu) 212
11．4．2 實(shí)例：CGAN結(jié)合DCGAN生成手寫(xiě)體數(shù)字 213
11．5 瓦瑟斯坦生成對(duì)抗網(wǎng)絡(luò) 214
11．5．1 概述 214
11．5．2 差異化 215
11．5．3 實(shí)例：WGAN結(jié)合DCGAN生成手寫(xiě)體數(shù)字 216
11．6 生成對(duì)抗網(wǎng)絡(luò)的探索 217
11．6．1 價(jià)值與意義 217
11．6．2 面臨的問(wèn)題 218
11．6．3 應(yīng)用場(chǎng)景示例 218
11．6．4 未來(lái)探索 220
11．7 本章小結(jié) 220

第12章 深度強(qiáng)化學(xué)習(xí) 221
12．1 概述 221
12．1．1 概要 221
12．1．2 基本原理 222
12．2 馬爾科夫決策過(guò)程 223
12．2．1 馬爾科夫過(guò)程 223
12．2．2 隱馬爾科夫模型 224
12．2．3 馬爾科夫決策過(guò)程 225
12．3 深度強(qiáng)化學(xué)習(xí)算法 229
12．3．1 DQN算法 229
12．3．2 A3C算法 231
12．3．3 UNREAL算法 231
12．4 強(qiáng)化學(xué)習(xí)的探索 232
12．4．1 應(yīng)用場(chǎng)景探索 232
12．4．2 面臨的問(wèn)題 233
12．5 本章小結(jié) 234