人工智能算法 卷3 深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)（全彩印刷）

第 1 章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 1
1．1 神經(jīng)元和層 2
1．2 神經(jīng)元的類型 5
1．2．1 輸入和輸出神經(jīng)元 6
1．2．2 隱藏神經(jīng)元 7
1．2．3 偏置神經(jīng)元 7
1．2．4 上下文神經(jīng)元 8
1．2．5 其他神經(jīng)元類型 10
1．3 激活函數(shù) 10
1．3．1 線性激活函數(shù) 10
1．3．2 階躍激活函數(shù) 11
1．3．3 S 型激活函數(shù)12
1．3．4 雙曲正切激活函數(shù) 13
1．4 修正線性單元（ReLU）13
1．4．1 Softmax 激活函數(shù) 14
1．4．2 偏置扮演什么角色？ 17
1．5 神經(jīng)網(wǎng)絡(luò)邏輯 19
1．6 本章小結(jié) 22
第 2 章 自組織映射 23
2．1 自組織映射 24
2．1．1 理解鄰域函數(shù) 27
2．1．2 墨西哥帽鄰域函數(shù) 30
2．1．3 計(jì)算 SOM 誤差 32
2．2 本章小結(jié) 33
第 3 章 Hopfield 網(wǎng)絡(luò)和玻爾茲曼機(jī)34
3．1 Hopfield 神經(jīng)網(wǎng)絡(luò) 34
3．1．1 訓(xùn)練 Hopfield 網(wǎng)絡(luò) 37
3．2 Hopfield-Tank 網(wǎng)絡(luò) 41
3．3 玻爾茲曼機(jī) 42
3．3．1 玻爾茲曼機(jī)概率 44
3．4 應(yīng)用玻爾茲曼機(jī) 45
3．4．1 旅行商問(wèn)題 45
3．4．2 優(yōu)化問(wèn)題 48
3．4．3 玻爾茲曼機(jī)訓(xùn)練 51
3．5 本章小結(jié) 51
第 4 章 前饋神經(jīng)網(wǎng)絡(luò) 53
4．1 前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 54
4．1．1 用于回歸的單輸出神經(jīng)網(wǎng)絡(luò) 54
4．2 計(jì)算輸出 56
4．3 初始化權(quán)重 60
4．4 徑向基函數(shù)網(wǎng)絡(luò) 63
4．4．1 徑向基函數(shù) 64
4．4．2 徑向基函數(shù)網(wǎng)絡(luò) 65
4．5 規(guī)范化數(shù)據(jù) 67
4．5．1 1-of-N 編碼 68
4．5．2 范圍規(guī)范化 69
4．5．3 Z 分?jǐn)?shù)規(guī)范化70
4．5．4 復(fù)雜規(guī)范化 73
4．6 本章小結(jié) 75
第 5 章 訓(xùn)練與評(píng)估 77
5．1 評(píng)估分類 78
5．1．1 二值分類 79
5．1．2 多類分類 84
5．1．3 對(duì)數(shù)損失 86
5．1．4 多類對(duì)數(shù)損失 88
5．2 評(píng)估回歸 88
5．3 模擬退火訓(xùn)練 89
5．4 本章小結(jié) 92
第 6 章 反向傳播訓(xùn)練 93
6．1 理解梯度 93
6．1．1 什么是梯度 94
6．1．2 計(jì)算梯度 96
6．2 計(jì)算輸出節(jié)點(diǎn)增量 98
6．2．1 二次誤差函數(shù) 98
6．2．2 交叉熵誤差函數(shù) 99
6．3 計(jì)算剩余節(jié)點(diǎn)增量 99
6．4 激活函數(shù)的導(dǎo)數(shù) 100
6．4．1 線性激活函數(shù)的導(dǎo)數(shù) 100
6．4．2 Softmax 激活函數(shù)的導(dǎo)數(shù) 100
6．4．3 S 型激活函數(shù)的導(dǎo)數(shù) 101
6．4．4 雙曲正切激活函數(shù)的導(dǎo)數(shù) 102
6．4．5 ReLU 激活函數(shù)的導(dǎo)數(shù) 102
6．5 應(yīng)用反向傳播 103
6．5．1 批量訓(xùn)練和在線訓(xùn)練 104
6．5．2 隨機(jī)梯度下降 105
6．5．3 反向傳播權(quán)重更新 105
6．5．4 選擇學(xué)習(xí)率和動(dòng)量 106
6．5．5 Nesterov 動(dòng)量 107
6．6 本章小結(jié) 108
第 7 章 其他傳播訓(xùn)練 110
7．1 彈性傳播 110
7．2 RPROP 參數(shù) 111
7．3 數(shù)據(jù)結(jié)構(gòu) 113
7．4 理解 RPROP 114
7．4．1 確定梯度的符號(hào)變化 114
7．4．2 計(jì)算權(quán)重變化 115
7．4．3 修改更新值 115
7．5 Levenberg-Marquardt 算法 116
7．6 Hessian 矩陣的計(jì)算 119
7．7 具有多個(gè)輸出的 LMA 120
7．8 LMA 過(guò)程概述 122
7．9 本章小結(jié) 122
第 8 章 NEAT，CPPN 和 HyperNEAT 124
8．1 NEAT 網(wǎng)絡(luò) 125
8．1．1 NEAT 突變 128
8．1．2 NEAT 交叉 129
8．1．3 NEAT 物種形成 133
8．2 CPPN 網(wǎng)絡(luò) 134
8．2．1 CPPN 表型 135
8．3 HyperNEAT 網(wǎng)絡(luò) 138
8．3．1 HyperNEAT 基板 139
8．3．2 HyperNEAT 計(jì)算機(jī)視覺(jué) 140
8．4 本章小結(jié) 142
第 9 章 深度學(xué)習(xí) 143
9．1 深度學(xué)習(xí)組件 143
9．2 部分標(biāo)記的數(shù)據(jù) 144
9．3 修正線性單元 145
9．4 卷積神經(jīng)網(wǎng)絡(luò) 145
9．5 神經(jīng)元 Dropout 146
9．6 GPU 訓(xùn)練 147
9．7 深度學(xué)習(xí)工具 149
9．7．1 H2O 149
9．7．2 Theano 150
9．7．3 Lasagne 和 NoLearn 150
9．7．4 ConvNetJS 152
9．8 深度信念神經(jīng)網(wǎng)絡(luò) 152
9．8．1 受限玻爾茲曼機(jī) 154
9．8．2 訓(xùn)練 DBNN 155
9．8．3 逐層采樣 157
9．8．4 計(jì)算正梯度 157
9．8．5 吉布斯采樣 159
9．8．6 更新權(quán)重和偏置 160
9．8．7 DBNN 反向傳播 161
9．8．8 深度信念應(yīng)用 162
9．9 本章小結(jié) 164
第 10 章 卷積神經(jīng)網(wǎng)絡(luò) 165
10．1 LeNET-5 166
10．2 卷積層 168
10．3 最大池層 170
10．4 稠密層 172
10．5 針對(duì) MNIST 數(shù)據(jù)集的 ConvNets 172
10．6 本章小結(jié) 174
第 11 章 剪枝和模型選擇 175
11．1 理解剪枝 176
11．1．1 剪枝連接 176
11．1．2 剪枝神經(jīng)元 176
11．1．3 改善或降低表現(xiàn) 177
11．2 剪枝算法 177
11．3 模型選擇 179
11．3．1 網(wǎng)格搜索模型選擇 180
11．3．2 隨機(jī)搜索模型選擇 183
11．3．3 其他模型選擇技術(shù) 184
11．4 本章小結(jié) 185
第 12 章 Dropout 和正則化 186
12．1 L1 和 L2 正則化 187
12．1．1 理解 L1 正則化 188
12．1．2 理解 L2 正則化 189
12．2 Dropout 層 190
12．2．1 Dropout 層 191
12．2．2 實(shí)現(xiàn) Dropout 層 191
12．3 使用 Dropout 194
12．4 本章小結(jié) 195
第 13 章 時(shí)間序列和循環(huán)網(wǎng)絡(luò) 197
13．1 時(shí)間序列編碼 198
13．1．1 為輸入和輸出神經(jīng)元編碼數(shù)據(jù) 199
13．1．2 預(yù)測(cè)正弦波 200
13．2 簡(jiǎn)單循環(huán)神經(jīng)網(wǎng)絡(luò) 204
13．2．1 Elman 神經(jīng)網(wǎng)絡(luò) 206
13．2．2 Jordan 神經(jīng)網(wǎng)絡(luò) 207
13．2．3 通過(guò)時(shí)間的反向傳播 208
13．2．4 門控循環(huán)單元 211
13．3 本章小結(jié) 213
第 14 章 架構(gòu)神經(jīng)網(wǎng)絡(luò) 214
14．1 評(píng)估神經(jīng)網(wǎng)絡(luò) 215
14．2 訓(xùn)練參數(shù) 215
14．2．1 學(xué)習(xí)率 216
14．2．2 動(dòng)量 218
14．2．3 批次大小 219
14．3 常規(guī)超參數(shù) 220
14．3．1 激活函數(shù) 220
14．3．2 隱藏神經(jīng)元的配置 222
14．4 LeNet-5 超參數(shù) 223
14．5 本章小結(jié) 224
第 15 章 可視化 226
15．1 混淆矩陣 227
15．1．1 讀取混淆矩陣 227
15．1．2 生成混淆矩陣 228
15．2 t-SNE 降維 229
15．2．1 t-SNE 可視化 231
15．2．2 超越可視化的 t-SNE 235
15．3 本章小結(jié) 236
第 16 章 用神經(jīng)網(wǎng)絡(luò)建模 237
16．0．1 挑戰(zhàn)賽的經(jīng)驗(yàn) 241
16．0．2 挑戰(zhàn)賽取勝的方法 242
16．0．3 我們?cè)谔魬?zhàn)賽中的方法 244
16．1 用深度學(xué)習(xí)建模 245
16．1．1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 245
16．1．2 裝袋多個(gè)神經(jīng)網(wǎng)絡(luò) 249
16．2 本章小結(jié) 250
附錄 A 示例代碼使用說(shuō)明 252
A．1 系列圖書簡(jiǎn)介 252
A．2 保持更新 252
A．3 獲取示例代碼 253
A．3．1 下載壓縮文件 253
A．3．2 克隆 Git 倉(cāng)庫(kù) 254
A．4 示例代碼的內(nèi)容 255
A．5 如何為項(xiàng)目做貢獻(xiàn) 257
參考資料 259