神經(jīng)網(wǎng)絡與深度學習

譯者序
前言
致謝
作者簡介
第1章神經(jīng)網(wǎng)絡概論111簡介1
12神經(jīng)網(wǎng)絡的基本架構3
121單層計算網(wǎng)絡：感知機3
122多層神經(jīng)網(wǎng)絡13
123多層網(wǎng)絡即計算圖15
13利用反向傳播訓練神經(jīng)網(wǎng)絡16
14神經(jīng)網(wǎng)絡訓練中的實際問題19
141過擬合問題19
142梯度消失與梯度爆炸問題22
143收斂問題22
144局部最優(yōu)和偽最優(yōu)22
145計算上的挑戰(zhàn)23
15復合函數(shù)的能力之謎23
151非線性激活函數(shù)的重要性25
152利用深度以減少參數(shù)26
153非常規(guī)網(wǎng)絡架構27
16常見網(wǎng)絡架構28
161淺層模型模擬基礎機器學習方法28
162徑向基函數(shù)網(wǎng)絡29
163受限玻爾茲曼機29
164循環(huán)神經(jīng)網(wǎng)絡30
165卷積神經(jīng)網(wǎng)絡31
166層次特征工程與預訓練模型32
17高級主題34
171強化學習34
172分離數(shù)據(jù)存儲和計算34
173生成對抗網(wǎng)絡35
18兩個基準35
181MNIST手寫數(shù)字數(shù)據(jù)庫35
182ImageNet數(shù)據(jù)庫36
19總結37
110參考資料說明37
1101視頻講座38
1102軟件資源39
111練習39
第2章基于淺層神經(jīng)網(wǎng)絡的機器學習41
21簡介41
22二分類模型的神經(jīng)架構42
221復習感知機42
222最小二乘回歸44
223邏輯回歸47
224支持向量機49
23多分類模型的神經(jīng)架構50
231多分類感知機51
232WestonWatkins支持向量機52
233多重邏輯回歸（softmax分類器）53
234應用于多分類的分層softmax54
24反向傳播可以用于特征選擇和神經(jīng)網(wǎng)絡的可解釋性54
25使用自編碼器進行矩陣分解55
251自編碼器的基本原則55
252非線性激活函數(shù)59
253深度自編碼器60
254應用于離群點檢測62
255當隱藏層比輸入層維數(shù)高時63
256其他應用63
257推薦系統(tǒng)：行索引到行值的預測65
258討論67
26word2vec：簡單神經(jīng)架構的應用67
261連續(xù)詞袋的神經(jīng)嵌入68
262skipgram模型的神經(jīng)嵌入70
263word2vec（SGNS）是邏輯矩陣分解74
264原始skipgram模型是多項式矩陣分解76
27圖嵌入的簡單神經(jīng)架構76
271處理任意數(shù)量的邊78
272多項式模型78
273與DeepWalk和node2vec的聯(lián)系78
28總結78
29參考資料說明79
210練習80
第3章深度神經(jīng)網(wǎng)絡的訓練8231簡介82
32反向傳播的詳細討論83
321計算圖抽象中的反向傳播83
322前來拯救的動態(tài)規(guī)劃87
323使用激活后變量的反向傳播88
324使用激活前變量的反向傳播89
325不同激活函數(shù)的更新示例91
326以向量為中心的反向傳播的解耦視圖92
327多輸出節(jié)點及隱藏節(jié)點下的損失函數(shù)94
328小批量隨機梯度下降95
329用于解決共享權重的反向傳播技巧96
3210檢查梯度計算的正確性97
33設置和初始化問題98
331調整超參數(shù)98
332特征預處理99
333初始化100
34梯度消失和梯度爆炸問題101
341對梯度比例影響的幾何理解102
342部分解決：激活函數(shù)的選擇103
343死亡神經(jīng)元和“腦損傷”104
35梯度下降策略105
351學習率衰減105
352基于動量的學習106
353參數(shù)特異的學習率108
354懸崖和高階不穩(wěn)定性111
355梯度截斷112
356二階導數(shù)112
357Polyak平均118
358局部極小值和偽極小值119
36批歸一化120
37加速與壓縮的實用技巧123
371GPU加速123
372并行和分布式實現(xiàn)125
373模型壓縮的算法技巧126
38總結128
39參考資料說明128
310練習130
第4章讓深度學習器學會泛化132
41簡介132
42偏差方差權衡135
43模型調優(yōu)和評估中的泛化問題138
431用留出法和交叉驗證法進行評估139
432大規(guī)模訓練中的問題140
433如何檢測需要收集更多的數(shù)據(jù)141
44基于懲罰的正則化141
441與注入噪聲的聯(lián)系142
442L1正則化143
443選擇L1正則化還是L2正則化143
444對隱藏單元進行懲罰：學習稀疏表示144
45集成方法145
451裝袋和下采樣145
452參數(shù)模型選擇和平均146
453隨機連接刪除146
454Dropout147
455數(shù)據(jù)擾動集成149
46早停149
47無監(jiān)督預訓練150
471無監(jiān)督預訓練的變體153
472如何進行監(jiān)督預訓練154
48繼續(xù)學習與課程學習154
481繼續(xù)學習155
482課程學習156
49共享參數(shù)156
410無監(jiān)督應用中的正則化157
4101基于值的懲罰：稀疏自編碼器157
4102噪聲注入：去噪自編碼器157
4103基于梯度的懲罰：收縮自編碼器158
4104隱藏層概率結構：變分自編碼器161
411總結166
412參考資料說明166
413練習168
第5章徑向基函數(shù)網(wǎng)絡169
51簡介169
52RBF網(wǎng)絡的訓練171
521訓練隱藏層171