深度學習算法與實踐

第 一部分
第　1章 空間幾何與線性代數(shù)　3
1．1　多維幾何空間　3
1．1．1　空間、函數(shù)和向量　3
1．1．2　空間變換與矩陣　7
1．2　矩陣和運算　9
1．2．1　矩陣基本運算　9
1．2．2　矩陣分塊運算和線性變換　10
1．2．3　矩陣分解　11
1．2．4　方陣的線性變換：特征值分解　12
1．2．5　非方陣線性變換：奇異值分解　13
1．2．6　其他線性變換：字典學習　14
1．3　實踐部分　14
1．3．1　矩陣定義與計算　14
1．3．2　仿射變換實例　16
1．3．3　數(shù)據(jù)壓縮　18
1．4　小結(jié)　20
第　2章 概率與統(tǒng)計　22
2．1　概率基礎(chǔ)概念　22
2．2　隨機變量數(shù)字特征　25
2．3　信息熵　28
2．4　概率模型下的線性變換　30
2．5　最大似然估計與最大后驗估計　31
2．6　常見分布　34
2．7　實踐部分　36
2．8　小結(jié)　40
第3章　函數(shù)建模與優(yōu)化　41
3．1　函數(shù)與建?！?1
3．1．1　機器學習問題描述　42
3．1．2　函數(shù)的展開與建?！?4
3．2　優(yōu)化問題　45
3．2．1　多元函數(shù)展開和梯度　45
3．2．2　無約束最優(yōu)化問題　46
3．2．3　約束最優(yōu)化問題提出　49
3．2．4　等式約束的最優(yōu)化問題示例　50
3．2．5　不等式約束的最優(yōu)化問題示例　51
3．2．6　約束最優(yōu)化與最大熵　53
3．3　損失函數(shù)的多元函數(shù)表示　54
3．3．1　基于梯度的優(yōu)化算法　54
3．3．2　動量加入　55
3．3．3　AdaGrad與Adam算法　55
3．4　過擬合與欠擬合問題　57
3．4．1　問題闡述　57
3．4．2　過擬合與欠擬合判斷　59
3．5　集成學習　61
3．5．1　方差和偏差　61
3．5．2　Bagging和Boosting　62
3．6　實踐部分　63
3．6．1　線性回歸問題　63
3．6．2　使用TensorFlow進行曲線擬合　65
3．6．3　多元線性回歸問題　66
3．7　小結(jié)　68
第4章　機器學習庫的使用　69
4．1　TensorFlow執(zhí)行過程　69
4．2　建模與優(yōu)化所需的函數(shù)　72
4．2．1　自動求導　72
4．2．2　矩陣以及相關(guān)的計算　73
4．2．3　從手寫數(shù)字識別例子來完整學習建模和優(yōu)化過程　75
4．3　多個計算圖　80
4．4　變量命名　80
4．5　小結(jié)　83
第二部分
第5章　深度學習模型與全連接網(wǎng)絡　87
5．1　多層神經(jīng)網(wǎng)絡與理解　87
5．1．1　表格類型數(shù)據(jù)與線性模型　87
5．1．2　多層神經(jīng)網(wǎng)絡模型引入　90
5．1．3　過擬合問題　94
5．2　鏈式求導與反向傳播　96
5．2．1　矩陣相乘可訓練參數(shù)導數(shù)與誤差傳播　96
5．2．2　偏置項導數(shù)可訓練參數(shù)導數(shù)與誤差傳播　97
5．2．3　通過函數(shù)可訓練參數(shù)導數(shù)與誤差傳播　97
5．3　實踐部分　98
5．3．1　多層全連接網(wǎng)絡從零實現(xiàn)　98
5．3．2　調(diào)用TensorFlow實現(xiàn)全連接網(wǎng)絡　101
5．3．3　空間變換　102
5．3．4　TensorFlow高層API　103
5．4　小結(jié)　104
第6章　卷積神經(jīng)網(wǎng)絡　105
6．1　連續(xù)型數(shù)據(jù)　105
6．2　信號處理中的卷積　107
6．2．1　滑動互相關(guān)與特征提取　107
6．2．2　濾波概念與滑動互相關(guān)關(guān)系　109
6．3　從神經(jīng)網(wǎng)絡的角度看待卷積神經(jīng)網(wǎng)絡　112
6．4　卷積神經(jīng)網(wǎng)絡　113
6．4．1　輸入數(shù)據(jù)形式　113
6．4．2　卷積的數(shù)學形式　114
6．4．3　感受野　114
6．4．4　加深網(wǎng)絡與調(diào)整步長　115
6．4．5　池化層的數(shù)學形式　115
6．4．6　空洞卷積　116
6．4．7　圖像金字塔　117
6．5　卷積神經(jīng)網(wǎng)絡反向傳播算法　117
6．5．1　卷積層反向傳播　118
6．5．2　池化層反向傳播　118
6．5．3　展開層反向傳播　118
6．6　實踐部分　118
6．6．1　卷積結(jié)構(gòu)濾波　118
6．6．2　卷積神經(jīng)網(wǎng)絡從零實現(xiàn)　121
6．6．3　卷積神經(jīng)網(wǎng)絡的TensorFlow實現(xiàn)　125
6．6．4　卷積神經(jīng)網(wǎng)絡其他API　127
6．7　小結(jié)　127
第7章　循環(huán)神經(jīng)網(wǎng)絡基礎(chǔ)　128
7．1　文本數(shù)據(jù)類型　128
7．1．1　無順序文本　128
7．1．2　順序文本處理　130
7．2　文本問題建模　130
7．2．1　無順序文本建?！?30
7．2．2　順序文本建?！?32
7．3　循環(huán)神經(jīng)網(wǎng)絡模型　132
7．3．1　基本循環(huán)神經(jīng)網(wǎng)絡模型　132
7．3．2　循環(huán)神經(jīng)網(wǎng)絡結(jié)構(gòu)改進　133
7．3．3　卷積神經(jīng)網(wǎng)絡處理時序數(shù)據(jù)　134
7．4　反向傳播過程　134
7．5　實踐部分　134
7．5．1　從零實現(xiàn)循環(huán)神經(jīng)網(wǎng)絡　134
7．5．2　文本分類問題　139
7．5．3　TensorFlow的Embedding示例　141
7．5．4　TensorFlow的RNN輸入與輸出示例　141
7．5．5　中文分詞示例　142
7．6　小結(jié)　142
第8章　循環(huán)神經(jīng)網(wǎng)絡擴展　144
8．1　雙向RNN　144
8．2　聯(lián)結(jié)主義時間分類器　146
8．2．1　CTC-Loss　146
8．2．2　CTC解碼　147
8．3　編碼-解碼結(jié)構(gòu)（基于RNN）　149
8．3．1　結(jié)構(gòu)說明　149
8．3．2　序列損失函數(shù)（Sequence Loss）　151
8．3．3　預測過程　151
8．4　實踐部分　151
8．4．1　使用RNN進行文本分類　151
8．4．2　使用RNN進行文本生成實例　152
8．4．3　中文文本分詞實踐　155
8．5　小結(jié)　162
第9章　深度學習優(yōu)化　163
9．1　網(wǎng)絡結(jié)構(gòu)優(yōu)化　163
9．1．1　Inception結(jié)構(gòu)　163
9．1．2　殘差網(wǎng)絡　164
9．1．3　注意力機制　165
9．2　神經(jīng)網(wǎng)絡輔助結(jié)構(gòu)　167
9．2．1　批正則化　167
9．2．2　DropOut　168
9．3　深度學習參數(shù)優(yōu)化　169
9．3．1　學習率　169
9．3．2　批尺寸　169
9．3．3　Embedding大小與DropOut數(shù)值　169
9．3．4　網(wǎng)格搜索方法　169
9．3．5　初始化策略　170
9．3．6　數(shù)據(jù)預處理　170
9．3．7　梯度剪裁　170
9．4　實踐部分　171
9．5　小結(jié)　172
第三部分
第　10章 圖像處理任務　175
10．1　圖像多分類問題　175
10．1．1　人臉識別類任務分析　179
10．1．2　三元損失函數(shù)　179
10．1．3　使用分類問題訓練　180
10．1．4　CenterLoss　180
10．1．5　結(jié)果　181
10．2　任意大小圖像處理　182
10．2．1　純卷積結(jié)構(gòu)　182
10．2．2　圖像處理任務中的分類與回歸問題　184
10．2．3　預測過程　186
10．3　物體檢測問題　189
10．3．1　RCNN類物體檢測算法　189
10．3．2　Yolo類物體檢測方法　195
10．4　小結(jié)　199
第　11章 自然語言處理　200
11．1　語音識別任務　200
11．1．1　語音信號特征　201
11．1．2　語音處理模型　204
11．1．3　結(jié)果輸出　205
11．2　自然語言翻譯　205
11．2．1　編碼結(jié)構(gòu)　206
11．2．2　解碼結(jié)構(gòu)　206
11．2．3　Attention機制　211
11．2．4　網(wǎng)絡結(jié)構(gòu)圖像解釋　214
11．2．5　損失函數(shù)　214
11．3　文本轉(zhuǎn)語音（TTS）模型　215
11．3．1　網(wǎng)絡模型　215
11．3．2　自定義RNN結(jié)構(gòu)：ZoneoutLSTM　215
11．3．3　自定義RNN：帶有卷積層的循環(huán)網(wǎng)絡　218
11．3．4　自定義解碼器　219
11．3．5　自定義Helper　221
11．3．6　自定義Attention機制　222
11．3．7　模型描述　223
11．3．8　后處理　225
11．3．9　結(jié)果展示　226
11．4　小結(jié)　227
第　12章 非監(jiān)督學習模型　228
12．1　對抗生成網(wǎng)絡　228
12．1．1　反卷積結(jié)構(gòu)　229
12．1．2　對抗神經(jīng)網(wǎng)絡的搭建　230
12．1．3　結(jié)果展示　234
12．2　去噪自編碼器　234
12．2．1　去噪自編碼器結(jié)構(gòu)　235
12．2．2　去噪結(jié)果　235
12．2．3　與對抗生成網(wǎng)絡對比　236
12．3　增強學習　236
12．3．1　游戲說明　238
12．3．2　網(wǎng)絡模型　239
12．3．3　損失函數(shù)構(gòu)建　240
12．4　小結(jié)　242