詳解深度學習：基于TensorFlow和Keras學習RNN

第 1章　數(shù)學準備 001
1．1　偏微分　001
1．1．1　導函數(shù)和偏導函數(shù)　001
1．1．2　微分系數(shù)與偏微分系數(shù)　003
1．1．3　偏微分的基本公式　006
1．1．4　復合函數(shù)的偏微分　007
1．1．5　拓展全微分　009
1．2　線性代數(shù)　011
1．2．1　向量　011
1．2．1．1　向量的基礎知識　011
1．2．1．2　向量的和與標量倍數(shù)　011
1．2．1．3　向量的內積　012
1．2．2　矩陣　013
1．2．2．1　矩陣的基礎知識　013
1．2．2．2　矩陣的和與標量倍數(shù)　014
1．2．2．3　矩陣的乘積　014
1．2．2．4　正則矩陣與逆矩陣　016
1．2．2．5　轉置矩陣　017
1．3　小結　018
第　2章 Python準備　019
2．1　Python 2和Python 3　020
2．2　Anaconda發(fā)行版　021
2．3　Python的基礎知識　025
2．3．1　Python程序的執(zhí)行　025
2．3．2　數(shù)據(jù)類型　026
2．3．2．1　類型是什么　026
2．3．2．2　字符串類型　027
2．3．2．3　數(shù)值類型　028
2．3．2．4　布爾類型　030
2．3．3　變量　031
2．3．3．1　變量是什么　031
2．3．3．2　變量與類型　032
2．3．4　數(shù)據(jù)結構　033
2．3．4．1　列表　033
2．3．4．2　字典　034
2．3．5　運算　035
2．3．5．1　運算符與操作數(shù)　035
2．3．5．2　算術運算的運算符　036
2．3．5．3　賦值運算符　036
2．3．6　基本結構　038
2．3．6．1　if語句　038
2．3．6．2　while語句　039
2．3．6．3　for語句　041
2．3．7　函數(shù)　043
2．3．8　類　045
2．3．9　庫　048
2．4　NumPy　049
2．4．1　NumPy數(shù)組　049
2．4．2　使用NumPy進行向量和矩陣的計算　051
2．4．3　數(shù)組和多維數(shù)組的生成　053
2．4．4　切片　054
2．4．5　廣播　056
2．5　面向深度學習的庫　058
2．5．1　TensorFlow　058
2．5．2　Keras　059
2．5．3　參考Theano　060
2．6　小結　063
第3章　神經(jīng)網(wǎng)絡　065
3．1　什么是神經(jīng)網(wǎng)絡　065
3．1．1　腦和神經(jīng)元　065
3．1．2　深度學習和神經(jīng)網(wǎng)絡　066
3．2　作為電路的神經(jīng)網(wǎng)絡　067
3．2．1　簡單的模型化　067
3．2．2　邏輯電路　069
3．2．2．1　邏輯門　069
3．2．2．2　與門　069
3．2．2．3　或門　072
3．2．2．4　非門　074
3．3　簡單感知機　075
3．3．1　模型化　075
3．3．2　實現(xiàn)　077
3．4　邏輯回歸　081
3．4．1　階躍函數(shù)與sigmoid函數(shù)　081
3．4．2　模型化　082
3．4．2．1　似然函數(shù)與交叉熵誤差函數(shù)　082
3．4．2．2　梯度下降法　084
3．4．2．3　隨機梯度下降法與小批量梯度下降法　085
3．4．3　實現(xiàn)　086
3．4．3．1　使用TensorFlow的實現(xiàn)　086
3．4．3．2　使用Keras的實現(xiàn)　092
3．4．4　拓展sigmoid函數(shù)與概率密度函數(shù)、累積分布函數(shù)　096
3．4．5　拓展梯度下降法和局部最優(yōu)解　099
3．5　多分類邏輯回歸　101
3．5．1　softmax函數(shù)　101
3．5．2　模型化　102
3．5．3　實現(xiàn)　106
3．5．3．1　使用TensorFlow的實現(xiàn)　106
3．5．3．2　使用Keras的實現(xiàn)　110
3．6　多層感知機　111
3．6．1　非線性分類　111
3．6．1．1　異或門　111
3．6．1．2　邏輯門的組合　113
3．6．2　模型化　115
3．6．3　實現(xiàn)　119
3．6．3．1　使用TensorFlow的實現(xiàn)　119
3．6．3．2　使用Keras的實現(xiàn)　122
3．7　模型的評估　123
3．7．1　從分類到預測　123
3．7．2　預測的評估　124
3．7．3　簡單的實驗　126
3．8　小結　131
第4章　深度神經(jīng)網(wǎng)絡　133
4．1　進入深度學習之前的準備　133
4．2　訓練過程中的問題　138
4．2．1　梯度消失問題　138
4．2．2　過擬合問題　141
4．3　訓練的高效化　142
4．3．1　激活函數(shù)　143
4．3．1．1　雙曲正切函數(shù)　143
4．3．1．2　ReLU　145
4．3．1．3　Leaky ReLU　147
4．3．1．4　Parametric ReLU　149
4．3．2　Dropout　152
4．4　代碼的設計　157
4．4．1　基本設計　157
4．4．1．1　使用TensorFlow的實現(xiàn)　157
4．4．1．2　使用Keras的實現(xiàn)　160
4．4．1．3　拓展對TensorFlow模型進行類封裝　161
4．4．2　訓練的可視化　166
4．4．2．1　使用TensorFlow的實現(xiàn)　167
4．4．2．2　使用Keras的實現(xiàn)　172
4．5　高級技術　176
4．5．1　數(shù)據(jù)的正則化與權重的初始化　176
4．5．2　學習率的設置　179
4．5．2．1　動量　179
4．5．2．2　Nesterov動量　180
4．5．2．3　Adagrad　181
4．5．2．4　Adadelta　182
4．5．2．5　RMSprop　184
4．5．2．6　Adam　185
4．5．3　早停法　187
4．5．4　Batch Normalization　190
4．6　小結　195
第5章　循環(huán)神經(jīng)網(wǎng)絡　197
5．1　基本概念　197
5．1．1　時間序列數(shù)據(jù)　197
5．1．2　過去的隱藏層　199
5．1．3　基于時間的反向傳播算法　202
5．1．4　實現(xiàn)　204
5．1．4．1　準備時間序列數(shù)據(jù)　205
5．1．4．2　使用TensorFlow的實現(xiàn)　207
5．1．4．3　使用Keras的實現(xiàn)　214
5．2　LSTM　215
5．2．1　LSTM 塊　215
5．2．2　CEC、輸入門和輸出門　217
5．2．2．1　穩(wěn)態(tài)誤差　217
5．2．2．2　輸入權重沖突和輸出權重沖突　219
5．2．3　遺忘門　220
5．2．4　窺視孔連接　222
5．2．5　模型化　223
5．2．6　實現(xiàn)　227
5．2．7　長期依賴信息的訓練評估——Adding Problem　229
5．3　GRU　232
5．3．1　模型化　232
5．3．2　實現(xiàn)　233
5．4　小結　235
第6章　循環(huán)神經(jīng)網(wǎng)絡的應用　237
6．1　雙向循環(huán)神經(jīng)網(wǎng)絡　237
6．1．1　未來的隱藏層　237
6．1．2　前向、后向傳播　239
6．1．3　MNIST的預測　241
6．1．3．1　轉換為時間序列數(shù)據(jù)　241
6．1．3．2　使用TensorFlow的實現(xiàn)　242
6．1．3．3　使用Keras的實現(xiàn)　245
6．2　循環(huán)神經(jīng)網(wǎng)絡編碼器- 解碼器　246
6．2．1　序列到序列模型　246
6．2．2　簡單的問答系統(tǒng)　247
6．2．2．1　設置問題——加法的訓練　247
6．2．2．2　數(shù)據(jù)的準備　248
6．2．2．3　使用TensorFlow的實現(xiàn)　251
6．2．2．4　使用Keras的實現(xiàn)　260
6．3　注意力模型　261
6．3．1　時間的權重　261
6．3．2　LSTM中的注意力機制　263
6．4　記憶網(wǎng)絡　265
6．4．1　記憶外部化　265
6．4．2　應用于問答系統(tǒng)　266
6．4．2．1　bAbi任務　266
6．4．2．2　模型化　267
6．4．3　實現(xiàn)　269
6．4．3．1　數(shù)據(jù)的準備　269
6．4．3．2　使用TensorFlow的實現(xiàn)　272
6．5　小結　276
附錄　279
A．1　模型的保存和讀取　279
A．1．1　使用TensorFlow時的處理　279
A．1．2　使用Keras時的處理　284
A．2　TensorBoard　285
A．3　tf．contrib．learn　292