Keras深度學(xué)習(xí)實戰(zhàn)

第 1章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 1

1.1　感知機(jī)　2

　第 一個Keras代碼示例　3

1.2　多層感知機(jī)—第 一個神經(jīng)網(wǎng)絡(luò)的示例　3

1.2.1　感知機(jī)訓(xùn)練方案中的問題　4

1.2.2　激活函數(shù)—sigmoid　5

1.2.3　激活函數(shù)—ReLU　5

1.2.4　激活函數(shù)　6

1.3　實例—手寫數(shù)字識別　6

1.3.1　One-hot編碼—OHE　7

1.3.2　用Keras定義簡單神經(jīng)網(wǎng)絡(luò)　7

1.3.3　運(yùn)行一個簡單的Keras網(wǎng)絡(luò)并創(chuàng)建基線　10

1.3.4　用隱藏層改進(jìn)簡單網(wǎng)絡(luò)　11

1.3.5　用dropout進(jìn)一步改進(jìn)簡單網(wǎng)絡(luò)　14

1.3.6　Keras中的不同優(yōu)化器測試　16

1.3.7　增加訓(xùn)練輪數(shù)　20

1.3.8　控制優(yōu)化器的學(xué)習(xí)率　20

1.3.9　增加內(nèi)部隱藏神經(jīng)元的數(shù)量　21

1.3.10　增加批處理的大小　22

1.3.11　識別手寫數(shù)字的實驗總結(jié)　22

1.3.12　采用正則化方法避免過擬合　22

1.3.13　超參數(shù)調(diào)優(yōu)　24

1.3.14　輸出預(yù)測　24

1.4　一種實用的反向傳播概述　25

1.5　走向深度學(xué)習(xí)之路　26

1.6　小結(jié)　27

第　2章 Keras安裝和API　28

2.1　安裝Keras　28

2.1.1　第 1步—安裝依賴項　28

2.1.2　第 2步—安裝Theano　29

2.1.3　第3步—安裝TensorFlow　29

2.1.4　第4步—安裝Keras　30

2.1.5　第5步—測試Theano、TensorFlow和Keras　30

2.2　配置Keras　31

2.3　在Docker上安裝Keras　32

2.4　在谷歌Cloud ML上安裝Keras　34

2.5　在亞馬遜AWS上安裝Keras　36

2.6　在微軟Azure上安裝Keras　37

2.7　Keras API　39

2.7.1　從Keras架構(gòu)開始　40

2.7.2　預(yù)定義神經(jīng)網(wǎng)絡(luò)層概述　40

2.7.3　預(yù)定義激活函數(shù)概述　43

2.7.4　損失函數(shù)概述　44

2.7.5　評估函數(shù)概述　44

2.7.6　優(yōu)化器概述　44

2.7.7　一些有用的操作　44

2.7.8　保存和加載權(quán)重及模型結(jié)構(gòu)　45

2.8　自定義訓(xùn)練過程的回調(diào)函數(shù)　45

2.8.1　檢查點(diǎn)設(shè)置　45

2.8.2　使用TensorBoard　47

2.8.3　使用Quiver　47

2.9　小結(jié)　48

第3章　深度學(xué)習(xí)之卷積網(wǎng)絡(luò)　49

3.1　深度卷積神經(jīng)網(wǎng)絡(luò)—DCNN　50

3.1.1　局部感受野　50

3.1.2　共享權(quán)重和偏置　51

3.1.3　池化層　51

3.2　DCNN示例—LeNet　52

3.2.1　用Keras構(gòu)建LeNet代碼　53

3.2.2　深度學(xué)習(xí)的本領(lǐng)　59

3.3　用深度學(xué)習(xí)網(wǎng)絡(luò)識別CIFAR-10圖像　60

3.3.1　用深度學(xué)習(xí)網(wǎng)絡(luò)改進(jìn)CIFAR-10的性能　64

3.3.2　通過數(shù)據(jù)增加改善CIFAR-10的性能　66

3.3.3　用CIFAR-10進(jìn)行預(yù)測　68

3.4　用于大型圖片識別的極深度卷積網(wǎng)絡(luò)　69

3.4.1　用VGG-16網(wǎng)絡(luò)識別貓　71

3.4.2　使用Keras內(nèi)置的VGG-16網(wǎng)絡(luò)模塊　72

3.4.3　為特征提取回收內(nèi)置深度學(xué)習(xí)模型　73

3.4.4　用于遷移學(xué)習(xí)的極深inception-v3網(wǎng)絡(luò)　74

3.5　小結(jié)　76

第4章　生成對抗網(wǎng)絡(luò)和WaveNet　78

4.1　什么是生成對抗網(wǎng)絡(luò)　78

　生成對抗網(wǎng)絡(luò)的一些應(yīng)用　80

4.2　深度卷積生成對抗網(wǎng)絡(luò)　82

4.3　用Keras adversarial生成MNIST數(shù)據(jù)　85

4.4　用Keras adversarial生成CIFAR數(shù)據(jù)　91

4.5　WaveNet—一個學(xué)習(xí)如何產(chǎn)生音頻的生成模型　99

4.6　小結(jié)　108

第5章　詞嵌入　109

5.1　分布式表示　110

5.2　word2vec　110

5.2.1　skip-gram word2vec模型　111

5.2.2　CBOW word2vec模型　114

5.2.3　從模型中提取word2vec向量　116

5.2.4　使用word2vec的第三方實現(xiàn)　117

5.3　探索GloVe　121

5.4　使用預(yù)訓(xùn)練好的詞向量　122

5.4.1　從頭開始學(xué)習(xí)詞向量　123

5.4.2　從word2vec中微調(diào)訓(xùn)練好的詞向量　127

5.4.3　從GloVe中微調(diào)訓(xùn)練好的詞向量　131

5.4.4　查找詞向量　132

5.5　小結(jié)　136

第6章　循環(huán)神經(jīng)網(wǎng)絡(luò)—RNN　137

6.1　SimpleRNN單元　138

　用Keras實現(xiàn)SimpleRNN—生成文本　139

6.2　RNN拓?fù)浣Y(jié)構(gòu)　143

6.3　梯度消失和梯度爆炸　145

6.4　長短期記憶網(wǎng)絡(luò)—LSTM　146

　用Keras實現(xiàn)LSTM—情感分析　148

6.5　門控循環(huán)單元—GRU　153

　用Keras實現(xiàn)GRU—詞性標(biāo)注　154

6.6　雙向RNN　160

6.7　有狀態(tài)RNN　161

　用Keras實現(xiàn)有狀態(tài)LSTM—電量消費(fèi)預(yù)測　161

6.8　其他RNN變體　167

6.9　小結(jié)　167

第7章　其他深度學(xué)習(xí)模型　169

7.1　Keras函數(shù)API　170

7.2　回歸網(wǎng)絡(luò)　172

　Keras回歸示例—預(yù)測空氣中的苯含量　172

7.3　無監(jiān)督學(xué)習(xí)—自動編碼器　176

　Keras自動編碼器示例—句向量　178

7.4　構(gòu)造深度網(wǎng)絡(luò)　185

　Keras示例—問答記憶網(wǎng)絡(luò)　185

7.5　自定義Keras　192

7.5.1　Keras示例—使用lambda層　193

7.5.2　Keras示例—自定義歸一化層　193

7.6　生成模型　196

7.6.1　Keras示例—Deep Dreaming　197

7.6.2　Keras示例—風(fēng)格轉(zhuǎn)換　204

7.7　小結(jié)　208

第8章　游戲中的AI　210

8.1　強(qiáng)化學(xué)習(xí)　211

8.1.1　最大化未來獎賞　212

8.1.2　Q學(xué)習(xí)　212

8.1.3　深度Q網(wǎng)絡(luò)作為Q函數(shù)　213

8.1.4　探索和利用的平衡　214

8.1.5　經(jīng)驗回放，或經(jīng)驗值　215

8.2　示例—用Keras深度Q網(wǎng)絡(luò)實現(xiàn)捕捉游戲　215

8.3　未來之路　226

8.4　小結(jié)　228

第9章　結(jié)束語　229

9.1　Keras 2.0—新特性　230

9.1.1　安裝Keras 2.0　230

9.1.2　API的變化　231