深度學(xué)習(xí)

01 緒論
1．1　機(jī)器學(xué)習(xí)與深度學(xué)習(xí)　2
1．2　機(jī)器學(xué)習(xí)方法類型　3
1．3　機(jī)器學(xué)習(xí)常見算法　4
1．4　深度學(xué)習(xí)的前世今生　6
1．5　深度學(xué)習(xí)的應(yīng)用　8
1．6　深度學(xué)習(xí)開源工具簡介　10
1．6．1　TensorFlow　10
1．6．2　PyTorch　10
1．6．3　CNTK　10
1．6．4　Keras　11
1．6．5　MXNet　11
1．6．6　Caffe　11
1．6．7　OpenAI Gym　11
1．7　本書主要學(xué)習(xí)內(nèi)容　12
1．8　本章小結(jié)　13
1．9　習(xí)題　13
02　神經(jīng)網(wǎng)絡(luò)與深度神經(jīng)網(wǎng)絡(luò)
2．1　神經(jīng)元與感知器　16
2．1．1　生物神經(jīng)元與神經(jīng)元模型　16
2．1．2　感知器　18
2．2　反向傳播算法　19
2．2．1　前饋計(jì)算　19
2．2．2　反向傳播　20
2．3　神經(jīng)網(wǎng)絡(luò)的連接　23
2．3．1　前饋神經(jīng)網(wǎng)絡(luò)　23
2．3．2　反饋神經(jīng)網(wǎng)絡(luò)　24
2．3．3　全局逼近網(wǎng)絡(luò)和局部逼近網(wǎng)絡(luò)　24
2．3．4　自組織特征映射網(wǎng)絡(luò)　25
2．3．5　自適應(yīng)共振理論ART模型　25
2．4　深度神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)　26
2．5　常用的函數(shù)模型　28
2．5．1　激活函數(shù)　28
2．5．2　損失函數(shù)　30
2．6　本章小結(jié)　32
2．7　習(xí)題　32
03　卷積神經(jīng)網(wǎng)絡(luò)
3．1　大腦視覺皮層的信息分層處理機(jī)制　34
3．2　感受野與權(quán)值共享　35
3．3　卷積神經(jīng)網(wǎng)絡(luò)的層級結(jié)構(gòu)和組成　37
3．3．1　卷積層　37
3．3．2　池化層　38
3．3．3　全連接層　38
3．4　卷積神經(jīng)網(wǎng)絡(luò)算法　39
3．4．1　算法的訓(xùn)練　39
3．4．2　LeNet-5模型　40
3．5　網(wǎng)絡(luò)的卷積層設(shè)計(jì)　41
3．5．1　跨步卷積（Stride Convolution）　42
3．5．2　零填充（Zero Padding）　43
3．5．3　非共享卷積（Unshared Convolution）　44
3．5．4　平鋪卷積（Tiled Convolution）　44
3．6　CNN的經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)　45
3．6．1　AlexNet　45
3．6．2　VGGNet　46
3．6．3　GoogLeNet　46
3．6．4　ResNet　48
3．6．5　DenseNet　48
3．7　CNN用于人臉表情分類　49
3．7．1　圖像的預(yù)處理　49
3．7．2　用于分類的CNN網(wǎng)絡(luò)設(shè)計(jì)　50
3．7．3　實(shí)驗(yàn)結(jié)果　51
3．8　本章小結(jié)　52
3．9　習(xí)題　52
04　循環(huán)神經(jīng)網(wǎng)絡(luò)
4．1　循環(huán)神經(jīng)網(wǎng)絡(luò)　54
4．1．1　循環(huán)神經(jīng)元展開　54
4．1．2　隨時(shí)間反向傳播算法　57
4．1．3　梯度消失和梯度爆炸　61
4．2　長短期記憶網(wǎng)絡(luò)　61
4．2．1　輸入門、遺忘門和輸出門　62
4．2．2　LSTM模型　62
4．2．3　LSTM的計(jì)算　64
4．3　循環(huán)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)　65
4．3．1　雙向循環(huán)網(wǎng)絡(luò)　66
4．3．2　深度循環(huán)神經(jīng)網(wǎng)絡(luò)　66
4．3．3　LSTM的變體　67
4．4　循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用　69
4．5　基于RNN的語言模型　69
4．6　本章小結(jié)　72
4．7　習(xí)題　72
05　目標(biāo)檢測
5．1　基于候選區(qū)域的目標(biāo)檢測算法　74
5．1．1　R-CNN算法　75
5．1．2　SPP-NET算法　75
5．1．3　Fast R-CNN算法　76
5．1．4　Faster R-CNN算法　77
5．1．5　Mask R-CNN算法　78
5．2　基于回歸預(yù)測的目標(biāo)檢測算法　79
5．2．1　SSD算法　79
5．2．2　YOLO算法　80
5．2．3　YOLOv2算法　82
5．2．4　YOLOv3算法　84
5．3　目標(biāo)檢測算法發(fā)展趨勢　85
5．4　人體行為檢測　86
5．4．1　網(wǎng)絡(luò)超參數(shù)的選擇　86
5．4．2　模型的訓(xùn)練　87
5．4．3　模型測試　89
5．5　本章小結(jié)　91
5．6　習(xí)題　91
06　圖像描述
6．1　圖像描述方法　94
6．1．1　模板方法與檢索方法　94
6．1．2　編碼 解碼結(jié)構(gòu)方法　95
6．2　編碼 解碼圖像描述　96
6．2．1　編碼 解碼結(jié)構(gòu)原理　96
6．2．2　編碼 解碼結(jié)構(gòu)的圖像描述模型　97
6．3　注意力機(jī)制圖像描述方法　98
6．3．1　注意力機(jī)制原理　98
6．3．2　注意力機(jī)制在圖像描述中的應(yīng)用　100
6．4　圖像描述示例　103
6．4．1　圖像描述的數(shù)據(jù)集　103
6．4．2　生成圖像描述　104
6．4．3　圖像描述代碼解析　106
6．5　圖像描述應(yīng)用前景　110
6．5．1　圖像檢索　110
6．5．2　人機(jī)交互　110
6．5．3　智能監(jiān)控　111
6．6　本章小結(jié)　111
6．7　習(xí)題　111
07　生成對抗網(wǎng)絡(luò)
7．1　生成式模型　114
7．1．1　一個(gè)極具挑戰(zhàn)的機(jī)器學(xué)習(xí)問題　114
7．1．2　生成式模型分類　115
7．2　生成對抗網(wǎng)絡(luò)基本原理　115
7．2．1　GAN的思想與基本形式　115
7．2．2　GAN的優(yōu)勢與問題　116
7．3　生成式對抗網(wǎng)絡(luò)的設(shè)計(jì)　117
7．3．1　條件生成式對抗網(wǎng)絡(luò)　117
7．3．2　拉普拉斯金字塔生成式對抗網(wǎng)絡(luò)　118
7．3．3　深度卷積生成式對抗網(wǎng)絡(luò)　120
7．3．4　Wasserstein GAN　121
7．4　GAN的應(yīng)用　122
7．4．1　計(jì)算機(jī)視覺領(lǐng)域　122
7．4．2　語言和語音領(lǐng)域　124
7．4．3　半監(jiān)督領(lǐng)域　125
7．5　基于DCGAN的手寫數(shù)字生成實(shí)例　125
7．6　本章小結(jié)　128
7．7　習(xí)題　128
08　深度遷移學(xué)習(xí)
8．1　遷移學(xué)習(xí)　130
8．1．1　遷移學(xué)習(xí)的分類　130
8．1．2　遷移學(xué)習(xí)的形式化定義　131
8．1．3　度量準(zhǔn)則—距離和相似度　131
8．2　深度網(wǎng)絡(luò)的可遷移性　132
8．3　深度網(wǎng)絡(luò)的適配　134
8．3．1　核心思想—數(shù)據(jù)分布自適應(yīng)　134
8．3．2　DDC方法　134
8．3．3　DAN方法　135
8．4　遷移學(xué)習(xí)的應(yīng)用　136
8．5　VGG遷移—識別花朵類型　137
8．6　本章小結(jié)　140
8．7　習(xí)題　140
09　深度強(qiáng)化學(xué)習(xí)
9．1　強(qiáng)化學(xué)習(xí)　142
9．1．1　獎(jiǎng)勵(lì)驅(qū)動(dòng)行為思想　142
9．1．2　強(qiáng)化學(xué)習(xí)的基本框架　142
9．1．3　強(qiáng)化學(xué)習(xí)算法　143
9．2　深度強(qiáng)化學(xué)習(xí)的突破與問題　144
9．3　DRL算法—深度Q網(wǎng)絡(luò)　146
9．4　深度Q網(wǎng)絡(luò)的變體　148
9．4．1　深度雙Ｑ網(wǎng)絡(luò)　148
9．4．2　深度循環(huán)Q網(wǎng)絡(luò)　148
9．4．3　基于優(yōu)先級回放的深度Q網(wǎng)絡(luò)　149
9．4．4　異步多步深度Q網(wǎng)絡(luò)　150
9．4．5　彩虹深度Q網(wǎng)絡(luò)　150
9．5　深度強(qiáng)化學(xué)習(xí)的應(yīng)用　151
9．5．1　機(jī)器人控制　151
9．5．2　計(jì)算機(jī)視覺　152
9．5．3　自然語言處理　152
9．5．4　博弈論領(lǐng)域　153
9．6　本章小結(jié)　153
9．7　習(xí)題　153
附錄1　CNN用于人臉表情分類　155
附錄2　基于DCGAN的手寫數(shù)字生成實(shí)例　159
附錄3　VGG遷移—識別花朵類型　165
附錄4　深度學(xué)習(xí)資源　171
參考文獻(xiàn)　175