深入淺出神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

前言
第　1章 使用神經(jīng)網(wǎng)絡(luò)識別手寫數(shù)字　1
1．1　感知機(jī)　2
1．2　sigmoid神經(jīng)元　7
1．3　神經(jīng)網(wǎng)絡(luò)的架構(gòu)　11
1．4　一個(gè)簡單的神經(jīng)網(wǎng)絡(luò)：分類手寫數(shù)字　13
1．5　利用梯度下降算法進(jìn)行學(xué)習(xí)　17
1．6　實(shí)現(xiàn)分類數(shù)字的神經(jīng)網(wǎng)絡(luò)　25
1．7　邁向深度學(xué)習(xí)　37
第　2章 反向傳播算法工作原理　41
2．1　熱身：使用矩陣快速計(jì)算輸出　41
2．2　關(guān)于代價(jià)函數(shù)的兩個(gè)假設(shè)　43
2．3　阿達(dá)馬積s⊙t　45
2．4　反向傳播的4個(gè)基本方程　45
2．5　基本方程的證明（選學(xué)）　50
2．6　反向傳播算法　51
2．7　反向傳播代碼　53
2．8　就何而言，反向傳播算快　55
2．9　反向傳播：全局觀　56
第3章　改進(jìn)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法　60
3．1　交叉熵代價(jià)函數(shù)　60
3．1．1　引入交叉熵代價(jià)函數(shù)　64
3．1．2　使用交叉熵來對MNIST數(shù)字進(jìn)行分類　71
3．1．3　交叉熵的含義與起源　72
3．1．4　softmax　74
3．2　過擬合和正則化　78
3．2．1　正則化　84
3．2．2　為何正則化有助于減輕過擬合　89
3．2．3　其他正則化技術(shù)　93
3．3　權(quán)重初始化　102
3．4　復(fù)探手寫識別問題：代碼　106
3．5　如何選擇神經(jīng)網(wǎng)絡(luò)的超參數(shù)　116
3．6　其他技術(shù)　126
3．6．1　隨機(jī)梯度下降算法的變化形式　126
3．6．2　其他人工神經(jīng)元模型　129
3．6．3　有關(guān)神經(jīng)網(wǎng)絡(luò)的故事　132
第4章　神經(jīng)網(wǎng)絡(luò)可以計(jì)算任何函數(shù)的可視化證明　134
4．1　兩個(gè)預(yù)先聲明　136
4．2　一個(gè)輸入和一個(gè)輸出的普遍性　137
4．3　多個(gè)輸入變量　146
4．4　不止sigmoid神經(jīng)元　154
4．5　修補(bǔ)階躍函數(shù)　156
4．6　小結(jié)　159
第5章　為何深度神經(jīng)網(wǎng)絡(luò)很難訓(xùn)練　160
5．1　梯度消失問題　163
5．2　梯度消失的原因　168
5．2．1　為何出現(xiàn)梯度消失　170
5．2．2　梯度爆炸問題　171
5．2．3　梯度不穩(wěn)定問題　172
5．2．4　梯度消失問題普遍存在　172
5．3　復(fù)雜神經(jīng)網(wǎng)絡(luò)中的梯度不穩(wěn)定　173
5．4　深度學(xué)習(xí)的其他障礙　174
第6章　深度學(xué)習(xí)　175
6．1　卷積神經(jīng)網(wǎng)絡(luò)入門　176
6．1．1　局部感受野　178
6．1．2　共享權(quán)重和偏置　180
6．1．3　池化層　182
6．2　卷積神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用　184
6．2．1　使用修正線性單元　188
6．2．2　擴(kuò)展訓(xùn)練數(shù)據(jù)　189
6．2．3　插入額外的全連接層　191
6．2．4　集成神經(jīng)網(wǎng)絡(luò)　192
6．3　卷積神經(jīng)網(wǎng)絡(luò)的代碼　195
6．4　圖像識別領(lǐng)域近期的進(jìn)展　208
6．4．1　2012年的LRMD論文　208
6．4．2　2012年的KSH論文　209
6．4．3　2014年的ILSVRC競賽　211
6．4．4　其他活動(dòng)　212
6．5　其他深度學(xué)習(xí)模型　214
6．5．1　循環(huán)神經(jīng)網(wǎng)絡(luò)　214
6．5．2　長短期記憶單元　216
6．5．3　深度信念網(wǎng)絡(luò)、生成模型和玻爾茲曼機(jī)　216
6．5．4　其他想法　217
6．6　神經(jīng)網(wǎng)絡(luò)的未來　217
6．6．1　意圖驅(qū)動(dòng)的用戶界面　217
6．6．2　機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)和創(chuàng)新的循環(huán)　218
6．6．3　神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的作用　218
6．6．4　神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)將主導(dǎo)人工智能　219
附錄　是否存在關(guān)于智能的簡單算法　222
版權(quán)聲明