深度學(xué)習(xí)入門：基于PyTorch和TensorFlow的理論與實(shí)現(xiàn)

第1章 深度學(xué)習(xí)基礎(chǔ)
1．1 深度學(xué)習(xí)概述
1．1．1 什么是深度學(xué)習(xí)
1．1．2 深度學(xué)習(xí)的應(yīng)用場景
1．1．3 深度學(xué)習(xí)的發(fā)展動(dòng)力
1．1．4 深度學(xué)習(xí)的未來
1．2 Python入門
1．2．1 Python簡介
1．2．2 Python的安裝
1．2．3 Python基礎(chǔ)知識(shí)
1．2．4 NumPy矩陣運(yùn)算
1．2．5 Matplotlib繪圖
1．3 Anaconda與Jupyter Notebook
1．3．1 Anaconda
1．3．2 Jupyter Notebook
第2章 PyTorch
2．1 PyTorch概述
2．1．1 什么是PyTorch
2．1．2 為什么使用PyTorch
2．2 PyTorch的安裝
2．3 張量
2．3．1 張量的創(chuàng)建
2．3．2 張量的數(shù)學(xué)運(yùn)算
2．3．3 張量與NumPy數(shù)組
2．3．4 CUDA張量
2．4 自動(dòng)求導(dǎo)
2．4．1 返回值是標(biāo)量
2．4．2 返回值是張量
2．4．3 禁止自動(dòng)求導(dǎo)
2．5 torch．nn和torch．optim
2．5．1 torch．nn
2．5．2 torch．optim
2．6 線性回歸
2．6．1 線性回歸的基本原理
2．6．2 線性回歸的PyTorch實(shí)現(xiàn)
第3章 TensorFlow
3．1 TensorFlow概述
3．1．1 什么是TensorFlow
3．1．2 為什么使用TensorFlow
3．2 TensorFlow的安裝
3．3 張量
3．3．1 張量的創(chuàng)建
3．3．2 張量的數(shù)學(xué)運(yùn)算
3．4 數(shù)據(jù)流圖
3．5 會(huì)話
3．6 線性回歸的TensorFlow實(shí)現(xiàn)
3．7 TensorBoard
3．7．1 TensorBoard代碼
3．7．2 TensorBoard顯示
第4章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)
4．1 感知機(jī)
4．1．1 感知機(jī)模型
4．1．2 感知機(jī)與邏輯電路
4．2 多層感知機(jī)
4．2．1 感知機(jī)的局限性
4．2．2 多層感知機(jī)實(shí)現(xiàn)異或門邏輯
4．3 邏輯回歸
4．3．1 基本原理
4．3．2 損失函數(shù)
4．3．3 梯度下降算法
4．3．4 邏輯回歸的Python實(shí)現(xiàn)
第5章 神經(jīng)網(wǎng)絡(luò)
5．1 基本結(jié)構(gòu)
5．2 前向傳播
5．3 激活函數(shù)
5．4 反向傳播
5．5 更新參數(shù)
5．6 初始化
5．7 神經(jīng)網(wǎng)絡(luò)的Python實(shí)現(xiàn)
5．7．1 準(zhǔn)備數(shù)據(jù)
5．7．2 參數(shù)初始化
5．7．3 前向傳播
5．7．4 交叉熵?fù)p失
5．7．5 反向傳播
5．7．6 更新參數(shù)
5．7．7 構(gòu)建整個(gè)神經(jīng)網(wǎng)絡(luò)模型
5．7．8 訓(xùn)練
5．7．9 預(yù)測
第6章 深層神經(jīng)網(wǎng)絡(luò)
6．1 深層神經(jīng)網(wǎng)絡(luò)的優(yōu)勢
6．2 符號(hào)標(biāo)記
6．3 前向傳播與反向傳播
6．4 多分類函數(shù)Softmax
6．4．1 Softmax函數(shù)的基本原理
6．4．2 Softmax損失函數(shù)
6．4．3 對(duì)Softmax函數(shù)求導(dǎo)
6．5 深層神經(jīng)網(wǎng)絡(luò)的Python實(shí)現(xiàn)
6．5．1 準(zhǔn)備數(shù)據(jù)
6．5．2 參數(shù)初始化
6．5．3 前向傳播
6．5．4 交叉熵?fù)p失
6．5．5 反向傳播
6．5．6 更新參數(shù)
6．5．7 構(gòu)建整個(gè)神經(jīng)網(wǎng)絡(luò)
6．5．8 訓(xùn)練與預(yù)測
第7章 優(yōu)化神經(jīng)網(wǎng)絡(luò)
7．1 正則化
7．1．1 什么是過擬合
7．1．2 L2正則化和L1正則化
7．1．3 Dropout正則化
7．1．4 其他正則化技巧
7．2 梯度優(yōu)化
7．2．1 批量梯度下降、隨機(jī)梯度下降和小批量梯度下降
7．2．2 動(dòng)量梯度下降算法
7．2．3 牛頓動(dòng)量
7．2．4 AdaGrad
7．2．5 RMSprop
7．2．6 Adam
7．2．7 學(xué)習(xí)率衰減
7．3 網(wǎng)絡(luò)初始化與超參數(shù)調(diào)試
7．3．1 輸入標(biāo)準(zhǔn)化
7．3．2 權(quán)重參數(shù)初始化
7．3．3 批歸一化
7．3．4 超參數(shù)調(diào)試
7．4 模型評(píng)估與調(diào)試
7．4．1 模型評(píng)估
7．4．2 訓(xùn)練集、驗(yàn)證集和測試集
7．4．3 偏差與方差
7．4．4 錯(cuò)誤分析
第8章 卷積神經(jīng)網(wǎng)絡(luò)
8．1 為什么選擇卷積神經(jīng)網(wǎng)絡(luò)
8．2 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)
8．3 卷積層
8．3．1 卷積
8．3．2 邊緣檢測
8．3．3 填充
8．3．4 步幅
8．3．5 卷積神經(jīng)網(wǎng)絡(luò)卷積
8．3．6 卷積層的作用
8．4 池化層
8．5 全連接層
8．6 卷積神經(jīng)網(wǎng)絡(luò)模型
8．7 典型的卷積神經(jīng)網(wǎng)絡(luò)模型
8．7．1 LeNet-
8．7．2 AlexNet
8．8 卷積神經(jīng)網(wǎng)絡(luò)模型的PyTorch實(shí)現(xiàn)
8．8．1 準(zhǔn)備數(shù)據(jù)
8．8．2 定義卷積神經(jīng)網(wǎng)絡(luò)模型
8．8．3 損失函數(shù)與梯度優(yōu)化
8．8．4 訓(xùn)練模型
8．8．5 測試模型
8．9 卷積神經(jīng)網(wǎng)絡(luò)模型的TensorFlow實(shí)現(xiàn)
8．9．1 準(zhǔn)備數(shù)據(jù)
8．9．2 定義卷積神經(jīng)網(wǎng)絡(luò)模型
8．9．3 損失函數(shù)與優(yōu)化算法
8．9．4 訓(xùn)練并測試
第9章 循環(huán)神經(jīng)網(wǎng)絡(luò)
9．1 為什么選擇循環(huán)神經(jīng)網(wǎng)絡(luò)
9．2 循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)
9．3 模型參數(shù)
9．4 梯度消失
9．5 GRU
9．6 LSTM
9．7 多種循環(huán)神經(jīng)網(wǎng)絡(luò)模型
9．8 循環(huán)神經(jīng)網(wǎng)絡(luò)模型的PyTorch實(shí)現(xiàn)
9．8．1 準(zhǔn)備數(shù)據(jù)
9．8．2 定義循環(huán)神經(jīng)網(wǎng)絡(luò)模型
9．8．3 損失函數(shù)與梯度優(yōu)化
9．8．4 訓(xùn)練模型
9．8．5 測試模型
9．9 循環(huán)神經(jīng)網(wǎng)絡(luò)模型的TensorFlow實(shí)現(xiàn)
9．9．1 準(zhǔn)備數(shù)據(jù)
9．9．2 定義循環(huán)神經(jīng)網(wǎng)絡(luò)模型
9．9．3 損失函數(shù)與優(yōu)化算法
9．9．4 訓(xùn)練并測試
后記
參考文獻(xiàn)