深度學習入門與實踐

第1章 機器學習概述與線性回歸模型
1.1 機器學習基本概念
1.2 神經(jīng)元模型
1.3 線性回歸
1.4 線性回歸的實現(xiàn)
1.5 模型的測試
1.6 Adagrad算法
1.7 高次模型
第2章 基于概率的分類模型
2.1 分類基本概念
2.2 回歸模型用于分類問題
2.3 分類問題的建模
2.4 先驗概率的估算
2.5 解決分類問題
2.6 模型優(yōu)化
2.7 基于概率的分類模型總結
2.8 后驗概率
第3章 邏輯回歸
3.1 邏輯回歸的三個步驟
3.2 邏輯回歸和線性回歸的比較
3.3 判別模型和生成模型
3.4 多類別分類
3.5 邏輯回歸的局限性
第4章 深度學習概述
4.1 深度學習的應用及發(fā)展歷程
4.2 深度學習基本概念
4.3 全連接前饋神經(jīng)網(wǎng)絡
4.4 手寫體數(shù)字識別實例
4.4.1 模型構建
4.4.2 實現(xiàn)MNIST數(shù)字識別
4.4.3 總結與思考
第5章 反向傳播
5.1 鏈式求導
5.2 反向傳播的推導
5.3 反向傳播的Python實現(xiàn)
5.3.1 實現(xiàn)誤差反向傳播算法的兩層神經(jīng)網(wǎng)絡
5.3.2 誤差反向傳播的梯度確認
5.3.3 使用誤差反向傳播法的學習
第6章 PyTorch編程案例
6.1 基于PyTorch的神經(jīng)網(wǎng)絡實現(xiàn)
6.2 訓練參數(shù)分析
6.3 模型的保存和加載
6.4 模型的評估
第7章 深度學習訓練技巧
7.1 深度學習訓練中存在的問題
7.2 訓練階段問題以及應對技巧
7.2.1 梯度消失問題
7.2.2 更換激活函數(shù)
7.2.3 設置自適應的學習率
7.3 測試階段問題的應對技巧
7.3.1 早停
7.3.2 正則化
7.3.3 Dmpout
第8章 卷積神經(jīng)網(wǎng)絡
8.1 CNN設計準則
8.1.1 局部性準則
8.1.2 參數(shù)共享準則
8.1.3 子采樣準則
8.2 CNN的整體架構
8.3 CNN的卷積層
8.3.1 卷積運算概述
8.3.2 卷積層和全連接層的比較
8.4 池化層
8.5 卷積之后的全連接層
第9章 深層網(wǎng)絡的意義
9.1 神經(jīng)網(wǎng)絡的層數(shù)
9.2 深度學習的模塊化思想
9.3 模塊化實例——語音
9.4 模塊化與萬有逼近定理
9.5 端到端學習
9.6 采用深度學習的更多理由
第10章 詞嵌入模型
10.1 獨熱編碼與單詞聚類
10.2 詞嵌人模型、單詞語義、上下文
10.3 兩種詞嵌入模型
10.4 詞嵌入模型的訓練和變種
10.5 詞嵌入模型的性質
10.6 詞嵌入模型的應用
第11章 循環(huán)神經(jīng)網(wǎng)絡
11.1 填槽技術給DNN帶來的挑戰(zhàn)
11.2 RNN初探
11.3 RNN的變種
11.4 長短期記憶網(wǎng)絡單元
11.5 LSTM與DNN以及RNN的關聯(lián)
11.6 RNN的訓練
11.7 RNN的應用
參考文獻