深度學習與MindSpore實踐

序言一（徐直軍-華為輪值董事長）
序言二（樊文飛-中國科學院外籍院士）
前言
第1章引言00
1.1人工智能的歷史變遷00
1.2什么是深度學習00
1.3深度學習的現(xiàn)實應(yīng)用00
1.3.1自動語音識別00
1.3.2圖像識別00
1.3.3自然語言處理00
1.3.4其他領(lǐng)域00
1.4本書的組織架構(gòu)00
1.5MindSpore簡介00
1.5.1編程簡單00
1.5.2端云協(xié)同0
1.5.3調(diào)試輕松0
1.5.4性能卓越0
1.5.5開源開放0
第2章深度學習基礎(chǔ)知識0
2.1回歸問題算法0
2.2梯度下降算法0
2.3分類問題算法0
2.4過擬合與欠擬合0
第3章深度神經(jīng)網(wǎng)絡(luò)0
3.1前向網(wǎng)絡(luò)0
3.2反向傳播0
3.3泛化能力0
3.4用MindSpore實現(xiàn)簡單神經(jīng)網(wǎng)絡(luò)0
3.4.1各層參數(shù)說明0
3.4.2詳細步驟0

目錄
第4章深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練0
4.1深度學習系統(tǒng)面臨的主要挑戰(zhàn)0
4.1.1大數(shù)據(jù)集需求0
4.1.2硬件需求0
4.1.3過擬合0
4.1.4超參數(shù)優(yōu)化0
4.1.5不透明性0
4.1.6缺少靈活性0
4.2正則化0
4.2.1L2范數(shù)正則化0
4.2.2L1范數(shù)正則化0
4.3Dropout0
4.4自適應(yīng)學習率0
4.4.1AdaGrad0
4.4.2RMSProp0
4.4.3Adam0
4.5批標準化0
4.6用MindSpore 實現(xiàn)深度神經(jīng)網(wǎng)絡(luò)0
4.6.1各層參數(shù)說明0
4.6.2詳細步驟0
第5章卷積神經(jīng)網(wǎng)絡(luò)0
5.1卷積操作0
5.2池化0
5.3殘差網(wǎng)絡(luò)0
5.4應(yīng)用：圖片分類0
5.5用MindSpore實現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)圖片分類0
5.5.1加載MindSpore模塊0
5.5.2定義ResNet網(wǎng)絡(luò)結(jié)構(gòu)0
5.5.3設(shè)置超參數(shù)0
5.5.4導(dǎo)入數(shù)據(jù)集0
5.5.5訓(xùn)練模型0
第6章循環(huán)神經(jīng)網(wǎng)絡(luò)0
6.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述0
6.2深度循環(huán)神經(jīng)網(wǎng)絡(luò)0
6.3長期依賴的挑戰(zhàn)0
6.4長短期記憶網(wǎng)絡(luò)和門控循環(huán)神經(jīng)網(wǎng)絡(luò)0
6.4.1長短期記憶網(wǎng)絡(luò)0
6.4.2門控循環(huán)神經(jīng)網(wǎng)絡(luò)0
6.5應(yīng)用：文本預(yù)測0
6.6用MindSpore實現(xiàn)基于長短期記憶網(wǎng)絡(luò)的文本預(yù)測0
6.6.1加載MindSpore模塊0
6.6.2數(shù)據(jù)準備0
6.6.3定義網(wǎng)絡(luò)0
6.6.4參數(shù)介紹0
6.6.5訓(xùn)練模型0
參考文獻0
第7章無監(jiān)督學習： 詞向量0
7.1Word2Vec0
7.1.1提出背景0
7.1.2發(fā)展現(xiàn)狀0
7.1.3技術(shù)原理0
7.1.4技術(shù)難點0
7.1.5應(yīng)用場景0
7.1.6框架模塊0
7.2GloVe0
7.2.1提出背景0
7.2.2發(fā)展現(xiàn)狀0
7.2.3技術(shù)原理0
7.2.4技術(shù)難點0
7.2.5應(yīng)用場景
7.2.6框架模塊
7.3Transformer
7.3.1提出背景
7.3.2發(fā)展現(xiàn)狀
7.3.3技術(shù)原理
7.3.4技術(shù)難點
7.3.5應(yīng)用場景
7.3.6框架模塊
7.4BERT
7.4.1提出背景
7.4.2發(fā)展現(xiàn)狀
7.4.3技術(shù)原理
7.4.4技術(shù)難點
7.4.5應(yīng)用場景
7.4.6框架模塊
7.5詞向量典型生成算法對比
7.6應(yīng)用：自動問答
7.6.1自動問答的相關(guān)概念
7.6.2傳統(tǒng)的自動問答方法
7.6.3基于深度學習的自動問答方法
7.7用MindSpore 實現(xiàn)基于BERT的自動問答
7.7.1數(shù)據(jù)集準備
7.7.2訓(xùn)練BERT網(wǎng)絡(luò)
參考文獻
第8章無監(jiān)督學習： 圖向量
8.1圖向量簡介
8.2DeepWalk算法
8.2.1DeepWalk算法原理
8.2.2DeepWalk算法實現(xiàn)
8.3LINE算法
8.3.1LINE算法原理
8.3.2LINE算法實現(xiàn)
8.4Node2Vec算法
8.4.1Node2Vec算法原理
8.4.2Node2Vec算法實現(xiàn)
8.5GCN算法
8.5.1GCN算法原理
8.5.2GCN算法實現(xiàn)
8.6GAT算法
8.6.1GAT算法原理
8.6.2GAT算法實現(xiàn)
8.7應(yīng)用：推薦系統(tǒng)
8.7.1工業(yè)界中的推薦系統(tǒng)
8.7.2推薦系統(tǒng)中的圖神經(jīng)網(wǎng)絡(luò)模型
參考文獻
第9章無監(jiān)督學習： 深度生成模型
9.1變分自編碼器
9.1.1提出背景
9.1.2發(fā)展現(xiàn)狀
9.1.3技術(shù)原理
9.1.4技術(shù)難點
9.1.5應(yīng)用場景
9.2生成對抗網(wǎng)絡(luò)
9.2.1提出背景
9.2.2發(fā)展現(xiàn)狀
9.2.3技術(shù)原理
9.2.4技術(shù)難點
9.2.5應(yīng)用場景
9.2.6框架模塊
9.3應(yīng)用：數(shù)據(jù)增強
9.3.1數(shù)據(jù)增強的定義
9.3.2數(shù)據(jù)增強的目的
9.3.3傳統(tǒng)數(shù)據(jù)增強的方法
9.3.4基于深度學習的數(shù)據(jù)增強方法
9.4用MindSpore實現(xiàn)基于生成對抗網(wǎng)絡(luò)的數(shù)據(jù)增強
參考文獻
第10章深度強化學習
10.1強化學習基本概念
10.1.1基礎(chǔ)概念與理論
10.1.2馬爾可夫決策過程
10.1.3貝爾曼方程
10.2基本求解方法
10.2.1動態(tài)規(guī)劃法
10.2.2蒙特卡羅法
10.2.3時間差分法
10.3深度強化學習算法
10.3.1DQN算法
10.3.2DDPG算法
10.3.3A3C算法
10.4最新應(yīng)用
10.4.1推薦系統(tǒng)
10.4.2博弈游戲
10.5用MindSpore實現(xiàn)基于DQN的博弈游戲
參考文獻
第11章自動化機器學習
11.1AutoML框架
11.1.1NAS算法
11.1.2超參調(diào)優(yōu)
11.2現(xiàn)有AutoML系統(tǒng)介紹
11.2.1AutoWeka/AutoSklearn/HyperOpt
11.2.2Microsoft NNI
11.3元學習
11.3.1學習優(yōu)化器
11.3.2學習參數(shù)初始化
11.3.3學習損失函數(shù)
11.3.4學習度量
11.4用MindSpore實現(xiàn)AutoML
參考文獻
第12章端云協(xié)同
12.1端側(cè)推理
12.2端云遷移學習
12.3端云聯(lián)邦學習
12.3.1聯(lián)邦平均
12.3.2梯度壓縮
12.4端云協(xié)同框架
參考文獻
第13章深度學習可視化
13.1深度學習可視化概述
13.1.1數(shù)據(jù)分析
13.1.2模型建立與理解
13.1.3訓(xùn)練
13.1.4評估
13.2MindSpore可視化實踐
13.2.1可視化流程
13.2.2數(shù)據(jù)集可視化
13.2.3模型與訓(xùn)練可視化
13.2.4Summary匯總數(shù)據(jù)格式
參考文獻
第14章深度學習的數(shù)據(jù)準備
14.1數(shù)據(jù)格式概述
14.2深度學習中的數(shù)據(jù)格式
14.2.1原始輸入
14.2.2標注信息
14.3常用的深度學習數(shù)據(jù)格式
14.3.1TFRecord格式
14.3.2LMDB存儲
14.3.3Rec格式
14.3.4MindSpore數(shù)據(jù)格式
14.3.5MindSpore數(shù)據(jù)集
14.4使用MindSpore數(shù)據(jù)格式進行訓(xùn)練數(shù)據(jù)準備
14.4.1MindSpore數(shù)據(jù)格式生成
14.4.2MindSpore數(shù)據(jù)格式統(tǒng)計與檢索
14.4.3MindSpore數(shù)據(jù)格式訓(xùn)練數(shù)據(jù)讀取
附錄A中、英文對照詞匯表
附錄BMindSpore白皮書
參考文獻