TensorFlow深度學(xué)習(xí)及實(shí)踐

第1章人工智能簡介

1.1什么是人工智能

1.2AlphaGo的原理簡介

1.2.1MCTS算法

1.2.2AlphaGo的基本原理

1.3什么是深度學(xué)習(xí)

1.4深度學(xué)習(xí)的方法

1.5TensorFlow是什么

1.5.1TensorFlow的特點(diǎn)

1.5.2TensorFlow的使用公司和使用對(duì)象

1.5.3為什么Google要開源這個(gè)神器

1.6其他深度學(xué)習(xí)框架

1.7小結(jié)

1.8習(xí)題

第2章TensorFlow環(huán)境搭建

2.1安裝環(huán)境介紹

2.1.1CUDA簡介

2.1.2cuDNN簡介

2.1.3查看GPU信息

2.2安裝TensorFlow

2.2.1下載TensorFlow

2.2.2基于pip的安裝

2.2.3基于Java的安裝

2.2.4從源代碼安裝

2.3其他模塊

2.3.1numpy模塊

2.3.2matplotlib模塊

2.3.3jupyter模塊

2.3.4scikitimage模塊

2.3.5librosa模塊

2.3.6nltk模塊

2.3.7keras模塊

2.3.8tflearn模塊

2.4文本編輯器

2.4.1Geany

2.4.2Sublime Text

2.4.3IDLE

2.4.4PyCharm

2.5TensorFlow測試樣本

2.6小結(jié)

2.7習(xí)題

第3章TensorFlow可視化

3.1PlayGround

3.1.1數(shù)據(jù)

3.1.2特征

3.1.3隱藏層

3.1.4輸出

3.2TensorBoard

3.3TensorBoard代碼

3.4小結(jié)

3.5習(xí)題

第4章TensorFlow基礎(chǔ)知識(shí)

4.1張量

4.1.1張量的屬性

4.1.2張量的創(chuàng)建

4.1.3TensorFlow的交互式運(yùn)行

4.2數(shù)據(jù)流圖

4.3操作

4.4會(huì)話

4.5變量

4.5.1初始化

4.5.2形變

4.5.3數(shù)據(jù)類型與維度

4.5.4其他操作

4.5.5共享變量

4.6矩陣的創(chuàng)建與操作

4.7模型的保存與讀取

4.7.1保存模型

4.7.2載入模型

4.7.3從磁盤讀取信息

4.8批標(biāo)準(zhǔn)化

4.9使用GPU

4.9.1指定GPU設(shè)備

4.9.2指定GPU的顯存占用

4.10神經(jīng)元函數(shù)

4.10.1激活函數(shù)

4.10.2卷積函數(shù)

4.10.3分類函數(shù)

4.11優(yōu)化方法

4.12隊(duì)列與線程

4.12.1隊(duì)列

4.12.2隊(duì)列管理器

4.12.3線程和協(xié)調(diào)器

4.13讀取數(shù)據(jù)源

4.13.1placeholder填充數(shù)據(jù)

4.13.2文件讀入數(shù)據(jù)

4.13.3預(yù)先讀入內(nèi)存方式

4.14創(chuàng)建分類器

4.15小結(jié)

4.16習(xí)題

第5章TensorFlow聚類分析

5.1無監(jiān)督學(xué)習(xí)

5.2聚類的概念

5.3k均值聚類算法

5.3.1k均值聚類算法迭代判據(jù)

5.3.2k均值聚類算法的機(jī)制

5.3.3k均值聚類算法的優(yōu)缺點(diǎn)

5.3.4k均值聚類算法的實(shí)現(xiàn)

5.4k最近鄰算法

5.4.1實(shí)例分析

5.4.2k最近鄰算法概述

5.4.3模型和三要素

5.4.4kNN算法的不足

5.5k均值聚類算法的典型應(yīng)用

5.5.1實(shí)例： 對(duì)人工數(shù)據(jù)集使用k均值聚類算法

5.5.2實(shí)例： 對(duì)人工數(shù)據(jù)集使用k最近鄰算法

5.5.3實(shí)例： 對(duì)圖像識(shí)別使用k最近鄰算法

5.6小結(jié)

5.7習(xí)題

第6章TensorFlow回歸分析

6.1求逆矩陣

6.2矩陣分解

6.3實(shí)例： TensorFlow實(shí)現(xiàn)線性回歸算法

6.4選擇損失函數(shù)

6.4.1最小化損失函數(shù)

6.4.2實(shí)例： TensorFlow實(shí)現(xiàn)線性回歸損失函數(shù)

6.5TensorFlow的其他回歸算法

6.5.1戴明回歸算法

6.5.2嶺回歸與lasso回歸算法

6.5.3彈性網(wǎng)絡(luò)回歸算法

6.6邏輯回歸分析

6.6.1邏輯回歸

6.6.2損失函數(shù)

6.6.3實(shí)例： TensorFlow實(shí)現(xiàn)邏輯回歸算法

6.7小結(jié)

6.8習(xí)題

第7章TensorFlow支持向量機(jī)

7.1支持向量機(jī)簡介

7.1.1幾何間隔和函數(shù)間隔

7.1.2最大化間隔

7.1.3軟間隔

7.1.4SMO算法

7.1.5核函數(shù)

7.1.6實(shí)例： TensorFlow實(shí)現(xiàn)支持向量機(jī)

7.2非線性支持向量機(jī)

7.2.1風(fēng)險(xiǎn)最小化

7.2.2VC維

7.2.3結(jié)構(gòu)風(fēng)險(xiǎn)最小化

7.2.4松弛變量

7.2.5實(shí)例： TensorFlow實(shí)現(xiàn)非線性支持向量機(jī)

7.3實(shí)例： TensorFlow實(shí)現(xiàn)多類支持向量機(jī)

7.4小結(jié)

7.5習(xí)題

第8章深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)

8.1神經(jīng)元

8.1.1神經(jīng)元的結(jié)構(gòu)

8.1.2神經(jīng)元的功能

8.2簡單神經(jīng)網(wǎng)絡(luò)

8.3深度神經(jīng)網(wǎng)絡(luò)

8.4梯度下降

8.4.1批量梯度下降法

8.4.2隨機(jī)梯度下降法

8.4.3小批量梯度下降法

8.4.4實(shí)例： 梯度下降法

8.5前向傳播

8.5.1前向傳播算法數(shù)學(xué)原理

8.5.2DNN的前向傳播算法

8.6后向傳播

8.6.1求導(dǎo)鏈?zhǔn)椒▌t

8.6.2后向傳播算法思路

8.6.3后向傳播算法的計(jì)算過程

8.6.4實(shí)例： 實(shí)現(xiàn)一個(gè)簡單的二值分類算法

8.7優(yōu)化函數(shù)

8.7.1隨機(jī)梯度下降優(yōu)化法

8.7.2動(dòng)量優(yōu)化法

8.7.3Adagrad優(yōu)化法

8.7.4Adadelta優(yōu)化法

8.7.5Adam優(yōu)化法

8.8實(shí)例： TensorFlow實(shí)現(xiàn)簡單深度神經(jīng)網(wǎng)絡(luò)

8.9小結(jié)

8.10習(xí)題

第9章TensorFlow實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)

9.1卷積神經(jīng)網(wǎng)絡(luò)的概述

9.1.1什么是卷積神經(jīng)網(wǎng)絡(luò)

9.1.2為什么要用卷積神經(jīng)網(wǎng)絡(luò)

9.1.3卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

9.1.4實(shí)例： 簡單卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)

9.2卷積神經(jīng)網(wǎng)絡(luò)的函數(shù)

9.3AlexNet

9.4TensorFlow實(shí)現(xiàn)ResNet

9.4.1ResNet的基本原理

9.4.2實(shí)例： TensorFlow實(shí)現(xiàn)ResNet

9.5TesnorFlow卷積神經(jīng)網(wǎng)絡(luò)的典型應(yīng)用

9.6反卷積神經(jīng)網(wǎng)絡(luò)

9.6.1反卷積原理

9.6.2反卷積操作

9.6.3實(shí)例： TensorFlow實(shí)現(xiàn)反卷積

9.6.4反池化原理

9.6.5實(shí)例： TensorFlow實(shí)現(xiàn)反池化

9.6.6偏導(dǎo)計(jì)算

9.6.7梯度停止

9.7深度學(xué)習(xí)的訓(xùn)練技巧

9.7.1優(yōu)化卷積核技術(shù)

9.7.2多通道卷積技術(shù)

9.8小結(jié)

9.9習(xí)題

第10章TensorFlow實(shí)現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)

10.1循環(huán)神經(jīng)網(wǎng)絡(luò)的概述

10.1.1循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

10.1.2實(shí)例： 簡單循環(huán)神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)

10.2長短時(shí)記憶網(wǎng)絡(luò)

10.2.1LSTM的網(wǎng)絡(luò)結(jié)構(gòu)

10.2.2LSTM的前向計(jì)算

10.2.3實(shí)例： LSTM的實(shí)現(xiàn)

10.3自然語言建模

10.4實(shí)例： BiRNN實(shí)現(xiàn)語音識(shí)別

10.4.1語音識(shí)別背景

10.4.2獲取并整理樣本

10.4.3訓(xùn)練模型

10.5Seq2Seq任務(wù)

10.5.1Seq2Seq任務(wù)介紹

10.5.2EncoderDecoder框架

10.5.3實(shí)例： TensorFlow實(shí)現(xiàn)Seq2Seq翻譯

10.5.4實(shí)例： 比特幣市場的分析與預(yù)測

10.6小結(jié)

10.7習(xí)題

第11章TensorFlow實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)

11.1深度神經(jīng)網(wǎng)絡(luò)的起源

11.2模型介紹

11.2.1AlexNet模型

11.2.2VGG模型

11.2.3GoogleNet模型

11.2.4殘差網(wǎng)絡(luò)

11.2.5InceptionResNetv2結(jié)構(gòu)

11.2.6其他的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

11.3實(shí)例： VGG藝術(shù)風(fēng)格轉(zhuǎn)移

11.4生成式對(duì)抗網(wǎng)絡(luò)

11.4.1GAN的理論知識(shí)

11.4.2生成式模型的應(yīng)用

11.4.3discriminator和generator損失計(jì)算

11.4.4基于深度卷積的GAN

11.4.5指定類別生成模擬樣本的GAN

11.5實(shí)例： 構(gòu)建InfoGAN生成MNIST模擬數(shù)據(jù)

11.6小結(jié)

11.7習(xí)題

參考文獻(xiàn)