TensorFlow：實戰(zhàn)Google深度學(xué)習(xí)框架

第1章 深度學(xué)習(xí)簡介 1 1.1 人工智能、機器學(xué)習(xí)與深度學(xué)習(xí) 2 1.2 深度學(xué)習(xí)的發(fā)展歷程 7 1.3 深度學(xué)習(xí)的應(yīng)用 10 1.3.1 計算機視覺 10 1.3.2 語音識別 14 1.3.3 自然語言處理 15 1.3.4 人機博弈 18 1.4 深度學(xué)習(xí)工具介紹和對比 19 小結(jié) 23 第2章 TensorFlow環(huán)境搭建 25 2.1 TensorFlow的主要依賴包 25 2.1.1 Protocol Buffer 25 2.1.2 Bazel 27 2.2 TensorFlow安裝 29 2.2.1 使用Docker安裝 30 2.2.2 使用pip安裝 32 2.2.3 從源代碼編譯安裝 33 2.3 TensorFlow測試樣例 37 小結(jié) 38 第3章 TensorFlow入門 40 3.1 TensorFlow計算模型——計算圖 40 3.1.1 計算圖的概念 40 3.1.2 計算圖的使用 41 3.2 TensorFlow數(shù)據(jù)模型——張量 43 3.2.1 張量的概念 43 3.2.2 張量的使用 45 3.3 TensorFlow運行模型——會話 46 3.4 TensorFlow實現(xiàn)神經(jīng)網(wǎng)絡(luò) 48 3.4.1 TensorFlow游樂場及神經(jīng)網(wǎng)絡(luò)簡介 48 3.4.2 前向傳播算法簡介 51 3.4.3 神經(jīng)網(wǎng)絡(luò)參數(shù)與TensorFlow變量 54 3.4.4 通過TensorFlow訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型 58 3.4.5 完整神經(jīng)網(wǎng)絡(luò)樣例程序 62 小結(jié) 65 第4章 深層神經(jīng)網(wǎng)絡(luò) 66 4.1 深度學(xué)習(xí)與深層神經(jīng)網(wǎng)絡(luò) 66 4.1.1 線性模型的局限性 67 4.1.2 激活函數(shù)實現(xiàn)去線性化 70 4.1.3 多層網(wǎng)絡(luò)解決異或運算 73 4.2 損失函數(shù)定義 74 4.2.1 經(jīng)典損失函數(shù) 75 4.2.2 自定義損失函數(shù) 79 4.3 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 81 4.4 神經(jīng)網(wǎng)絡(luò)進(jìn)一步優(yōu)化 84 4.4.1 學(xué)習(xí)率的設(shè)置 85 4.4.2 過擬合問題 87 4.4.3 滑動平均模型 90 小結(jié) 92 第5章 MNIST數(shù)字識別問題 94 5.1 MNIST數(shù)據(jù)處理 94 5.2 神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練及不同模型結(jié)果對比 97 5.2.1 TensorFlow訓(xùn)練神經(jīng)網(wǎng)絡(luò) 97 5.2.2 使用驗證數(shù)據(jù)集判斷模型效果 102 5.2.3 不同模型效果比較 103 5.3 變量管理 107 5.4 TensorFlow模型持久化 112 5.4.1 持久化代碼實現(xiàn) 112 5.4.2 持久化原理及數(shù)據(jù)格式 117 5.5 TensorFlow最佳實踐樣例程序 126 小結(jié) 132 第6章 圖像識別與卷積神經(jīng)網(wǎng)絡(luò) 134 6.1 圖像識別問題簡介及經(jīng)典數(shù)據(jù)集 135 6.2 卷積神經(jīng)網(wǎng)絡(luò)簡介 139 6.3 卷積神經(jīng)網(wǎng)絡(luò)常用結(jié)構(gòu) 142 6.3.1 卷積層 142 6.3.2 池化層 147 6.4 經(jīng)典卷積網(wǎng)絡(luò)模型 149 6.4.1 LeNet-5模型 150 6.4.2 Inception-v3模型 156 6.5 卷積神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí) 160 6.5.1 遷移學(xué)習(xí)介紹 160 6.5.2 TensorFlow實現(xiàn)遷移學(xué)習(xí) 161 小結(jié) 169 第7章 圖像數(shù)據(jù)處理 170 7.1 TFRecord輸入數(shù)據(jù)格式 170 7.1.1 TFRecord格式介紹 171 7.1.2 TFRecord樣例程序 171 7.2 圖像數(shù)據(jù)處理 173 7.2.1 TensorFlow圖像處理函數(shù) 174 7.2.2 圖像預(yù)處理完整樣例 183 7.3 多線程輸入數(shù)據(jù)處理框架 185 7.3.1 隊列與多線程 186 7.3.2 輸入文件隊列 190 7.3.3 組合訓(xùn)練數(shù)據(jù)（batching） 193 7.3.4 輸入數(shù)據(jù)處理框架 196 小結(jié) 198 第8章 循環(huán)神經(jīng)網(wǎng)絡(luò) 200 8.1 循環(huán)神經(jīng)網(wǎng)絡(luò)簡介 200 8.2 長短時記憶網(wǎng)絡(luò)（LTSM）結(jié)構(gòu) 206 8.3 循環(huán)神經(jīng)網(wǎng)絡(luò)的變種 212 8.3.1 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)和深層循環(huán)神經(jīng)網(wǎng)絡(luò) 212 8.3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)的dropout 214 8.4 循環(huán)神經(jīng)網(wǎng)絡(luò)樣例應(yīng)用 215 8.4.1 自然語言建模 216 8.4.2 時間序列預(yù)測 225 小結(jié) 230 第9章 TensorBoard可視化 232 9.1 TensorBoard簡介 232 9.2 TensorFlow計算圖可視化 234 9.2.1 命名空間與TensorBoard圖上節(jié)點 234 9.2.2 節(jié)點信息 241 9.3 監(jiān)控指標(biāo)可視化 246 小結(jié) 252 第10章 TensorFlow計算加速 253 10.1 TensorFlow使用GPU 253 10.2 深度學(xué)習(xí)訓(xùn)練并行模式 258 10.3 多GPU并行 261 10.4 分布式TensorFlow 268 10.4.1 分布式TensorFlow原理 269 10.4.2 分布式TensorFlow模型訓(xùn)練 272 10.4.3 使用Caicloud運行分布式TensorFlow 282 小結(jié) 287