Hadoop+Spark+Python大數(shù)據(jù)處理從算法到實(shí)戰(zhàn)

定　價(jià)：￥99.00

作　者：	朱春旭著
出版社：	北京大學(xué)出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購(gòu)買(mǎi)這本書(shū)可以去

ISBN：	9787301321447	出版時(shí)間：	2021-06-01	包裝：	平裝
開(kāi)本：	16開(kāi)	頁(yè)數(shù)：	448	字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　本書(shū)圍繞新基建的云計(jì)算、大數(shù)據(jù)及人工智能進(jìn)行介紹，分為以下五個(gè)部分。部分介紹大數(shù)據(jù)的概念與特點(diǎn)，以及典型的產(chǎn)業(yè)應(yīng)用場(chǎng)景；第二部分介紹目前云計(jì)算中的一個(gè)重要的研究與應(yīng)用領(lǐng)域—容器云，包含應(yīng)用容器引擎Docker與容器編排工具Kubernetes；第三部分是大數(shù)據(jù)分析的基礎(chǔ)，也是大數(shù)據(jù)分析技術(shù)的重點(diǎn)，包含Hadoop、HBase、Hive、Spark的環(huán)境搭建及開(kāi)發(fā)流程；第四部分是機(jī)器學(xué)習(xí)相關(guān)算法的應(yīng)用，包含scikit-learn、SparkML、TensorFlow工具的使用；第五部分，以實(shí)例介紹如何使用Spark機(jī)器學(xué)習(xí)庫(kù)中的協(xié)同過(guò)濾算法，來(lái)實(shí)現(xiàn)一個(gè)基于Web的推薦系，以及介紹如何使用OpenCV與TensorFlow構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)基于Web的人臉識(shí)別。本書(shū)輕理論，重實(shí)踐，適合有一定編程基礎(chǔ)，且對(duì)云計(jì)算、大數(shù)據(jù)、機(jī)器學(xué)習(xí)、人工智能感興趣，希望投身到新基建這一偉大事業(yè)的讀者學(xué)習(xí)。同時(shí)，本書(shū)還可作為廣大院校相關(guān)專(zhuān)業(yè)的教材和培訓(xùn)參考用書(shū)。

作者簡(jiǎn)介

　　朱春旭，高級(jí)軟件工程師，長(zhǎng)期為軟件開(kāi)發(fā)公司、政府機(jī)構(gòu)培訓(xùn)大數(shù)據(jù)開(kāi)發(fā)與應(yīng)用課程，提供大數(shù)據(jù)技術(shù)咨詢(xún)與問(wèn)題解決方案，對(duì)Python、大數(shù)據(jù)分析相關(guān)領(lǐng)域有深入研究。著有《Python編程完全自學(xué)教程》《Python數(shù)據(jù)分析與大數(shù)據(jù)處理從入門(mén)到精通》，培訓(xùn)學(xué)員10000 。

圖書(shū)目錄

第1篇入門(mén)篇
第 1 章初識(shí)大數(shù)據(jù) 002
1.2 如何處理與分析大數(shù)據(jù) 004
1.3 大數(shù)據(jù)的產(chǎn)業(yè)應(yīng)用 008
第2篇準(zhǔn)備篇
第 2 章萬(wàn)丈高樓平地起，使用 Docker 作地基 011
2.1 初識(shí) Docker 011
2.2 搭建 Docker 運(yùn)行環(huán)境 016
2.3 Docker 操作鏡像 029
2.4 Docker 操作容器 036
2.5 Docker 私有倉(cāng)庫(kù) 045
2.6 Docker Compose 編排容器046
2.7 Portainer 可視化工具 053
2.8 實(shí)訓(xùn)：構(gòu)建 Nginx 鏡像并創(chuàng)建容器 055
第 3 章　團(tuán)隊(duì)合作好，使用 Kubernetes 來(lái)協(xié)調(diào) 057
3.1 初識(shí) Kubernetes057
3.2 搭建集群 063
3.4 Kubernetes Dashboard 管理工具 079
3.5 實(shí)訓(xùn)：在集群中部署 Nginx 服務(wù)器集群 084
第3篇技法篇
第 4 章　筑高樓，需利器，使用 Hadoop 做核心 088
4.1 Hadoop 簡(jiǎn)介 088
4.2 HDFS 分布式文件系統(tǒng) 092
4.3 任務(wù)調(diào)度與資源管理器 YARN 097
4.4 MapReduce 分布式計(jì)算框架104
4.5 Hadoop 環(huán)境搭建 113
4.6 Hadoop 常用操作命令 127
4.7 實(shí)訓(xùn)：在容器中部署 Hadoop集群 130
第 5 章　空間要靈活，使用 HBase 來(lái)管理 136
5.1 初識(shí) HBase 136
5.2 HBase 環(huán)境搭建144
5.3 HBase Shell 操作 152
5.4 HBase Thrift 編程接口 160
5.5 Region 的拆分與合并 162
5.6 實(shí)訓(xùn)：構(gòu)建訂單管理表 165
第 6 章　數(shù)據(jù)需要規(guī)劃，使用 Hive 建倉(cāng)庫(kù)169
6.1 初識(shí) Hive 169
6.2 Hive 環(huán)境搭建 171
6.3 Hive 數(shù)據(jù)庫(kù)與表 176
6.4 表的類(lèi)型 183
6.5　分桶查詢(xún)與排序 188
6.6 Sqoop 數(shù)據(jù)的導(dǎo)入導(dǎo)出 190
6.7 Hive Thrift 編程接口192
6.8　實(shí)訓(xùn)：構(gòu)建訂單分析數(shù)據(jù)倉(cāng)庫(kù) 193
第 7 章　處理要夠快，使用 Spark 196
7.1 Spark 概述 196
7.2 Spark 核心原理 199
7.3 Spark 環(huán)境搭建 202
7.4　提交 Spark 應(yīng)用 206
7.5　實(shí)訓(xùn)：在容器中部署 Spark集群 209
第 8 章　數(shù)據(jù)無(wú)結(jié)構(gòu)，使用 RDD 212
8.1 RDD 設(shè)計(jì)原理 212
8.2 RDD 編程 216
8.3　鍵值對(duì) RDD 224
8.4　讀寫(xiě)文件 230
8.5　集成 HBase 232
8.6　編程進(jìn)階 234
8.7　實(shí)訓(xùn)：分析商品銷(xiāo)售情況 240
第 9 章　數(shù)據(jù)有結(jié)構(gòu)，使用 SQL 語(yǔ)句 245
9.1 Spark SQL 概述 245
9.2　創(chuàng)建 DataFrame 對(duì)象 249
9.3 DataFrame 常用的 API 254
9.4　保存 DataFrame 262
9.5　實(shí)訓(xùn)：分析公司銷(xiāo)售業(yè)績(jī) 264
第 10 章　Spark 流式計(jì)算編程 268
10.1　流計(jì)算簡(jiǎn)介 268
10.2 Discretized Stream 271
10.3 Structured Streaming 278
10.4　實(shí)訓(xùn)：實(shí)時(shí)統(tǒng)計(jì)貸款金額 293
第4篇算法篇
第 11 章　發(fā)掘數(shù)據(jù)價(jià)值，使用機(jī)器學(xué)習(xí)技術(shù)297
11.1　什么是機(jī)器學(xué)習(xí) 297
11.2 scikit-learn 機(jī)器學(xué)習(xí)庫(kù)303
11.3 Spark 機(jī)器學(xué)習(xí)庫(kù) 308
11.4　實(shí)訓(xùn)：簡(jiǎn)單的情感分析 310
第 12 章　處理分類(lèi)問(wèn)題313
12.1　分類(lèi)問(wèn)題概述 313
12.2　決策樹(shù) .315
12.3　隨機(jī)森林 320
12.4 Logistic 回歸 325
12.5　支持向量機(jī) 329
12.6　貝葉斯 334
12.7　實(shí)訓(xùn)：判斷用戶(hù)是否購(gòu)買(mǎi)該商品 337
第 13 章　處理回歸問(wèn)題 340
13.1　回歸問(wèn)題概述 340
13.2　線性回歸與多項(xiàng)式回歸 342
13.3　決策樹(shù)回歸 347
13.4　實(shí)訓(xùn)：預(yù)測(cè)房?jī)r(jià) 352
第 14 章　處理聚類(lèi)問(wèn)題 355
14.1　聚類(lèi)問(wèn)題概述 355
14.2　基于劃分聚類(lèi) 356
14.3　基于模型聚類(lèi) 359
14.4　實(shí)訓(xùn)：對(duì)客戶(hù)進(jìn)行聚類(lèi) 363
第 15 章　關(guān)聯(lián)規(guī)則與協(xié)同過(guò)濾 365
15.1　關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘 365
15.2　協(xié)同過(guò)濾 368
15.3　實(shí)訓(xùn)：使用 Spark ALS 推薦菜單 371
第 16 章　建立智能應(yīng)用 374
16.1　構(gòu)建簡(jiǎn)單模型 374
16.2　自定義模型和自定義層 384
16.3　回調(diào) 386
16.4　保存與恢復(fù)模型 388
16.5　識(shí)別手寫(xiě)字 391
16.6　實(shí)訓(xùn)：貓狗識(shí)別 394
第5篇實(shí)戰(zhàn)篇
第 17 章　綜合實(shí)戰(zhàn)：猜你喜歡401
17.1　項(xiàng)目背景與解決方案介紹 401
17.2　數(shù)據(jù)庫(kù)設(shè)計(jì) 403
17.3　推薦模型 404
17.4　前端網(wǎng)站 406
第 18 章　綜合實(shí)戰(zhàn)：人臉識(shí)別416
18.1　項(xiàng)目背景與解決方案介紹 416
18.2　圖像采集 418
18.3　訓(xùn)練模型與識(shí)別人臉 422