Spark大數(shù)據(jù)分析技術(shù)與實(shí)戰(zhàn)

第1章 Spark導(dǎo)論\t1
1．1 Spark的發(fā)展\t2
1．2 什么是Spark\t3
1．3 Spark主要特征\t3
1．3．1 快速\t3
1．3．2 簡(jiǎn)潔易用\t5
1．3．3 通用\t6
1．3．4 多種運(yùn)行模式\t8
第2章 Spark集群部署\t9
2．1 運(yùn)行環(huán)境說明\t9
2．1．1 軟硬件環(huán)境\t9
2．1．2 集群網(wǎng)絡(luò)環(huán)境\t10
2．2 安裝VMware Workstation 11\t10
2．3 安裝CentOS 6\t16
2．4 安裝Hadoop\t21
2．4．1 克隆并啟動(dòng)虛擬機(jī)\t21
2．4．2 網(wǎng)絡(luò)基本配置\t24
2．4．3 安裝JDK\t27
2．4．4 免密鑰登錄配置\t28
2．4．5 Hadoop配置\t29
2．4．6 配置從節(jié)點(diǎn)\t33
2．4．7 配置系統(tǒng)文件\t33
2．4．8 啟動(dòng)Hadoop集群\t33
2．5 安裝Scala\t35
2．6 安裝Spark\t36
2．6．1 下載并解壓Spark安裝包\t36
2．6．2 配置Spark-env．sh\t37
2．6．3 配置Spark-defaults．conf\t37
2．6．4 配置Slaves\t38
2．6．5 配置環(huán)境變量\t38
2．6．6 發(fā)送至Slave1、Slave2\t39
2．7 啟動(dòng)Spark\t39
第3章 RDD編程\t42
3．1 RDD定義\t42
3．2 RDD的特性\t43
3．2．1 分區(qū)\t43
3．2．2 依賴\t44
3．2．3 計(jì)算\t45
3．2．4 分區(qū)函數(shù)\t45
3．2．5 優(yōu)先位置\t46
3．3 創(chuàng)建操作\t46
3．3．1 基于集合的創(chuàng)建操作\t47
3．3．2 基于外部存儲(chǔ)的創(chuàng)建操作\t47
3．4 常見執(zhí)行操作\t49
3．5 常見轉(zhuǎn)換操作\t49
3．5．1 一元轉(zhuǎn)換操作\t50
3．5．2 二元轉(zhuǎn)換操作\t53
3．6 持久化操作\t56
3．7 存儲(chǔ)操作\t58
第4章 Spark調(diào)度管理與應(yīng)用程序開發(fā)\t59
4．1 Spark調(diào)度管理基本概念\t59
4．2 作業(yè)調(diào)度流程\t60
4．2．1 作業(yè)的生成與提交\t61
4．2．2 階段的劃分\t62
4．2．3 調(diào)度階段的提交\t62
4．2．4 任務(wù)的提交與執(zhí)行\(zhòng)t62
4．3 基于IntelliJ IDEA構(gòu)建Spark應(yīng)用程序\t64
4．3．1 安裝IntelliJ IDEA\t64
4．3．2 創(chuàng)建Spark應(yīng)用程序\t70
4．3．3 集群模式運(yùn)行Spark應(yīng)用程序\t81
第5章 GraphX\t87
5．1 GraphX概述\t87
5．2 GraphX基本原理\t89
5．2．1 圖計(jì)算模型處理流程\t89
5．2．2 GraphX定義\t90
5．2．3 GraphX的特點(diǎn)\t90
5．3 GraphX設(shè)計(jì)與實(shí)現(xiàn)\t91
5．3．1 彈性分布式屬性圖\t91
5．3．2 圖的數(shù)據(jù)模型\t92
5．3．3 圖的存儲(chǔ)模型\t94
5．3．4 GraphX模型框架\t97
5．4 GraphX操作\t97
5．4．1 創(chuàng)建圖\t97
5．4．2 基本屬性操作\t100
5．4．3 結(jié)構(gòu)操作\t102
5．4．4 轉(zhuǎn)換操作\t103
5．4．5 連接操作\t105
5．4．6 聚合操作\t106
5．5 GraphX案例解析\t107
5．5．1 PageRank算法與案例解析\t107
5．5．2 Triangle Count算法與案例解析\t110
第6章 Spark SQL\t113
6．1 Spark SQL概述\t113
6．2 Spark SQL邏輯架構(gòu)\t116
6．2．1 SQL執(zhí)行流程\t116
6．2．2 Catalyst\t117
6．3 Spark SQL CLI\t117
6．3．1 硬軟件環(huán)境\t117
6．3．2 集群環(huán)境\t118
6．3．3 結(jié)合Hive\t118
6．3．4 啟動(dòng)Hive\t118
6．4 DataFrame編程模型\t119
6．4．1 DataFrame簡(jiǎn)介\t119
6．4．2 創(chuàng)建DataFrames\t120
6．4．3 保存DataFrames\t126
6．5 DataFrame常見操作\t127
6．5．1 數(shù)據(jù)展示\t127
6．5．2 常用列操作\t128
6．5．3 過濾\t131
6．5．4 排序\t132
6．5．5 其他常見操作\t134
6．6 基于Hive的學(xué)生信息管理系統(tǒng)的SQL查詢案例與解析\t137
6．6．1 Spark SQL整合Hive\t137
6．6．2 構(gòu)建數(shù)據(jù)倉庫\t138
6．6．3 加載數(shù)據(jù)\t141
6．6．4 查詢數(shù)據(jù)\t142
第7章 Spark Streaming\t146
7．1 Spark Streaming概述\t146
7．2 Spark Streaming基礎(chǔ)概念\t147
7．2．1 批處理時(shí)間間隔\t147
7．2．2 窗口時(shí)間間隔\t148
7．2．3 滑動(dòng)時(shí)間間隔\t148
7．3 DStream基本概念\t149
7．4 DStream的基本操作\t150
7．4．1 無狀態(tài)轉(zhuǎn)換操作\t150
7．4．2 有狀態(tài)轉(zhuǎn)換操作\t152
7．4．3 輸出操作\t153
7．4．4 持久化操作\t154
7．5 數(shù)據(jù)源\t154
7．5．1 基礎(chǔ)數(shù)據(jù)源\t154
7．5．2 高級(jí)數(shù)據(jù)源\t155
7．6 Spark Streaming編程模式與案例分析\t156
7．6．1 Spark Streaming編程模式\t156
7．6．2 文本文件數(shù)據(jù)處理案例（一）\t157
7．6．3 文本文件數(shù)據(jù)處理案例（二）\t160
7．6．4 網(wǎng)絡(luò)數(shù)據(jù)處理案例（一）\t164
7．6．5 網(wǎng)絡(luò)數(shù)據(jù)處理案例（二）\t171
7．6．6 stateful應(yīng)用案例\t175
7．6．7 window應(yīng)用案例\t180
7．7 性能考量\t185
7．7．1 運(yùn)行時(shí)間優(yōu)化\t185
7．7．2 內(nèi)存使用與垃圾回收\t186
第8章 Spark MLlib\t187
8．1 Spark MLlib概述\t187
8．1．1 機(jī)器學(xué)習(xí)介紹\t187
8．1．2 Spark MLlib簡(jiǎn)介\t189
8．2 MLlib向量與矩陣\t190
8．2．1 MLlib向量\t190
8．2．2 MLlib矩陣\t192
8．3 Spark MLlib分類算法\t196
8．3．1 貝葉斯分類算法\t197
8．3．2 支持向量機(jī)算法\t201
8．3．3 決策樹算法\t204
8．4 MLlib線性回歸算法\t208
8．5 MLlib聚類算法\t212
8．6 MLlib協(xié)同過濾\t215