Spark大數(shù)據(jù)技術與應用

第 1章　Spark概述　1
任務1.1　認識Spark　1
1.1.1　Spark的發(fā)展　1
1.1.2　Spark的特點　2
1.1.3　Spark生態(tài)圈　4
1.1.4　Spark的應用場景　5
任務1.2　搭建Spark環(huán)境　5
1.2.1　搭建單機版環(huán)境　6
1.2.2　搭建單機偽分布式環(huán)境　6
1.2.3　搭建完全分布式環(huán)境　7
任務1.3　了解Spark運行架構與原理　10
1.3.1　Spark集群架構　11
1.3.2　Spark作業(yè)運行流程　11
1.3.3　Spark核心數(shù)據(jù)集RDD　15
1.3.4　Spark核心原理　17
小結　19
第 2章　Scala基礎　20
任務2.1　Scala的簡介與安裝　21
2.1.1　Scala簡介　21
2.1.2　Scala特性　21
2.1.3　Scala的環(huán)境設置及安裝　21
2.1.4　運行Scala　23
任務2.2　定義函數(shù)識別號碼類型　24
2.2.1　數(shù)據(jù)類型　24
2.2.2　常量和變量　25
2.2.3　表達式　26
2.2.4　數(shù)組　27
2.2.5　函數(shù)　29
2.2.6　任務實現(xiàn)　31
任務2.3　統(tǒng)計廣州號碼段數(shù)量　32
2.3.1　if判斷　32
2.3.2　循環(huán)　33
2.3.3　任務實現(xiàn)　34
任務2.4　根據(jù)歸屬地對手機號碼段分組　34
2.4.1　List　35
2.4.2　Set　36
2.4.3　Map　37
2.4.4　元組　38
2.4.5　函數(shù)組合器　38
2.4.6　任務實現(xiàn)　39
任務2.5　編寫手機號碼歸屬地信息查詢程序　40
2.5.1　Scala類　40
2.5.2　Scala object　42
2.5.3　Scala模式匹配　42
2.5.4　Scala讀取文件　44
2.5.5　任務實現(xiàn)　44
小結　45
實訓　45
實訓1　編寫函數(shù)過濾文本中的回文單詞　45
實訓2　使用Scala編程輸出楊輝三角　46
課后習題　46
第3章　Spark編程　48
任務3.1　以學生成績數(shù)據(jù)創(chuàng)建RDD　49
3.1.1　從內(nèi)存中已有數(shù)據(jù)創(chuàng)建RDD　50
3.1.2　從外部存儲創(chuàng)建RDD　51
3.1.3　任務實現(xiàn)　52
任務3.2　查詢學生成績表中的前5名　52
3.2.1　使用map轉換數(shù)據(jù)　52
3.2.2　使用sortBy()排序　53
3.2.3　使用collect()查詢　53
3.2.4　使用flatMap轉換數(shù)據(jù)　54
3.2.5　使用take()方式查詢某幾個值　54
3.2.6　任務實現(xiàn)　55
任務3.3　輸出單科成績?yōu)?00分的學生ID　55
3.3.1　使用union()合并多個RDD　56
3.3.2　使用filter()進行過濾　56
3.3.3　使用distinct()進行去重　56
3.3.4　簡單的集合操作　57
3.3.5　任務實現(xiàn)　58
任務3.4　輸出每位學生所有科目的總成績　58
3.4.1　鍵值對RDD簡介　59
3.4.2　創(chuàng)建鍵值對RDD　59
3.4.3　轉換操作keys與values　59
3.4.4　轉換操作reduceByKey()　60
3.4.5　轉換操作groupByKey()　60
3.4.6　任務實現(xiàn)　60
任務3.5　輸出每位學生的平均成績　61
3.5.1　使用join()連接兩個RDD　61
3.5.2　使用zip組合兩個RDD　63
3.5.3　使用combineByKey合并相同鍵的值　63
3.5.4　使用lookup查找指 定鍵的值　64
3.5.5　任務實現(xiàn)　64
任務3.6　將匯總后的學生成績存儲為文本文件　65
3.6.1　JSON文件的讀取與存儲　65
3.6.2　CSV文件的讀取與存儲　67
3.6.3　SquenceFile的讀取與存儲　69
3.6.4　文本文件的讀取與存儲　70
3.6.5　任務實現(xiàn)　71
小結　72
實訓　72
實訓1　統(tǒng)計文本中性別為“男”的用戶數(shù)　73
實訓2　單詞計數(shù)　73
課后習題　74
第4章　Spark編程進階　76
任務4.1　搭建開發(fā)環(huán)境　77
4.1.1　下載與安裝IntelliJ IDEA　77
4.1.2　Scala插件安裝與使用　79
4.1.3　配置Spark運行環(huán)境　84
4.1.4　運行Spark程序　85
任務4.2　使用移動平均預測股票漲跌　92
4.2.1　持久化（緩存）　93
4.2.2　數(shù)據(jù)分區(qū)　94
4.2.3　計算價格波動幅度　98
4.2.4　任務實現(xiàn)　100
小結　103
實訓　103
實訓　競賽網(wǎng)站訪問日志分析　104
課后習題　104
第5章　Spark SQL：結構化數(shù)據(jù)文件處理　107
任務5.1　認識Spark SQL　108
5.1.1　Spark SQL簡介　108
5.1.2　Spark SQL CLI配置　109
5.1.3　Spark SQL與Shell交互　110
任務5.2　掌握DataFrame基礎操作　111
5.2.1　創(chuàng)建DataFrame對象　111
5.2.2　DataFrame查看數(shù)據(jù)　114
5.2.3　DataFrame查詢操作　117
5.2.4　DataFrame輸出操作　123
任務5.3　探索分析法律服務網(wǎng)站數(shù)據(jù)　125
5.3.1　獲取數(shù)據(jù)　125
5.3.2　網(wǎng)頁類型分析　126
5.3.3　點擊次數(shù)分析　131
5.3.4　網(wǎng)頁排名分析　133
小結　135
實訓　135
實訓1　統(tǒng)計分析航空公司客戶數(shù)據(jù)的空值以及異常值　135
實訓2　統(tǒng)計分析某公司每年的產(chǎn)品銷售量及銷售額　137
課后習題　139
第6章　Spark Streaming：實時計算框架　141
任務6.1　初探Spark Streaming　142
6.1.1　Spark Streaming概述　142
6.1.2　Spark Streaming運行原理　142
6.1.3　初步使用Spark Streaming　143
任務6.2　掌握DStream編程模型　145
6.2.1　DStream簡介　146
6.2.2　DStream轉換操作　146
6.2.3　DStream窗口操作　148
6.2.4　DStream輸出操作　151
任務6.3　Spark Streaming實時更新熱門博文　155
6.3.1　Spark Streaming輸入數(shù)據(jù)源　155
6.3.2　Spark Streaming計算網(wǎng)頁熱度　158
6.3.3　網(wǎng)頁熱度輸出　158
6.3.4　任務實現(xiàn)　159
小結　161
實訓　161
實訓1　過濾打印包含單詞error的記錄　162
實訓2　實時過濾歌曲播放次數(shù)超過100次的記錄并存儲在HDFS上　162
課后習題　162
第7章　Spark GraphX：圖計算框架　165
任務7.1　認識Spark GraphX　166
7.1.1　圖的基本概念　166
7.1.2　圖計算的應用　167
7.1.3　GraphX的基礎概念　168
7.1.4　GraphX的發(fā)展　168
任務7.2　了解GraphX常用API　169
7.2.1　圖的創(chuàng)建與存儲　169
7.2.2　數(shù)據(jù)查詢與數(shù)據(jù)轉換　174
7.2.3　結構轉換與關聯(lián)聚合　180
任務7.3　構建信任網(wǎng)絡并找出目標用戶　187
7.3.1　構建網(wǎng)站信任網(wǎng)絡　188
7.3.2　找出需要支付稿酬的用戶　188
7.3.3　找出進入熱門榜的用戶　189
小結　191
實訓　191
實訓1　使用PageRank算法完成網(wǎng)頁排名　191
實訓2　利用二度關系完成商品推薦　192
課后習題　194
第8章　Spark MLlib：功能強大的算法庫　196
任務8.1　了解MLlib算法庫　197
8.1.1　機器學習簡介　197
8.1.2　MLlib介紹　198
任務8.2　以Logistic回歸實現(xiàn)用戶分類　212
8.2.1　分析思路　212
8.2.2　數(shù)據(jù)處理　213
8.2.3　MLlib實現(xiàn)Logistic回歸　215
8.2.4　任務實現(xiàn)　217
小結　221
實訓　221
實訓1　通過KMeans定位商圈　221
實訓2　樸素貝葉斯進行文本分類　222
課后習題　223
第9章　項目案例：餐飲平臺菜品智能推薦　226
任務9.1　推薦方案設計　227
9.1.1　用戶數(shù)據(jù)分析　227
9.1.2　常用推薦算法　229
9.1.3　推薦流程設計　231
任務9.2　數(shù)據(jù)預處理　232
9.2.1　原始數(shù)據(jù)探索分析　233
9.2.2　異常數(shù)據(jù)處理　237
9.2.3　數(shù)據(jù)變換處理　237
9.2.4　數(shù)據(jù)集分割　239
任務9.3　建立推薦模型　240
9.3.1　以基于用戶的協(xié)同過濾算法建?！?40
9.3.2　以基于物品的協(xié)同過濾算法建?！?43
9.3.3　以基于Spark ALS的協(xié)同過濾算法建立模型　246
9.3.4　推薦模型的評測　251
任務9.4　使用模型進行菜品推薦　262
9.4.1　對某用戶推薦10道新菜品　262
9.4.2　對所有用戶進行新菜品推薦　267