Spark項目實戰(zhàn)

第1章項目概述1
1.1項目需求和目標1
1.2預備知識2
1.3項目架構(gòu)設(shè)計及技術(shù)選取2
1.4開發(fā)環(huán)境和開發(fā)工具介紹3
1.5項目開發(fā)流程4
1.6硬件要求5
1.7本章小結(jié)6
第2章搭建大數(shù)據(jù)集群環(huán)境7
2.1安裝準備7
2.1.1認識Linux操作系統(tǒng) 7
2.1.2創(chuàng)建虛擬機8
2.1.3啟動虛擬機并安裝Linux操作
系統(tǒng)14
2.1.4克隆虛擬機22
2.1.5配置Linux操作系統(tǒng)網(wǎng)絡(luò)及主
機名25
2.1.6SSH配置29
2.1.7配置時間同步36
2.2安裝JDK41
2.3ZooKeeper集群部署42
2.3.1ZooKeeper集群的安裝與配置…42
2.3.2ZooKeeper集群的啟動與關(guān)閉…44
2.4Hadoop集群部署46
2.4.1Hadoop高可用集群規(guī)劃46
2.4.2安裝Hadoop47
2.4.3Hadoop高可用集群配置48
2.4.4啟動Hadoop高可用集群55
2.5Spark集群部署60
2.5.1Spark集群部署模式60
2.5.2Spark集群安裝配置61
2.5.3Spark集群測試62
2.6HBase集群部署64
2.6.1HBase集群規(guī)劃64
2.6.2HBase集群安裝配置65
2.6.3啟動HBase集群67
2.7Kafka集群部署69
2.7.1Kafka集群的安裝與配置69
2.7.2啟動Kafka集群70
2.8本章小結(jié)72
第3章熱門品類Top10分析73
3.1數(shù)據(jù)集分析73
3.2實現(xiàn)思路分析74
3.3實現(xiàn)熱門品類Top1075
3.3.1創(chuàng)建項目75
3.3.2創(chuàng)建Spark連接并讀取數(shù)據(jù)集81
3.3.3獲取業(yè)務數(shù)據(jù)82
3.3.4統(tǒng)計品類的行為類型83
3.3.5過濾品類的行為類型83
3.3.6合并相同品類的行為類型85
3.3.7根據(jù)品類的行為類型進行排序85
3.3.8數(shù)據(jù)持久化87
3.4運行程序92
3.5本章小結(jié)97
第4章各區(qū)域熱門商品Top3分析98
4.1實現(xiàn)思路分析98
4.2實現(xiàn)各區(qū)域熱門商品Top399
4.2.1創(chuàng)建Spark連接并讀取數(shù)據(jù)集99
4.2.2獲取業(yè)務數(shù)據(jù)100
4.2.3過濾商品的行為類型100
4.2.4轉(zhuǎn)換數(shù)據(jù)格式101
4.2.5統(tǒng)計每個區(qū)域中的不同商品101
4.2.6根據(jù)區(qū)域進行分組102
4.2.7根據(jù)區(qū)域內(nèi)商品的查看次數(shù)進行排序102
4.2.8數(shù)據(jù)持久化103
4.3運行程序106
4.4本章小結(jié)108
目錄Spark項目實戰(zhàn)第5章網(wǎng)站轉(zhuǎn)化率統(tǒng)計109
5.1數(shù)據(jù)集分析109
5.2實現(xiàn)思路分析110
5.3實現(xiàn)網(wǎng)站轉(zhuǎn)化率統(tǒng)計111
5.3.1生成用戶瀏覽網(wǎng)頁數(shù)據(jù)111
5.3.2修改pom.xml文件112
5.3.3創(chuàng)建Spark連接并讀取數(shù)據(jù)集113
5.3.4統(tǒng)計每個頁面訪問次數(shù)114
5.3.5獲取每個用戶瀏覽網(wǎng)頁的順序114
5.3.6合并同一用戶瀏覽的網(wǎng)頁114
5.3.7統(tǒng)計每個單跳的次數(shù)115
5.3.8計算頁面單跳轉(zhuǎn)化率116
5.3.9數(shù)據(jù)持久化117
5.4運行程序118
5.5本章小結(jié)121
第6章廣告點擊流實時統(tǒng)計122
6.1數(shù)據(jù)集分析122
6.2實現(xiàn)思路分析123
6.3數(shù)據(jù)庫設(shè)計124
6.4實現(xiàn)廣告點擊流實時統(tǒng)計125
6.4.1修改pom.xml文件125
6.4.2生產(chǎn)用戶廣告點擊流數(shù)據(jù)125
6.4.3創(chuàng)建Spark Streaming連接128
6.4.4讀取用戶廣告點擊流數(shù)據(jù)129
6.4.5獲取業(yè)務數(shù)據(jù)129
6.4.6讀取黑名單用戶數(shù)據(jù)130
6.4.7過濾黑名單用戶131
6.4.8統(tǒng)計每個城市不同廣告的點擊次數(shù)132
6.4.9添加黑名單用戶133
6.4.10數(shù)據(jù)持久化134
6.5運行程序135
6.6本章小結(jié)137
第7章數(shù)據(jù)可視化138
7.1系統(tǒng)概述138
7.1.1技術(shù)選取138
7.1.2系統(tǒng)架構(gòu)139
7.2數(shù)據(jù)表設(shè)計與實現(xiàn)141
7.2.1數(shù)據(jù)表介紹141
7.2.2Phoenix集成HBase142
7.2.3建立Phoenix與HBase表映射143
7.3創(chuàng)建Spring Boot項目147
7.4實現(xiàn)熱門品類Top10數(shù)據(jù)可視化152
7.4.1創(chuàng)建實體類Top10Entity152
7.4.2創(chuàng)建數(shù)據(jù)庫訪問接口Top10Dao153
7.4.3創(chuàng)建控制器類Top10Controller153
7.4.4創(chuàng)建HTML文件top10.html154
7.4.5運行項目實現(xiàn)熱門品類Top10數(shù)據(jù)可視化157
7.5實現(xiàn)各區(qū)域熱門商品Top3數(shù)據(jù)可視化160
7.5.1創(chuàng)建實體類Top3Entity160
7.5.2創(chuàng)建數(shù)據(jù)庫訪問接口Top3Dao160
7.5.3創(chuàng)建控制器類Top3Controller161
7.5.4創(chuàng)建HTML文件top3.html162
7.5.5運行項目實現(xiàn)各區(qū)域熱門商品Top3數(shù)據(jù)可視化164
7.6實現(xiàn)頁面單跳轉(zhuǎn)化率數(shù)據(jù)可視化165
7.6.1創(chuàng)建實體類ConversionEntity165
7.6.2創(chuàng)建數(shù)據(jù)庫訪問接口ConversionDao165
7.6.3創(chuàng)建控制器類ConversionController166
7.6.4創(chuàng)建HTML文件conversion.html166
7.6.5運行項目實現(xiàn)頁面單跳轉(zhuǎn)化率數(shù)據(jù)可視化169
7.7實現(xiàn)廣告點擊流實時統(tǒng)計可視化169
7.7.1創(chuàng)建實體類AdsEntity169
7.7.2創(chuàng)建數(shù)據(jù)庫訪問接口AdsDao170
7.7.3創(chuàng)建控制器類AdsController170
7.7.4創(chuàng)建HTML文件ads.html171
7.7.5運行項目實現(xiàn)廣告點擊流實時統(tǒng)計可視化173
7.8本章小結(jié)174