Hadoop大數(shù)據(jù)技術(shù)與項目實戰(zhàn)

緒 論 1
學(xué)習(xí)目標(biāo) 1
重點難點 1
學(xué)習(xí)方法 1
思考與練習(xí) 2
模塊1 項目需求 3
學(xué)習(xí)目標(biāo) 3
項目概述 3
1.1　項目業(yè)務(wù)背景 3
1.2　項目實施計劃 5
1.2.1 項目實施流程規(guī)劃 5
1.2.2 技術(shù)選型及版本 6
1.2.3 項目實施的教學(xué)路徑 7
1.3　項目數(shù)據(jù)字典介紹 8
1.3.1 數(shù)據(jù)源數(shù)據(jù)結(jié)構(gòu)字典 8
1.3.2 Hive表數(shù)據(jù)字典 13
素養(yǎng)園地 17
項目總結(jié) 17
思考與練習(xí) 17
模塊2 大數(shù)據(jù)平臺部署 20
學(xué)習(xí)目標(biāo) 20
項目概述 20
2.1　大數(shù)據(jù)相關(guān)開發(fā)軟件安裝 20
2.2　Linux系統(tǒng)環(huán)境配置 28
2.2.1 安裝虛擬機(jī) 28
2.2.2 克隆虛擬機(jī) 50
2.2.3 虛擬機(jī)免密碼登錄配置 57
2.2.4 Linux項目路徑規(guī)劃 70
2.3　Hadoop分布式集群環(huán)境搭建 73
2.3.1 JDK安裝配置 73
2.3.2 Hadoop框架介紹及組成 77
2.3.3 HDFS集群配置 79
2.3.4 YARN集群配置 89
2.3.5 HDFS Shell命令行操作 95
2.3.6 HDFS客戶端開發(fā)環(huán)境配置及測試 98
2.3.7 HDFS API基本操作 115
2.3.8 MapReduce原理 121
2.3.9 MapReduce案例――詞頻統(tǒng)計 122
2.4　Hive數(shù)據(jù)倉庫服務(wù)配置 131
2.4.1 MySQL環(huán)境配置 131
2.4.2 Hive環(huán)境配置 135
2.4.3 Hive與MySQL整合操作及Hive服務(wù)啟動 138
2.4.4 HQL語句基本操作 141
2.4.5 HQL統(tǒng)計分析案例 143
2.5　Flume原理及安裝部署 144
2.6　Sqoop原理及應(yīng)用 145
2.6.1 Sqoop原理及安裝部署 146
2.6.2 Sqoop數(shù)據(jù)遷移案例 147
2.7　ZooKeeper集群環(huán)境搭建 151
2.8　Kafka集群環(huán)境搭建及應(yīng)用 154
2.8.1 Kafka集群環(huán)境搭建 154
2.8.2 Kafka常用命令及使用方法 157
素養(yǎng)園地 159
項目總結(jié) 160
思考與練習(xí) 161
模塊3 數(shù)據(jù)采集 165
學(xué)習(xí)目標(biāo) 165
項目概述 165
3.1　項目數(shù)據(jù)源及產(chǎn)生方法 165
3.2　Flume腳本設(shè)計 167
3.2.1 Flume采集原理及流程 167
3.2.2 Flume數(shù)據(jù)采集腳本設(shè)計 170
3.2.3 攔截器鏈的創(chuàng)建流程 172
3.2.4 ETL攔截器業(yè)務(wù)邏輯分析 182
3.2.5 分流標(biāo)記攔截器業(yè)務(wù)邏輯分析 183
3.2.6 Flume數(shù)據(jù)采集執(zhí)行腳本及實現(xiàn) 184
3.2.7 Flume數(shù)據(jù)消費腳本設(shè)計 187
3.2.8 Flume數(shù)據(jù)消費執(zhí)行腳本及實現(xiàn) 191
素養(yǎng)園地 195
項目總結(jié) 195
思考與練習(xí) 195
模塊4 離線數(shù)據(jù)倉庫設(shè)計與開發(fā) 198
學(xué)習(xí)目標(biāo) 198
項目概述 198
4.1　離線數(shù)據(jù)倉庫概述 198
4.2　ODS層設(shè)計與開發(fā) 199
4.3　DWD層設(shè)計與開發(fā) 204
4.3.1 項目JSON解析函數(shù)及應(yīng)用 204
4.3.2 啟動日志表設(shè)計及數(shù)據(jù)加載 206
4.4　DWS層設(shè)計與開發(fā) 209
4.5　DWT層設(shè)計與開發(fā) 212
4.5.1 HQL關(guān)聯(lián)查詢（1） 212
4.5.2 HQL關(guān)聯(lián)查詢（2） 216
4.5.3 HQL關(guān)聯(lián)查詢（3） 218
4.5.4 設(shè)備主題表設(shè)計及數(shù)據(jù)加載 219
4.6　ADS層設(shè)計與開發(fā) 222
4.6.1 活躍用戶數(shù)據(jù)表設(shè)計及數(shù)據(jù)加載 223
4.6.2 每日新增用戶數(shù)據(jù)表設(shè)計及數(shù)據(jù)加載 224
4.6.3 沉默用戶數(shù)據(jù)表設(shè)計及數(shù)據(jù)加載 226
4.6.4 本周回流用戶數(shù)據(jù)表設(shè)計及數(shù)據(jù)加載 228
4.6.5 用戶留存率數(shù)據(jù)表設(shè)計及數(shù)據(jù)加載 229
素養(yǎng)園地 243
項目總結(jié) 243
思考與練習(xí) 243
模塊5 項目數(shù)據(jù)可視化展示 246
學(xué)習(xí)目標(biāo) 246
項目概述 246
5.1　創(chuàng)建MySQL數(shù)據(jù)表 246
5.1.1 大數(shù)據(jù)報表系統(tǒng) 246
5.1.2 MySQL數(shù)據(jù)表的創(chuàng)建 247
5.2　Sqoop數(shù)據(jù)遷移 248
5.3　數(shù)據(jù)可視化 250
5.3.1 pyecharts可視化工具介紹 251
5.3.2 導(dǎo)入數(shù)據(jù)、繪制大屏標(biāo)題 269
5.3.3 繪制柱狀圖 283
5.3.4 繪制象形柱狀圖、水球圖 287
5.3.5 繪制柱狀圖與折線圖的疊加圖 291
5.3.6 繪制輪播圖 294
5.3.7 數(shù)據(jù)大屏展示 297
素養(yǎng)園地 301
項目總結(jié) 301
思考與練習(xí) 301
課程學(xué)習(xí)成果評價 304
參考文獻(xiàn) 306