大數(shù)據(jù)Hive離線計(jì)算開(kāi)發(fā)實(shí)戰(zhàn)

目錄
第01章　數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)　1
1．1　數(shù)據(jù)處理平臺(tái)　1
1．2　數(shù)據(jù)庫(kù)　2
1．3　關(guān)系型數(shù)據(jù)庫(kù)　2
1．3．1　數(shù)據(jù)庫(kù)三范式　3
1．3．2　數(shù)據(jù)庫(kù)事務(wù)　6
1．3．3　數(shù)據(jù)庫(kù)設(shè)計(jì)理念　7
1．4　數(shù)據(jù)倉(cāng)庫(kù)　7
1．4．1　無(wú)數(shù)據(jù)倉(cāng)庫(kù)的時(shí)代　7
1．4．2　數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展　8
1．5　數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)理念　9
1．6　數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)的不同　10
1．7　本章總結(jié)　11
1．8　本章習(xí)題　11
第02章　Hive安裝部署　12
2．1　Hive基本概念　12
2．1．1　Hive簡(jiǎn)介　12
2．1．2　Hive設(shè)計(jì)特性　13
2．1．3　Hive與傳統(tǒng)數(shù)據(jù)庫(kù)的對(duì)比　14
2．2　Hive安裝部署　14
2．3　安裝配置MySQL　16
2．4　配置啟動(dòng)Hive　22
2．5　Hive常用內(nèi)部命令　26
2．6　Hive數(shù)據(jù)類(lèi)型　27
2．6．1　Hive基本數(shù)據(jù)類(lèi)型　28
2．6．2　Hive集合數(shù)據(jù)類(lèi)型　30
2．7　本章總結(jié)　36
2．8　本章習(xí)題　36
第03章　Hive數(shù)據(jù)定義與操作　37
3．1　HiveQL數(shù)據(jù)定義語(yǔ)言　37
3．1．1　創(chuàng)建數(shù)據(jù)庫(kù)　38
3．1．2　刪除數(shù)據(jù)庫(kù)　40
3．1．3　創(chuàng)建表　40
3．1．4　修改表　45
3．1．5　刪除表　46
3．1．6　分區(qū)表　47
3．2　HiveQL數(shù)據(jù)操作　53
3．2．1　向管理表中裝載數(shù)據(jù)　54
3．2．2　經(jīng)查詢(xún)語(yǔ)句向表中插入數(shù)據(jù)　54
3．2．3　單個(gè)查詢(xún)語(yǔ)句中創(chuàng)建表并加載數(shù)據(jù)　55
3．2．4　導(dǎo)入數(shù)據(jù)　55
3．2．5　導(dǎo)出數(shù)據(jù)　56
3．3　本章總結(jié)　56
3．4　本章習(xí)題　57
第04章　HiveQL數(shù)據(jù)查詢(xún)基礎(chǔ)　58
4．1　HiveQL數(shù)據(jù)查詢(xún)語(yǔ)句　58
4．1．1　SELECT語(yǔ)句　58
4．1．2　WHERE語(yǔ)句　59
4．1．3　GROUP BY語(yǔ)句　60
4．1．4　HAVING分組篩選　61
4．1．5　ORDER BY 語(yǔ)句和
SORT　BY語(yǔ)句　62
4．2　HiveQL連接查詢(xún)語(yǔ)句　64
4．3　本章總結(jié)　70
4．4　本章習(xí)題　70
第05章　HiveQL數(shù)據(jù)查詢(xún)進(jìn)階　71
5．1　Hive內(nèi)置函數(shù)　71
5．1．1　數(shù)學(xué)函數(shù)　72
5．1．2　字符函數(shù)　74
5．1．3　轉(zhuǎn)換函數(shù)　76
5．1．4　日期函數(shù)　76
5．1．5　條件函數(shù)　77
5．1．6　聚合函數(shù)　77
5．2　Hive構(gòu)建搜索引擎日志數(shù)據(jù)分析系統(tǒng)　79
5．2．1　數(shù)據(jù)預(yù)處理（Linux環(huán)境）　79
5．2．2　基于Hive構(gòu)建日志數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)　81
5．2．3　數(shù)據(jù)分析需求（1）：條數(shù)統(tǒng)計(jì)　84
5．2．4　數(shù)據(jù)分析需求（2）：關(guān)鍵詞分析　84
5．2．5　數(shù)據(jù)分析需求（3）：UID分析　85
5．2．6　數(shù)據(jù)分析需求（4）：用戶(hù)行為
分析　86
5．3　Sqoop應(yīng)用與開(kāi)發(fā)　88
5．3．1　Sqoop簡(jiǎn)介　89
5．3．2　Sqoop安裝部署　89
5．3．3　Sqoop將Hive表中的數(shù)據(jù)導(dǎo)入MySQL　91
5．4　本章總結(jié)　96
5．5　本章習(xí)題　96
第06章　Hive數(shù)據(jù)庫(kù)對(duì)象與
用戶(hù)自定義函數(shù)　97
6．1　Hive視圖　97
6．1．1　創(chuàng)建視圖　98
6．1．2　查看視圖　98
6．1．3　視圖應(yīng)用實(shí)戰(zhàn)　99
6．1．4　刪除視圖　100
6．2　Hive分桶表　100
6．2．1　創(chuàng)建表　101
6．2．2　插入數(shù)據(jù)　101
6．3　Hive用戶(hù)自定義函數(shù)　102
6．3．1　用戶(hù)自定義函數(shù)簡(jiǎn)介　102
6．3．2　UDF應(yīng)用開(kāi)發(fā)　103
6．4　Hive用戶(hù)自定義聚合函數(shù)　105
6．4．1　用戶(hù)自定義聚合函數(shù)簡(jiǎn)介　105
6．4．2　UDAF應(yīng)用開(kāi)發(fā)　105
6．5　本章總結(jié)　108
6．6　本章習(xí)題　108
第07章　Azkaban任務(wù)調(diào)度器　109
7．1　Azkaban簡(jiǎn)介　109
7．1．1　Azkaban基本原理　110
7．1．2　Azkaban核心組件　111
7．2　Azkaban安裝部署　112
7．2．1　準(zhǔn)備工作　112
7．2．2　安裝MySQL　112
7．2．3　配置MySQL　113
7．2．4　配置AzkabanWebServer　114
7．2．5　啟動(dòng)AzkabanWebServer
服務(wù)器　116
7．2．6　配置AzkabanExecutorServer　116
7．2．7　啟動(dòng)AzkabanExecutorServer
執(zhí)行服務(wù)器　117
7．2．8　登錄訪問(wèn)WebServer并創(chuàng)建
工作流調(diào)度項(xiàng)目　117
7．3　Hadoop作業(yè)的設(shè)置與書(shū)寫(xiě)　119
7．4　Hive作業(yè)的設(shè)置與書(shū)寫(xiě)　128
7．5　本章總結(jié)　130
7．6　本章習(xí)題　131
第08章　電商推薦系統(tǒng)開(kāi)發(fā)實(shí)戰(zhàn)　132
8．1　構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)　132
8．1．1　創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)　133
8．1．2　創(chuàng)建原始數(shù)據(jù)表　134
8．1．3　加載數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)　136
8．1．4　驗(yàn)證數(shù)據(jù)結(jié)果　136
8．2　數(shù)據(jù)清洗　139
8．2．1　創(chuàng)建臨時(shí)表　139
8．2．2　數(shù)據(jù)清洗詳細(xì)步驟　140
8．2．3　驗(yàn)證清洗　143
8．3　推薦算法實(shí)現(xiàn)　144
8．3．1　Mahout安裝部署　144
8．3．2　itembase協(xié)同過(guò)濾推薦算法　147
8．3．3　路徑準(zhǔn)備　148
8．3．4　運(yùn)行推薦算法　150
8．3．5　查看推薦結(jié)果　151
8．4　數(shù)據(jù)ETL　152
8．4．1　獲取數(shù)據(jù)　152
8．4．2　創(chuàng)建數(shù)據(jù)庫(kù)和表　152
8．4．3　加載數(shù)據(jù)　153
8．4．4　驗(yàn)證ETL過(guò)程　153
8．5　本章總結(jié)　155
8．6　本章習(xí)題　156
第09章　汽車(chē)銷(xiāo)售數(shù)據(jù)分析
系統(tǒng)實(shí)戰(zhàn)開(kāi)發(fā)　157
9．1　數(shù)據(jù)概況　157
9．2　項(xiàng)目實(shí)戰(zhàn)　158
9．2．1　構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)　158
9．2．2　創(chuàng)建原始數(shù)據(jù)表　159
9．2．3　加載數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)　161
9．2．4　驗(yàn)證數(shù)據(jù)結(jié)果　161
9．2．5　統(tǒng)計(jì)乘用車(chē)輛和商用車(chē)輛的
銷(xiāo)售數(shù)量和銷(xiāo)售數(shù)量占比　162
9．2．6　統(tǒng)計(jì)山西省2013年每個(gè)月的
汽車(chē)銷(xiāo)售數(shù)量的比例　162
9．2．7　統(tǒng)計(jì)買(mǎi)車(chē)的男女比例及男女對(duì)車(chē)的
品牌的選擇　163
9．2．8　統(tǒng)計(jì)車(chē)的所有權(quán)、車(chē)輛型號(hào)和
車(chē)輛類(lèi)型　165
9．2．9　統(tǒng)計(jì)不同類(lèi)型車(chē)在一個(gè)月（對(duì)應(yīng)一段
時(shí)間，如每月或每年）的總銷(xiāo)量　167
9．2．10　通過(guò)不同類(lèi)型（品牌）車(chē)銷(xiāo)售情況，
來(lái)統(tǒng)計(jì)發(fā)動(dòng)機(jī)型號(hào)和燃料種類(lèi)　168
9．2．11　統(tǒng)計(jì)五菱某一年每月的銷(xiāo)售量　168
9．3　本章總結(jié)　169
9．4　本章習(xí)題　169
第　10章 新浪微博數(shù)據(jù)分析系統(tǒng)
實(shí)戰(zhàn)開(kāi)發(fā)　170
10．1　數(shù)據(jù)概況　170
10．1．1　數(shù)據(jù)參數(shù)　170
10．1．2　數(shù)據(jù)類(lèi)型　171
10．2　項(xiàng)目實(shí)戰(zhàn)　172
10．2．1　組織數(shù)據(jù)　172
10．2．2　統(tǒng)計(jì)需求　174
10．2．3　特殊需求　179
10．2．4　數(shù)據(jù)ETL　182
10．3　本章總結(jié)　184
10．4　本章習(xí)題　184