Hadoop大數(shù)據(jù)開發(fā)技術(shù)

目錄



第1篇大數(shù)據(jù)開發(fā)技術(shù)平臺Hadoop
第1章Hadoop概述3
1.1大數(shù)據(jù)與Hadoop3
1.1.1大數(shù)據(jù)概述4
1.1.2什么是Hadoop6
1.1.3大數(shù)據(jù)與Hadoop的關(guān)系6
1.2Hadoop的發(fā)展歷史7
1.2.1Hadoop的產(chǎn)生7
1.2.2Hadoop的發(fā)展階段7
1.3Hadoop的體系結(jié)構(gòu)8
1.3.1Hadoop的Common8
1.3.2Hadoop的HDFS9
1.3.3Hadoop的YARN10
1.3.4Hadoop的MapReduce10
1.3.5Hadoop家族的其他成員11
1.4本章小結(jié)12
習題12第2章大數(shù)據(jù)開發(fā)平臺Hadoop環(huán)境的搭建13
2.1Linux系統(tǒng)下的參數(shù)配置13
2.1.1Linux系統(tǒng)的網(wǎng)絡配置13
2.1.2為Hadoop設置專門用戶15
2.1.3設置無密碼登錄用戶16
2.2基于Linux系統(tǒng)的JDK安裝與配置17
2.2.1Java開發(fā)工具JDK的下載與安裝17
2.2.2配置與Java有關(guān)的環(huán)境參數(shù)17
2.2.3基于Linux系統(tǒng)下Eclipse的安裝與配置19
2.2.4Eclipse集成環(huán)境——Java程序開發(fā)實例23
2.3Hadoop環(huán)境的搭建24
2.3.1單機模式25
2.3.2偽集群模式26
2.3.3集群模式32
2.4Hadoop服務的啟動與測試38
2.5本章小結(jié)38
習題38第3章Hadoop通用命令與應用編程原理39
3.1Hadoop命令概述39
3.2Hadoop管理命令41
3.2.1命令功能與命令格式41
3.2.2命令應用實例41
3.3Hadoop用戶命令42
3.3.1建立與查看Hadoop的文檔42
3.3.2檢查Hadoop本地代碼可用性44
3.3.3classpath命令44
3.3.4credential命令44
3.3.5遞歸復制文件和目錄命令distcp46
3.3.6Hadoop的fs命令47
3.3.7Hadoop的jar命令47
3.3.8Hadoop的key命令47
3.3.9Hadoop的其他用戶命令48
3.4Hadoop編程原理49
3.4.1創(chuàng)建Java應用項目49
3.4.2Hadoop分布式處理程序的設計原理53
3.5Hadoop編程實例53
3.5.1問題描述53
3.5.2求最大值的Hadoop程序設計54
3.6本章小結(jié)57
習題57第4章Hadoop分布式文件存儲58
4.1HDFS概述58
4.1.1HDFS的特點59
4.1.2HDFS的架構(gòu)59
4.1.3熟悉HDFS守護進程61
4.1.4HDFS的規(guī)劃設計64
4.2HDFS 的shell命令66
4.2.1HDFS 的shell命令概述66
4.2.2管理命令67
4.2.3客戶端命令68
4.2.4HDFS的守護進程命令73
4.3HDFS的API編程應用74
4.3.1一個簡單的HDFS API編程實例74
4.3.2HDFS的應用編程接口76
4.3.3HDFS的編程應用實例80
4.4本章小結(jié)84
習題84第5章作業(yè)調(diào)度與集群資源管理框架YARN86
5.1YARN概述86
5.1.1YARN簡介86
5.1.2YARN的主要架構(gòu)87
5.1.3YARN架構(gòu)簡析89
5.2YARN的命令及應用89
5.2.1YARN命令概述89
5.2.2用戶命令90
5.2.3管理員命令95
5.3YARN的API應用編程98
5.3.1YARN工作流程98
5.3.2YARN編程概述99
5.3.3YARN Client程序編寫100
5.3.4YARN AppicationMaster編寫101
5.3.5YARN Container工作程序104
5.4本章小結(jié)104
習題104第6章Hadoop分布式計算框架MapReduce105
6.1MapReduce結(jié)構(gòu)模型105
6.1.1MapReduce概述105
6.1.2Map和Reduce(映射和規(guī)約)106
6.1.3MapReduce的主要功能及技術(shù)特征106
6.2MapReduce的工作原理109
6.2.1Shuffle和Sort109
6.2.2任務的執(zhí)行113
6.2.3故障處理116
6.2.4作業(yè)調(diào)度118
6.3MapReduce的命令行應用121
6.3.1命令概述121
6.3.2用戶命令121
6.3.3管理命令124
6.4MapReduce的API應用編程125
6.4.1與數(shù)據(jù)輸入有關(guān)的類125
6.4.2Mapper/Reducer類129
6.4.3Job類及相關(guān)類131
6.4.4輸出格式類與記錄輸出類135
6.5MapReduce應用實例135
6.5.1單詞計數(shù)程序設計135
6.5.2計算平均成績的程序設計138
6.6本章小結(jié)140
習題140
第2篇Hadoop家族的其他項目
第7章Hadoop數(shù)據(jù)庫HBase145
7.1HBase概述145
7.1.1HBase簡介145
7.1.2HBase的特點146
7.2HBase體系結(jié)構(gòu)147
7.3HBase的數(shù)據(jù)模型148
7.3.1邏輯模型148
7.3.2物理模型150
7.4HBase的下載與安裝150
7.4.1HBase的下載150
7.4.2HBase的安裝151
7.5HBase shell154
7.5.1通用命令155
7.5.2數(shù)據(jù)定義語言155
7.5.3數(shù)據(jù)操作語言159
7.6HBase API164
7.6.1HBaseAdmin類164
7.6.2HTable類165
7.6.3HTableDescriptor類165
7.6.4HColumnDescriptor類166
7.6.5Get類166
7.6.6Put類166
7.6.7Delete類167
7.6.8Result類168
7.6.9ResultScanner類168
7.7HBase過濾器179
7.7.1過濾器Filter179
7.7.2過濾器的操作符179
7.7.3過濾器的比較器Comparator180
7.7.4過濾器的使用180
7.8本章小結(jié)184
習題184第8章Hadoop數(shù)據(jù)倉庫Hive186
8.1Hive概述186
8.1.1Hive簡介186
8.1.2Hive架構(gòu)186
8.1.3Hive的安裝187
8.2Hive數(shù)據(jù)類型192
8.2.1基本類型192
8.2.2復雜類型193
8.3Hive的數(shù)據(jù)模型194
8.3.1內(nèi)部表194
8.3.2外部表194
8.3.3分區(qū)表194
8.3.4桶表194
8.3.5視圖表195
8.4Hive內(nèi)置運算符195
8.4.1關(guān)系運算符195
8.4.2算術(shù)運算符196
8.4.3邏輯運算符196
8.4.4復雜運算符197
8.5Hive shell操作197
8.5.1數(shù)據(jù)庫操作197
8.5.2表操作198
8.6Hive的內(nèi)置函數(shù)和UDF199
8.6.1內(nèi)置函數(shù)199
8.6.2用戶自定義函數(shù)200
8.7本章小結(jié)201
習題201第9章Hadoop數(shù)據(jù)的快速通用計算引擎Spark204
9.1Spark概述204
9.1.1理解Spark206
9.1.2安裝Spark 206
9.2快速啟動Spark209
9.3Spark生態(tài)圈213
9.4Spark編程217
9.4.1Structured Streaming編程217
9.4.2Spark Streaming編程218
9.4.3機器學習庫和GraphX編程220
9.5本章小結(jié)223
習題223
第3篇大數(shù)據(jù)應用開發(fā)綜合實例
第10章編程環(huán)境與數(shù)據(jù)集準備227
10.1Zeppelin部署227
10.1.1Zeppelin安裝227
10.1.2Zeppelin配置228
10.1.3運行Zeppelin231
10.1.4連接測試Zeppelin231
10.1.5用admin身份權(quán)限登錄232
10.2Zeppelin UI233
10.2.1首頁233
10.2.2菜單234
10.2.3筆記237
10.2.4Zeppelin配置中的典型錯誤240
10.3獲取MovieLens數(shù)據(jù)集242
10.4本章小結(jié)246
習題246第11章大數(shù)據(jù)分析與數(shù)據(jù)可視化247
11.1數(shù)據(jù)處理247
11.1.1創(chuàng)建筆記247
11.1.2數(shù)據(jù)處理案例248
11.2數(shù)據(jù)分析與可視化252
11.2.1注冊臨時表users252
11.2.2瀏覽users252
11.2.3統(tǒng)計年齡分布253
11.2.4統(tǒng)計職業(yè)分布255
11.3復雜邏輯處理257
11.3.1評分統(tǒng)計分析257
11.3.2評分分布的條形圖259
11.4本章小結(jié)260
習題260第12章構(gòu)建推薦算法261
12.1協(xié)同過濾算法概述261
12.2協(xié)同過濾分類261
12.2.1基于用戶的協(xié)同過濾262
12.2.2基于物品的協(xié)同過濾262
12.3Spark推薦模型庫263
12.3.1顯式矩陣分解263
12.3.2隱式矩陣分解264
12.3.3交替最小二乘法264
12.4用Spark MLlib ALS構(gòu)建推薦算法265
12.4.1獲取ml1m.zip文件265
12.4.2創(chuàng)建RDD265
12.4.3創(chuàng)建DataFrame265
12.4.4構(gòu)建訓練和測試數(shù)據(jù)集267
12.4.5構(gòu)建模型268
12.4.6使用推薦模型預測269
12.4.7用測試數(shù)據(jù)對模型進行評估269
12.4.8衡量模型的準確度270
12.5本章小結(jié)271
習題271