Hadoop大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)

一章　Hadoop介紹　1
1．1　Hadoop概述　1
1．1．1　Hadoop簡(jiǎn)介　1
1．1．2　Hadoop的發(fā)展歷史　2
1．1．3　Hadoop的特點(diǎn)　3
1．2　Hadoop核心　4
1．2．1　分布式文件系統(tǒng)——HDFS　4
1．2．2　分布式計(jì)算框架——MapReduce　7
1．2．3　集群資源管理器——YARN　9
1．3　Hadoop生態(tài)系統(tǒng)　12
1．4　Hadoop應(yīng)用場(chǎng)景　14
小結(jié)　15
二章　Hadoop集群的搭建及配置　16
任務(wù)2．1　安裝及配置虛擬機(jī)　17
2．1．1　創(chuàng)建Linux虛擬機(jī)　17
2．1．2　設(shè)置固定IP　25
2．1．3　遠(yuǎn)程連接虛擬機(jī)　27
2．1．4　虛擬機(jī)在線安裝軟件　29
2．1．5　任務(wù)實(shí)現(xiàn)　32
任務(wù)2．2　安裝Java　32
2．2．1　在Windows下安裝Java　33
2．2．2　在Linux下安裝Java　35
2．2．3　任務(wù)實(shí)現(xiàn)　36
任務(wù)2．3　搭建Hadoop完全分布式集群　36
2．3．1　修改配置文件　36
2．3．2　克隆虛擬機(jī)　41
2．3．3　配置SSH免密碼登錄　43
2．3．4　配置時(shí)間同步服務(wù)　44
2．3．5　啟動(dòng)關(guān)閉集群　46
2．3．6　監(jiān)控集群　47
小結(jié)　50
實(shí)訓(xùn)　50
實(shí)訓(xùn)1　為Hadoop集群增加一個(gè)節(jié)點(diǎn)　50
實(shí)訓(xùn)2　編寫(xiě)Shell腳本同步集群時(shí)間　51
課后練習(xí)　51
第3章　Hadoop基礎(chǔ)操作　53
任務(wù)3．1　查看Hadoop集群的基本信息　54
3．1．1　查詢集群的存儲(chǔ)系統(tǒng)信息　55
3．1．2　查詢集群的計(jì)算資源信息　58
任務(wù)3．2　上傳文件到HDFS目錄　59
3．2．1　了解HDFS文件系統(tǒng)　59
3．2．2　掌握HDFS的基本操作　62
3．2．3　任務(wù)實(shí)現(xiàn)　65
任務(wù)3．3　運(yùn)行MapReduce任務(wù)　67
3．3．1　了解Hadoop官方的示例程序包　67
3．3．2　提交MapReduce任務(wù)給集群運(yùn)行　68
任務(wù)3．4　管理多個(gè)MapReduce任務(wù)　71
3．4．1　查詢MapReduce任務(wù)　72
3．4．2　中斷MapReduce任務(wù)　74
小結(jié)　76
實(shí)訓(xùn)　77
實(shí)訓(xùn)1　統(tǒng)計(jì)文件中所有單詞的平均長(zhǎng)度　77
實(shí)訓(xùn)2　查詢與中斷MapReduce任務(wù)　77
課后練習(xí)　78
第4章　MapReduce編程入門(mén)　80
任務(wù)4．1　使用Eclipse創(chuàng)建MapReduce工程　81
4．1．1　下載與安裝Eclipse　81
4．1．2　配置MapReduce環(huán)境　82
4．1．3　新建MapReduce工程　84
任務(wù)4．2　通過(guò)源碼初識(shí)MapReduce編程　86
4．2．1　通俗理解MapReduce原理　86
4．2．2　了解MR實(shí)現(xiàn)詞頻統(tǒng)計(jì)的執(zhí)行流程　88
4．2．3　讀懂官方提供的WordCount源碼　89
任務(wù)4．3　編程實(shí)現(xiàn)按日期統(tǒng)計(jì)訪問(wèn)次數(shù)　94
4．3．1　分析思路與處理邏輯　94
4．3．2　編寫(xiě)核心模塊代碼　95
4．3．3　任務(wù)實(shí)現(xiàn)　97
任務(wù)4．4　編程實(shí)現(xiàn)按訪問(wèn)次數(shù)排序　99
4．4．1　分析思路與處理邏輯　99
4．4．2　編寫(xiě)核心模塊代碼　100
4．4．3　任務(wù)實(shí)現(xiàn)　102
小結(jié)　104
實(shí)訓(xùn)　104
實(shí)訓(xùn)1　獲取成績(jī)表的高分記錄　104
實(shí)訓(xùn)2　對(duì)兩個(gè)文件中的數(shù)據(jù)進(jìn)行合并與去重　105
課后練習(xí)　107
第5章　MapReduce進(jìn)階編程　110
任務(wù)5．1　篩選日志文件并生成序列化文件　111
5．1．1　MapReduce輸入格式　111
5．1．2　MapReduce輸出格式　113
5．1．3　任務(wù)實(shí)現(xiàn)　113
任務(wù)5．2　Hadoop Java API讀取序列化日志文件　115
5．2．1　FileSystem API管理文件夾　115
5．2．2　FileSystem API操作文件　119
5．2．3　FileSystem API讀寫(xiě)數(shù)據(jù)　121
5．2．4　任務(wù)實(shí)現(xiàn)　123
任務(wù)5．3　優(yōu)化日志文件統(tǒng)計(jì)程序　124
5．3．1　自定義鍵值類(lèi)型　124
5．3．2　初步探索Combiner　128
5．3．3　淺析Partitioner　130
5．3．4　自定義計(jì)數(shù)器　132
5．3．5　任務(wù)實(shí)現(xiàn)　134
任務(wù)5．4　Eclipse提交日志文件統(tǒng)計(jì)程序　137
5．4．1　傳遞參數(shù)　137
5．4．2　Hadoop輔助類(lèi)ToolRunner　139
5．4．3　Eclipse自動(dòng)打包并提交任務(wù)　140
小結(jié)　144
實(shí)訓(xùn)　144
實(shí)訓(xùn)1　統(tǒng)計(jì)全球每年的高氣溫和低氣溫　144
實(shí)訓(xùn)2　篩選氣溫在15～25℃之間的數(shù)據(jù)　145
課后練習(xí)　146
第6章　項(xiàng)目案例：電影網(wǎng)站用戶性別預(yù)測(cè)　151
任務(wù)6．1　認(rèn)識(shí)KNN算法　152
6．1．1　KNN算法簡(jiǎn)介　152
6．1．2　KNN算法原理及流程　152
任務(wù)6．2　數(shù)據(jù)預(yù)處理　154
6．2．1　獲取數(shù)據(jù)　154
6．2．2　數(shù)據(jù)變換　155
6．2．3　數(shù)據(jù)清洗　160
6．2．4　劃分?jǐn)?shù)據(jù)集　163
任務(wù)6．3　實(shí)現(xiàn)用戶性別分類(lèi)　167
6．3．1　實(shí)現(xiàn)思路　167
6．3．2　代碼實(shí)現(xiàn)　169
任務(wù)6．4　評(píng)價(jià)分類(lèi)結(jié)果的準(zhǔn)確性　179
6．4．1　評(píng)價(jià)思路　179
6．4．2　實(shí)現(xiàn)分類(lèi)評(píng)價(jià)　180
6．4．3　尋找優(yōu)K值　184
小結(jié)　188
參考文獻(xiàn)　189