Hadoop實戰(zhàn)手冊

目　錄
第1章　Hadoop分布式文件系統(tǒng)——導入和導出數(shù)據(jù)　1
1．1　介紹　1
1．2　使用Hadoop shell命令導入和導出數(shù)據(jù)到HDFS　2
1．3　使用distcp實現(xiàn)集群間數(shù)據(jù)復制　7
1．4　使用Sqoop從MySQL數(shù)據(jù)庫導入數(shù)據(jù)到HDFS　9
1．5　使用Sqoop從HDFS導出數(shù)據(jù)到MySQL　12
1．6　配置Sqoop以支持SQL Server　15
1．7　從HDFS導出數(shù)據(jù)到MongoDB　17
1．8　從MongoDB導入數(shù)據(jù)到HDFS　20
1．9　使用Pig從HDFS導出數(shù)據(jù)到MongoDB　23
1．10　在Greenplum外部表中使用HDFS　24
1．11　利用Flume加載數(shù)據(jù)到HDFS中　26
第2章　HDFS　28
2．1　介紹　28
2．2　讀寫HDFS數(shù)據(jù)　29
2．3　使用LZO壓縮數(shù)據(jù)　31
2．4　讀寫序列化文件數(shù)據(jù)　34
2．5　使用Avro序列化數(shù)據(jù)　37
2．6　使用Thrift序列化數(shù)據(jù)　41
2．7　使用Protocol Buffers序列化數(shù)據(jù)　44
2．8　設(shè)置HDFS備份因子　48
2．9　設(shè)置HDFS塊大小　49
第3章　抽取和轉(zhuǎn)換數(shù)據(jù)　51
3．1　介紹　51
3．2　使用MapReduce將Apache日志轉(zhuǎn)換為TSV格式　52
3．3　使用Apache Pig過濾網(wǎng)絡(luò)服務(wù)器日志中的爬蟲訪問量　54
3．4　使用Apache Pig根據(jù)時間戳對網(wǎng)絡(luò)服務(wù)器日志數(shù)據(jù)排序　57
3．5　使用Apache Pig對網(wǎng)絡(luò)服務(wù)器日志進行會話分析　59
3．6　通過Python擴展Apache Pig的功能　61
3．7　使用MapReduce及二次排序計算頁面訪問量　62
3．8　使用Hive和Python清洗、轉(zhuǎn)換地理事件數(shù)據(jù)　67
3．9　使用Python和Hadoop Streaming執(zhí)行時間序列分析　71
3．10　在MapReduce中利用MultipleOutputs輸出多個文件　75
3．11　創(chuàng)建用戶自定義的Hadoop Writable及InputFormat讀取地理事件數(shù)據(jù)　78
第4章　使用Hive、Pig和MapReduce處理常見的任務(wù)　85
4．1　介紹　85
4．2　使用Hive將HDFS中的網(wǎng)絡(luò)日志數(shù)據(jù)映射為外部表　86
4．3　使用Hive動態(tài)地為網(wǎng)絡(luò)日志查詢結(jié)果創(chuàng)建Hive表　87
4．4　利用Hive字符串UDF拼接網(wǎng)絡(luò)日志數(shù)據(jù)的各個字段　89
4．5　使用Hive截取網(wǎng)絡(luò)日志的IP字段并確定其對應(yīng)的國家　92
4．6　使用MapReduce對新聞檔案數(shù)據(jù)生成n-gram　94
4．7　通過MapReduce使用分布式緩存查找新聞檔案數(shù)據(jù)中包含關(guān)鍵詞的行　98
4．8　使用Pig加載一個表并執(zhí)行包含GROUP BY的SELECT操作　102
第5章　高級連接操作　104
5．1　介紹　104
5．2　使用MapReduce對數(shù)據(jù)進行連接　104
5．3　使用Apache Pig對數(shù)據(jù)進行復制連接　108
5．4　使用Apache Pig對有序數(shù)據(jù)進行歸并連接　110
5．5　使用Apache Pig對傾斜數(shù)據(jù)進行傾斜連接　111
5．6　在Apache Hive中通過map端連接對地理事件進行分析　113
5．7　在Apache Hive通過優(yōu)化的全外連接分析地理事件數(shù)據(jù)　115
5．8　使用外部鍵值存儲(Redis)連接數(shù)據(jù)　118
第6章　大數(shù)據(jù)分析　123
6．1　介紹　123
6．2　使用MapReduce和Combiner統(tǒng)計網(wǎng)絡(luò)日志數(shù)據(jù)集中的獨立IP數(shù)　124
6．3　運用Hive日期UDF對地理事件數(shù)據(jù)集中的時間日期進行轉(zhuǎn)換與排序　129
6．4　使用Hive創(chuàng)建基于地理事件數(shù)據(jù)的每月死亡報告　131
6．5　實現(xiàn)Hive用戶自定義UDF用于確認地理事件數(shù)據(jù)的來源可靠性　133
6．6　使用Hive的map/reduce操作以及Python標記最長的無暴力發(fā)生的時間區(qū)間　136
6．7　使用Pig計算Audioscrobbler數(shù)據(jù)集中藝術(shù)家之間的余弦相似度　141
6．8　使用Pig以及datafu剔除Audioscrobbler數(shù)據(jù)集中的離群值　145
第7章　高級大數(shù)據(jù)分析　147
7．1　介紹　147
7．2　使用Apache Giraph計算PageRank　147
7．3　使用Apache Giraph計算單源最短路徑　150
7．4　使用Apache Giraph執(zhí)行分布式寬度優(yōu)先搜索　158
7．5　使用Apache Mahout計算協(xié)同過濾　165
7．6　使用Apache Mahout進行聚類　168
7．7　使用Apache Mahout進行情感分類　171
第8章　調(diào)試　174
8．1　介紹　174
8．2　在MapReduce中使用Counters監(jiān)測異常記錄　174
8．3　使用MRUnit開發(fā)和測試MapReduce　177
8．4　本地模式下開發(fā)和測試MapReduce　179
8．5　運行MapReduce作業(yè)跳過異常記錄　182
8．6　在流計算作業(yè)中使用Counters　184
8．7　更改任務(wù)狀態(tài)顯示調(diào)試信息　185
8．8　使用illustrate調(diào)試Pig作業(yè)　187
第9章　系統(tǒng)管理　189
9．1　介紹　189
9．2　在偽分布模式下啟動Hadoop　189
9．3　在分布式模式下啟動Hadoop　192
9．4　添加一個新節(jié)點　195
9．5　節(jié)點安全退役　197
9．6　NameNode故障恢復　198
9．7　使用Ganglia監(jiān)控集群　199
9．8　MapReduce作業(yè)參數(shù)調(diào)優(yōu)　201
第10章　使用Apache Accumulo進行持久化　204
10．1　介紹　204
10．2　在Accumulo中設(shè)計行鍵存儲地理事件　205
10．3　使用MapReduce批量導入地理事件數(shù)據(jù)到Accumulo　213
10．4　設(shè)置自定義字段約束Accumulo中的地理事件數(shù)據(jù)　220
10．5　使用正則過濾器限制查詢結(jié)果　225
10．6　使用SumCombiner計算同一個鍵的不同版本的死亡數(shù)總和　228
10．7　使用Accumulo實行單元級安全的掃描　232
10．8　使用MapReduce聚集Accumulo中的消息源　237