大數(shù)據(jù)實(shí)驗(yàn)手冊(cè)

目 錄
實(shí)驗(yàn)一 大數(shù)據(jù)實(shí)驗(yàn)一體機(jī)基礎(chǔ)操作 1
1．1 實(shí)驗(yàn)?zāi)康?1
1．2 實(shí)驗(yàn)要求 1
1．3 實(shí)驗(yàn)原理 1
1．4 實(shí)驗(yàn)步驟 9
實(shí)驗(yàn)二 HDFS實(shí)驗(yàn)：部署HDFS 17
2．1 實(shí)驗(yàn)?zāi)康?17
2．2 實(shí)驗(yàn)要求 17
2．3 實(shí)驗(yàn)原理 17
2．4 實(shí)驗(yàn)步驟 19
實(shí)驗(yàn)三 HDFS實(shí)驗(yàn)：讀寫HDFS文件 21
3．1 實(shí)驗(yàn)?zāi)康?21
3．2 實(shí)驗(yàn)要求 21
3．3 實(shí)驗(yàn)原理 21
3．4 實(shí)驗(yàn)步驟 23
實(shí)驗(yàn)四 YARN實(shí)驗(yàn)：部署YARN集群 31
4．1 實(shí)驗(yàn)?zāi)康?31
4．2 實(shí)驗(yàn)要求 31
4．3 實(shí)驗(yàn)原理 31
4．4 實(shí)驗(yàn)步驟 33
4．5 實(shí)驗(yàn)結(jié)果 35
實(shí)驗(yàn)五 MapReduce實(shí)驗(yàn)：單詞計(jì)數(shù) 37
5．1 實(shí)驗(yàn)?zāi)康?37
5．2 實(shí)驗(yàn)要求 37
5．3 實(shí)驗(yàn)原理 37
5．4 實(shí)驗(yàn)步驟 39
5．5 實(shí)驗(yàn)結(jié)果 41
實(shí)驗(yàn)六 MapReduce實(shí)驗(yàn)：二次排序 43
6．1 實(shí)驗(yàn)?zāi)康?43
6．2 實(shí)驗(yàn)要求 43
6．3 實(shí)驗(yàn)原理 43
6．4 實(shí)驗(yàn)步驟 43
6．5 實(shí)驗(yàn)結(jié)果 48
實(shí)驗(yàn)七 MapReduce實(shí)驗(yàn)：計(jì)數(shù)器 49
7．1 實(shí)驗(yàn)?zāi)康?49
7．2 實(shí)驗(yàn)要求 49
7．3 實(shí)驗(yàn)背景 49
7．4 實(shí)驗(yàn)步驟 51
7．5 實(shí)驗(yàn)結(jié)果 53
實(shí)驗(yàn)八 MapReduce實(shí)驗(yàn)：Join操作 55
8．1 實(shí)驗(yàn)?zāi)康?55
8．2 實(shí)驗(yàn)要求 55
8．3 實(shí)驗(yàn)背景 55
8．4 實(shí)驗(yàn)步驟 56
8．5 實(shí)驗(yàn)結(jié)果 61
實(shí)驗(yàn)九 MapReduce實(shí)驗(yàn)：分布式緩存 63
9．1 實(shí)驗(yàn)?zāi)康?63
9．2 實(shí)驗(yàn)要求 63
9．3 實(shí)驗(yàn)步驟 63
9．4 實(shí)驗(yàn)結(jié)果 68
實(shí)驗(yàn)十 Hive實(shí)驗(yàn)：部署Hive 69
10．1 實(shí)驗(yàn)?zāi)康?69
10．2 實(shí)驗(yàn)要求 69
10．3 實(shí)驗(yàn)原理 69
10．4 實(shí)驗(yàn)步驟 70
10．5 實(shí)驗(yàn)結(jié)果 71
實(shí)驗(yàn)十一 Hive實(shí)驗(yàn)：新建Hive表 73
11．1 實(shí)驗(yàn)?zāi)康?73
11．2 實(shí)驗(yàn)要求 73
11．3 實(shí)驗(yàn)原理 73
11．4 實(shí)驗(yàn)步驟 73
11．5 實(shí)驗(yàn)結(jié)果 75
實(shí)驗(yàn)十二 Hive實(shí)驗(yàn)：Hive分區(qū) 77
12．1 實(shí)驗(yàn)?zāi)康?77
12．2 實(shí)驗(yàn)要求 77
12．3 實(shí)驗(yàn)原理 77
12．4 實(shí)驗(yàn)步驟 77
12．5 實(shí)驗(yàn)結(jié)果 79
實(shí)驗(yàn)十三 Spark實(shí)驗(yàn)：部署Spark集群 80
13．1 實(shí)驗(yàn)?zāi)康?80
13．2 實(shí)驗(yàn)要求 80
13．3 實(shí)驗(yàn)原理 80
13．4 實(shí)驗(yàn)內(nèi)容和步驟 81
13．5 實(shí)驗(yàn)結(jié)果 83
實(shí)驗(yàn)十四 Spark實(shí)驗(yàn)：SparkWordCount 85
14．1 實(shí)驗(yàn)?zāi)康?85
14．2 實(shí)驗(yàn)要求 85
14．3 實(shí)驗(yàn)原理 85
14．4 實(shí)驗(yàn)步驟 89
14．5 實(shí)驗(yàn)結(jié)果 89
實(shí)驗(yàn)十五 Spark實(shí)驗(yàn)：RDD綜合實(shí)驗(yàn) 90
15．1 實(shí)驗(yàn)?zāi)康?90
15．2 實(shí)驗(yàn)要求 90
15．3 實(shí)驗(yàn)原理 90
15．4 實(shí)驗(yàn)步驟 91
15．5 實(shí)驗(yàn)結(jié)果 93
實(shí)驗(yàn)十六 Spark實(shí)驗(yàn)：Spark綜例 94
16．1 實(shí)驗(yàn)?zāi)康?94
16．2 實(shí)驗(yàn)要求 94
16．3 實(shí)驗(yàn)原理 94
16．4 實(shí)驗(yàn)步驟 96
實(shí)驗(yàn)十七 Spark實(shí)驗(yàn)：Spark SQL 99
17．1 實(shí)驗(yàn)?zāi)康?99
17．2 實(shí)驗(yàn)要求 99
17．3 實(shí)驗(yàn)原理 99
17．4 實(shí)驗(yàn)步驟 100
17．5 實(shí)驗(yàn)結(jié)果 101
實(shí)驗(yàn)十八 Spark實(shí)驗(yàn)：Spark Streaming 103
18．1 實(shí)驗(yàn)?zāi)康?103
18．2 實(shí)驗(yàn)要求 103
18．3 實(shí)驗(yàn)原理 103
18．4 實(shí)驗(yàn)步驟 107
18．5 實(shí)驗(yàn)結(jié)果 110
實(shí)驗(yàn)十九 Spark實(shí)驗(yàn)：GraphX 111
19．1 實(shí)驗(yàn)?zāi)康?111
19．2 實(shí)驗(yàn)要求 111
19．3 實(shí)驗(yàn)原理 111
19．4 實(shí)驗(yàn)步驟 111
19．5 實(shí)驗(yàn)結(jié)果 116
實(shí)驗(yàn)二十 部署ZooKeeper 117
20．1 實(shí)驗(yàn)?zāi)康?117
20．2 實(shí)驗(yàn)要求 117
20．3 實(shí)驗(yàn)原理 117
20．4 實(shí)驗(yàn)步驟 117
20．5 實(shí)驗(yàn)結(jié)果 119
實(shí)驗(yàn)二十一 ZooKeeper進(jìn)程協(xié)作 121
21．1 實(shí)驗(yàn)?zāi)康?121
21．2 實(shí)驗(yàn)要求 121
21．3 實(shí)驗(yàn)原理 121
21．4 實(shí)驗(yàn)步驟 121
21．5 實(shí)驗(yàn)結(jié)果 123
實(shí)驗(yàn)二十二 部署HBase 124
22．1 實(shí)驗(yàn)?zāi)康?124
22．2 實(shí)驗(yàn)要求 124
22．3 實(shí)驗(yàn)原理 124
22．4 實(shí)驗(yàn)步驟 125
22．5 實(shí)驗(yàn)結(jié)果 127
實(shí)驗(yàn)二十三 新建HBase表 128
23．1 實(shí)驗(yàn)?zāi)康?128
23．2 實(shí)驗(yàn)要求 128
23．3 實(shí)驗(yàn)原理 128
23．4 實(shí)驗(yàn)步驟 128
23．5 實(shí)驗(yàn)結(jié)果 133
實(shí)驗(yàn)二十四 部署Storm 135
24．1 實(shí)驗(yàn)?zāi)康?135
24．2 實(shí)驗(yàn)要求 135
24．3 實(shí)驗(yàn)原理 135
24．4 實(shí)驗(yàn)步驟 136
24．5 實(shí)驗(yàn)結(jié)果 138
實(shí)驗(yàn)二十五 實(shí)時(shí)WordCountTopology 139
25．1 實(shí)驗(yàn)?zāi)康?139
25．2 實(shí)驗(yàn)要求 139
25．3 實(shí)驗(yàn)原理 139
25．4 實(shí)驗(yàn)步驟 141
25．5 實(shí)驗(yàn)結(jié)果 144
實(shí)驗(yàn)二十六 文件數(shù)據(jù)Flume至HDFS 145
26．1 實(shí)驗(yàn)?zāi)康?145
26．2 實(shí)驗(yàn)要求 145
26．3 實(shí)驗(yàn)原理 145
26．4 實(shí)驗(yàn)步驟 147
26．5 實(shí)驗(yàn)結(jié)果 149
實(shí)驗(yàn)二十七 Kafka訂閱推送示例 150
27．1 實(shí)驗(yàn)?zāi)康?150
27．2 實(shí)驗(yàn)要求 150
27．3 實(shí)驗(yàn)原理 150
27．4 實(shí)驗(yàn)步驟 152
27．5 實(shí)驗(yàn)結(jié)果 154
實(shí)驗(yàn)二十八 Pig版WordCount 155
28．1 實(shí)驗(yàn)?zāi)康?155
28．2 實(shí)驗(yàn)要求 155
28．3 實(shí)驗(yàn)原理 155
28．4 實(shí)驗(yàn)步驟 156
28．5 實(shí)驗(yàn)結(jié)果 158
實(shí)驗(yàn)二十九 Redis部署與簡單使用 160
29．1 實(shí)驗(yàn)?zāi)康?160
29．2 實(shí)驗(yàn)要求 160
29．3 實(shí)驗(yàn)原理 160
29．4 實(shí)驗(yàn)步驟 162
29．5 實(shí)驗(yàn)結(jié)果 163
實(shí)驗(yàn)三十 MapReduce與Spark讀寫Redis 164
30．1 實(shí)驗(yàn)?zāi)康?164
30．2 實(shí)驗(yàn)要求 164
30．3 實(shí)驗(yàn)原理 164
30．4 實(shí)驗(yàn)步驟 165
30．5 實(shí)驗(yàn)結(jié)果 170
實(shí)驗(yàn)三十一 MongoDB實(shí)驗(yàn)：讀寫MongoDB 172
31．1 實(shí)驗(yàn)?zāi)康?172
31．2 實(shí)驗(yàn)要求 172
31．3 實(shí)驗(yàn)原理 172
31．4 實(shí)驗(yàn)步驟 173
31．5 實(shí)驗(yàn)結(jié)果 177
實(shí)驗(yàn)三十二 LevelDB實(shí)驗(yàn)：讀寫LevelDB 178
32．1 實(shí)驗(yàn)?zāi)康?178
32．2 實(shí)驗(yàn)要求 178
32．3 實(shí)驗(yàn)原理 178
32．4 實(shí)驗(yàn)步驟 181
32．5 實(shí)驗(yàn)結(jié)果 183
實(shí)驗(yàn)三十三 Mahout實(shí)驗(yàn)：K-Means 184
33．1 實(shí)驗(yàn)?zāi)康?184
33．2 實(shí)驗(yàn)要求 184
33．3 實(shí)驗(yàn)原理 184
33．4 實(shí)驗(yàn)步驟 187
33．5 實(shí)驗(yàn)結(jié)果 188
實(shí)驗(yàn)三十四 使用Spark實(shí)現(xiàn)K-Means 189
34．1 實(shí)驗(yàn)?zāi)康?189
34．2 實(shí)驗(yàn)要求 189
34．3 實(shí)驗(yàn)原理 189
34．4 實(shí)驗(yàn)步驟 189
34．5 實(shí)驗(yàn)結(jié)果 191
實(shí)驗(yàn)三十五 使用Spark實(shí)現(xiàn)SVM 192
35．1 實(shí)驗(yàn)?zāi)康?192
35．2 實(shí)驗(yàn)要求 192
35．3 實(shí)驗(yàn)原理 192
35．4 實(shí)驗(yàn)步驟 194
35．5 實(shí)驗(yàn)結(jié)果 195
實(shí)驗(yàn)三十六 使用Spark實(shí)現(xiàn)FP-Growth 197
36．1 實(shí)驗(yàn)?zāi)康?197
36．2 實(shí)驗(yàn)要求 197
36．3 實(shí)驗(yàn)原理 197
36．4 實(shí)驗(yàn)步驟 199
36．5 實(shí)驗(yàn)結(jié)果 200
實(shí)驗(yàn)三十七 綜合實(shí)戰(zhàn)：車牌識(shí)別 202
37．1 實(shí)驗(yàn)?zāi)康?202
37．2 實(shí)驗(yàn)要求 202
37．3 實(shí)驗(yàn)步驟 202
37．4 實(shí)驗(yàn)結(jié)果 209
實(shí)驗(yàn)三十八 綜合實(shí)戰(zhàn)：搜索引擎 211
38．1 實(shí)驗(yàn)?zāi)康?211
38．2 實(shí)驗(yàn)要求 211
38．3 實(shí)驗(yàn)步驟 211
38．4 實(shí)驗(yàn)結(jié)果 236
實(shí)驗(yàn)三十九 綜合實(shí)戰(zhàn)：推薦系統(tǒng) 239
39．1 實(shí)驗(yàn)?zāi)康?239
39．2 實(shí)驗(yàn)要求 239
39．3 實(shí)驗(yàn)步驟 239
39．4 實(shí)驗(yàn)結(jié)果 245
實(shí)驗(yàn)四十 綜合實(shí)戰(zhàn)：環(huán)境大數(shù)據(jù) 247
40．1 實(shí)驗(yàn)?zāi)康?247
40．2 實(shí)驗(yàn)要求 247
40．3 實(shí)驗(yàn)原理 247
40．4 實(shí)驗(yàn)步驟 247
實(shí)驗(yàn)四十一 綜合實(shí)戰(zhàn)：智能硬件大數(shù)據(jù)托管 259
41．1 實(shí)驗(yàn)?zāi)康?259
41．2 實(shí)驗(yàn)要求 259
41．3 實(shí)驗(yàn)原理 259
41．4 實(shí)驗(yàn)步驟 261
41．5 實(shí)驗(yàn)結(jié)果 266
實(shí)驗(yàn)四十二 綜合實(shí)戰(zhàn)：貸款風(fēng)險(xiǎn)評(píng)估 268
42．1 實(shí)驗(yàn)?zāi)康?268
42．2 實(shí)驗(yàn)要求 268
42．3 實(shí)驗(yàn)原理 268
42．4 實(shí)驗(yàn)相關(guān) 269
42．5 實(shí)驗(yàn)結(jié)果 275