云計算大數(shù)據(jù)處理

第1章　大數(shù)據(jù)挑戰(zhàn) 001
1．1　當(dāng)前面臨的大數(shù)據(jù)挑戰(zhàn) 002
1．1．1　大數(shù)據(jù)急劇膨脹 002
1．1．2　大數(shù)據(jù)智能分析 004
1．1．3　大數(shù)據(jù)深度挖掘 005
1．1．4　業(yè)務(wù)與技術(shù)脫節(jié) 006
1．2　大數(shù)據(jù)催生云計算 007
1．2．1　云計算不是偶然 007
1．2．2　云計算帶來挑戰(zhàn)與機遇 011
1．2．3　云計算對大數(shù)據(jù)的意義 014
1．2．4　云計算的未來展望 015
1．3　大數(shù)據(jù)存儲 016
1．3．1　存儲僅是第一步 016
1．3．2　行存儲和列存儲 018
1．3．3　PB級大數(shù)據(jù)存儲 021
1．3．4　大數(shù)據(jù)存儲的未來 024
1．4　大數(shù)據(jù)處理 027
1．4．1　大數(shù)據(jù)處理的瓶頸 027
1．4．2　大數(shù)據(jù)處理的需求 031
1．4．3　大數(shù)據(jù)處理技術(shù)決定未來 032
1．4．4　大數(shù)據(jù)處理解決方案 035
參考文獻 037
第2章　當(dāng)前的大數(shù)據(jù)處理系統(tǒng) 039
2．1　開源大數(shù)據(jù)處理平臺 040
2．1．1　Hadoop 040
2．1．2　MapReduce 044
2．2　NoSQL數(shù)據(jù)庫 047
2．2．1　Google BigTable的開源Java實現(xiàn)：HBase 047
2．2．2　純分布式數(shù)據(jù)庫：Cassandra 050
2．2．3　NoSQL數(shù)據(jù)庫的應(yīng)用場景 051
2．3　數(shù)據(jù)倉庫平臺 052
2．3．1　Hive 052
2．3．2　數(shù)據(jù)倉庫平臺架構(gòu) 052
2．3．3　數(shù)據(jù)倉庫平臺的實現(xiàn) 053
參考文獻 054
第3章　數(shù)據(jù)立方簡介 055
3．1　數(shù)據(jù)立方的產(chǎn)生背景 056
3．2　數(shù)據(jù)立方的相關(guān)技術(shù) 056
3．2．1　云計算中的大數(shù)據(jù)處理技術(shù)—MapReduce 056
3．2．2　并行數(shù)據(jù)庫技術(shù) 058
3．2．3　云計算與數(shù)據(jù)庫相結(jié)合的技術(shù) 059
3．3　數(shù)據(jù)立方的架構(gòu)以及與Hadoop的關(guān)系 060
3．3．1　數(shù)據(jù)立方的體系架構(gòu) 061
3．3．2　數(shù)據(jù)立方與Hadoop的關(guān)系 067
參考文獻 068
第4章　數(shù)據(jù)立方及配套環(huán)境的安裝 069
4．1　安裝流程 070
4．2　操作系統(tǒng)的安裝 070
4．2．1　CentOS 6．2的安裝 070
4．2．2　JDK的安裝 075
4．2．3　配置SSH 075
4．2．4　配置/etc/hosts 076
4．2．5　修改機器主機名 077
4．2．6　配置NFS與NTP 077
4．3　Hadoop的安裝 078
4．3．1　Hadoop的版本 078
4．3．2　HDFS的配置安裝 078
4．3．3　MapReduce的配置安裝 082
4．4　數(shù)據(jù)立方的配置安裝 084
4．4．1　MySQL-Connector的安裝 084
4．4．2　編輯數(shù)據(jù)立方的配置文件 084
4．4．3　數(shù)據(jù)立方的啟動 088
4．5　監(jiān)控工具Ganglia的安裝 088
4．5．1　安裝依賴 088
4．5．2　安裝Ganglia 090
4．5．3　配置Ganglia 090
4．6　數(shù)據(jù)導(dǎo)入工具Sqoop的安裝 092
4．6．1　安裝前提 092
4．6．2　安裝步驟 092
參考文獻 093
第5章　Hello World數(shù)據(jù)立方快速入門 095
5．1　智慧交通數(shù)據(jù)處理實例 096
5．1．1　實例背景 096
5．1．2　建表 098
5．1．3　數(shù)據(jù)入庫 099
5．1．4　數(shù)據(jù)查詢 099
5．2　編程實現(xiàn) 100
第6章　數(shù)據(jù)立方開發(fā) 103
6．1　數(shù)據(jù)立方的開發(fā)說明 104
6．2　數(shù)據(jù)立方SQL規(guī)范 105
6．2．1　數(shù)據(jù)定義與數(shù)據(jù)操作語言 106
6．2．2　數(shù)據(jù)查詢語言 114
6．3　數(shù)據(jù)入庫接口開發(fā) 122
6．3．1　單條或多條記錄入庫Java開發(fā)包 122
6．3．2　開發(fā)說明 122
6．3．3　示例 123
6．4　數(shù)據(jù)查詢接口開發(fā) 124
6．4．1　Java開發(fā)包 124
6．4．2　接口介紹 125
6．4．3　示例 126
6．5　數(shù)據(jù)導(dǎo)入工具Sqoop命令及其使用 126
6．5．1　Sqoop命令及通用參數(shù) 127
6．5．2　Sqoop命令的使用 128
第7章　數(shù)據(jù)立方的維護 129
7．1　HDFS的維護 130
7．1．1　HDFS的dfsadmin命令 130
7．1．2　HDFS的Balancer工具 133
7．2　Shell的使用 135
7．2．1　數(shù)據(jù)立方Shell說明 135
7．2．2　數(shù)據(jù)定義與數(shù)據(jù)操作的Shell 135
7．2．3　數(shù)據(jù)查詢的Shell 136
7．3　數(shù)據(jù)立方的常見問題及其解決方法 136
7．3．1　問題1：datacube-shell．sh啟動后連接不上服務(wù)器 136
7．3．2　問題2：啟動時，有時可以看到報錯信息 137
7．3．3　問題3：查看運行日志 138
7．4　Sqoop的常見問題及其解決方法 138
7．4．1　MySQL的用戶問題 138
7．4．2　MySQL的權(quán)限問題 139
7．4．3　Sqoop的Path問題 139
7．4．4　Sqoop的Import問題 140
7．5　數(shù)據(jù)立方管理系統(tǒng) 140
7．5．1　登錄 140
7．5．2　集群管理 141
7．5．3　數(shù)據(jù)管理 143
7．5．4　表結(jié)構(gòu)管理 143
7．5．5　數(shù)據(jù)入庫 144
7．5．6　在線查詢 144
7．5．7　對外接口 145
7．5．8　文件管理 145
7．5．9　任務(wù)管理 146
7．5．10　告警管理 146
7．5．11　故障管理 148
參考文獻 148
第8章　數(shù)據(jù)立方的可靠性 149
8．1　Hadoop的可靠性 150
8．1．1　HDFS中NameNode的單點問題 150
8．1．2　HDFS數(shù)據(jù)塊副本機制 151
8．1．3　HDFS心跳機制 152
8．1．4　HDFS負(fù)載均衡 152
8．1．5　MapReduce容錯 153
8．2　Hadoop的SecondaryNameNode機制 154
8．2．1　磁盤鏡像與日志文件 154
8．2．2　SecondaryNameNode更新鏡像的流程 154
8．3　Avatar機制 157
8．3．1　Avatar系統(tǒng)架構(gòu) 158
8．3．2　Avatar元數(shù)據(jù)同步機制 159
8．3．3　故障切換過程 161
8．3．4　Avatar運行流程 163
8．3．5　Avatar故障切換流程 169
8．4　Avatar實戰(zhàn) 173
8．4．1　實驗環(huán)境 173
8．4．2　Avatar的編譯 174
8．4．3　Avatar的安裝和配置 176
8．4．4　Avatar啟動運行與宕機切換 185
8．5　數(shù)據(jù)立方的工作流程及可靠性 188
8．5．1　數(shù)據(jù)立方的架構(gòu) 188
8．5．2　數(shù)據(jù)立方的工作流程 189
8．5．3　數(shù)據(jù)立方的可靠性 189
參考文獻 190
第9章　數(shù)據(jù)統(tǒng)計分析實例——供電信息采集系統(tǒng) 191
9．1　客戶需求分析 192
9．1．1　測試過程及數(shù)據(jù)量描述 192
9．1．2　測試過程分解及效率統(tǒng)計 193
9．2　數(shù)據(jù)表設(shè)計 197
9．3　查詢語句設(shè)計與結(jié)果展現(xiàn) 200
9．4　查詢優(yōu)化 201
9．4．1　存儲方面的優(yōu)化 201
9．4．2　內(nèi)存方面的優(yōu)化 202
9．5　性能測試結(jié)果 202
9．5．1　數(shù)據(jù)下載解壓及標(biāo)記 202
9．5．2　數(shù)據(jù)解析入庫 203
9．5．3　數(shù)據(jù)計算流程 204
9．5．4　數(shù)據(jù)導(dǎo)入Oracle數(shù)據(jù)庫 205
9．5．5　查詢總時長統(tǒng)計 206
第10章　在線數(shù)據(jù)檢索實例——移動信令分析云平臺 207
10．1　需求分析 208
10．2　數(shù)據(jù)表設(shè)計 210
10．2．1　CDR數(shù)據(jù)文件的檢測與索引創(chuàng)建任務(wù)調(diào)度 211
10．2．2　從HDFS讀取數(shù)據(jù)并創(chuàng)建索引 212
10．2．3　查詢CDR信息 213
10．3　查詢語句設(shè)計與結(jié)果展現(xiàn) 213
10．3．1　CDR文件檢測和索引創(chuàng)建任務(wù)調(diào)度程序 213
10．3．2　讀取CDR數(shù)據(jù)和索引創(chuàng)建處理 218
10．3．3　CDR查詢 222
10．4　查詢優(yōu)化 225
10．5　性能測試結(jié)果 226
第11章　實時數(shù)據(jù)處理實例——地震數(shù)據(jù) 227
11．1　需求分析 228
11．2　數(shù)據(jù)表設(shè)計 229
11．3　查詢語句設(shè)計與結(jié)果展現(xiàn) 231
11．4　查詢優(yōu)化 232
11．4．1　存儲方面的優(yōu)化 232
11．4．2　計算方面的優(yōu)化 232
11．5　性能測試結(jié)果 233
11．5．1　單機模擬集群測試 233
11．5．2　字段測試 233
11．5．3　排序測試 234
11．5．4　隨機讀寫測試 235
附錄　大數(shù)據(jù)和人工智能實驗環(huán)境 237
名詞索引 251