大數(shù)據技術入門

第1章  大數(shù)據時代 1
1.1  什么是大數(shù)據 1
1.2  大數(shù)據的四大特征 2
1.3  大數(shù)據的商用化 3
1.4  大數(shù)據分析 5
1.5  大數(shù)據與云計算的關系 5
1.6  大數(shù)據的國家戰(zhàn)略 6
1.6.1  政府大數(shù)據的價值 7
1.6.2  政府大數(shù)據的應用場景 8
1.7  企業(yè)如何迎接大數(shù)據 8
1.7.1  評估大數(shù)據方案的維度 9
1.7.2  業(yè)務價值維度 10
1.7.3  數(shù)據維度 11
1.7.4  現(xiàn)有IT環(huán)境和成本維度 12
1.7.5  數(shù)據治理維度 13
1.8  大數(shù)據產業(yè)鏈分析 14
1.8.1  技術分析 14
1.8.2  角色分析 15
1.8.3  大數(shù)據運營 17
1.9  大數(shù)據交易 18
1.10  大數(shù)據之我見 19
第2章  大數(shù)據軟件框架 20
2.1  Hadoop框架 20
2.1.1  HDFS（分布式文件系統(tǒng)） 21
2.1.2  MapReduce（分布式計算框架） 22
2.1.3  YARN（集群資源管理器） 25
2.1.4  Zookeeper（分布式協(xié)作服務） 28
2.1.5  Ambari（管理工具） 29
2.2  Spark（內存計算框架） 29
2.2.1  Scala 31
2.2.2  Spark SQL 32
2.2.3  Spark Streaming 33
2.3  實時流處理框架 34
2.4  框架的選擇 35
第3章  安裝與配置大數(shù)據軟件 36
3.1  Hadoop發(fā)行版 36
3.1.1  Cloudera 36
3.1.2  HortonWorks 37
3.1.3  MapR 38
3.2  安裝Hadoop前的準備工作 39
3.2.1  Linux主機配置 40
3.2.2  配置Java環(huán)境 41
3.2.3  安裝NTP和python 42
3.2.4  安裝和配置openssl 43
3.2.5  啟動和停止特定服務 44
3.2.6  配置SSH無密碼訪問 44
3.3  安裝Ambari 和 HDP 45
3.3.1  配置安裝包文件 45
3.3.2  安裝 Ambari 46
3.3.3  安裝和配置HDP 47
3.4  初識Hadoop 49
3.4.1  啟動和停止服務 50
3.4.2  使用HDFS 51
3.5  Hadoop的特性 52
第4章  大數(shù)據存儲：文件系統(tǒng) 53
4.1  HDFS shell命令 53
4.2  HDFS配置文件 55
4.3  HDFS API編程 57
4.3.1  讀取HDFS文件內容 57
4.3.2  寫HDFS文件內容 60
4.4  HDFS API總結 62
4.4.1  Configuration類 62
4.4.2  FileSystem抽象類 62
4.4.3  Path類 63
4.4.4  FSDataInputStream類 63
4.4.5  FSDataOutputStream類 63
4.4.6  IOUtils類 63
4.4.7  FileStatus類 64
4.4.8  FsShell類 64
4.4.9  ChecksumFileSystem抽象類 64
4.4.10  其他HDFS API實例 64
4.4.11  綜合實例 67
4.5  HDFS文件格式 69
4.5.1  SequenceFile 70
4.5.2  TextFile（文本格式） 70
4.5.3  RCFile 70
4.5.4  Avro 72
第5章  大數(shù)據存儲：數(shù)據庫 73
5.1  NoSQL 73
5.2  HBase管理 74
5.2.1  HBase表結構 75
5.2.2  HBase系統(tǒng)架構 78
5.2.3  啟動并操作HBase數(shù)據庫 80
5.2.4  HBase Shell工具 82
5.3  HBase編程 86
5.3.1  增刪改查API 86
5.3.2  過濾器 90
5.3.3  計數(shù)器 93
5.3.4  原子操作 94
5.3.5  管理API 94
5.4  其他NoSQL數(shù)據庫 95
第6章  大數(shù)據訪問：SQL引擎層 97
6.1  Phoenix 97
6.1.1  安裝和配置Phoenix 98
6.1.2  在eclipse上開發(fā)phoenix程序 104
6.1.3  Phoenix SQL工具 108
6.1.4  Phoenix SQL 語法 109
6.2  Hive 111
6.2.1  Hive架構 111
6.2.2  安裝Hive 112
6.2.3  Hive和MySQL的配置 114
6.2.4  Hive CLI 115
6.2.5  Hive數(shù)據類型 115
6.2.6  HiveQL DDL 119
6.2.7  HiveQL DML 121
6.2.8  Hive編程 123
6.2.9  HBase集成 125
6.2.10  XML和JSON數(shù)據 127
6.2.11  使用Tez 128
6.3  Pig 130
6.3.1  Pig語法 131
6.3.2  Pig和Hive的使用場景比較 134
6.4  ElasticSearch（全文搜索引擎） 136
6.4.1  全文索引的基礎知識 136
6.4.2  安裝和配置ES 138
6.4.3  ES API 140
第7章  大數(shù)據采集和導入 143
7.1  Flume 145
7.1.1  Flume架構 145
7.1.2  Flume事件 146
7.1.3  Flume源 147
7.1.4  Flume攔截器（Interceptor） 148
7.1.5  Flume通道選擇器（Channel Selector） 149
7.1.6  Flume通道 150
7.1.7  Flume接收器 151
7.1.8  負載均衡和單點失敗 153
7.1.9  Flume監(jiān)控管理 153
7.1.10  Flume實例 154
7.2  Kafka 155
7.2.1  Kafka架構 156
7.2.2  Kafka與JMS的異同 158
7.2.3  Kafka性能考慮 158
7.2.4  消息傳送機制 159
7.2.5  Kafka和Flume的比較 159
7.3  Sqoop 160
7.3.1  從數(shù)據庫導入HDFS 160
7.3.2  增量導入 163
7.3.3  將數(shù)據從Oracle導入Hive 163
7.3.4  將數(shù)據從Oracle導入HBase 164
7.3.5  導入所有表 165
7.3.6  從HDFS導出數(shù)據 165
7.3.7  數(shù)據驗證 165
7.3.8  其他Sqoop功能 165
7.4  Storm 167
7.4.1  Storm基本概念 168
7.4.2  spout 169
7.4.3  bolt 171
7.4.4  拓撲 173
7.4.5   Storm總結 175
7.5  Splunk 175
第8章  大數(shù)據管理平臺 177
8.1  大數(shù)據建設總體架構 177
8.2  大數(shù)據管理平臺的必要性 178
8.3  大數(shù)據管理平臺的功能 179
8.3.1  推進數(shù)據資源全面整合共享 179
8.3.2  增強數(shù)據管理水平 180
8.3.3  支撐創(chuàng)新大數(shù)據分析 180
8.4  數(shù)據管理平臺（DMP） 180
8.5  EasyDoop案例分析 182
8.5.1  大數(shù)據建模平臺 183
8.5.2  大數(shù)據交換和共享平臺 184
8.5.3  大數(shù)據云平臺 185
8.5.4  大數(shù)據服務平臺 186
8.5.5  EasyDoop平臺技術原理分析 188
第9章  Spark技術 192
9.1  Spark框架 192
9.1.1  安裝Spark 193
9.1.2  配置Spark 194
9.2  Spark Shell 195
9.3  Spark編程 198
9.3.1  編寫Spark API程序 198
9.3.2  使用sbt編譯并打成jar包 199
9.3.3  運行程序 200
9.4  RDD 200
9.4.1  RDD算子和RDD依賴關系 201
9.4.2  RDD轉換操作 203
9.4.3  RDD行動（Action）操作 204
9.4.4  RDD控制操作 205
9.4.5  RDD實例 205
9.5  Spark SQL 208
9.5.1  DataFrame 209
9.5.2  RDD轉化為DataFrame 213
9.5.3  JDBC數(shù)據源 215
9.5.4  Hive數(shù)據源 216
9.6  Spark Streaming 217
9.6.1  DStream編程模型 218
9.6.2  DStream操作 221
9.6.3  性能考慮 223
9.6.4  容錯能力 224
9.7  GraphX圖計算框架 224
9.7.1  屬性圖 226
9.7.2  圖操作符 228
9.7.3  屬性操作 231
9.7.4  結構操作 231
9.7.5  關聯(lián)（join）操作 233
9.7.6  聚合操作 234
9.7.7  計算度信息 235
9.7.8  緩存操作 236
9.7.9  圖算法 236
第10章  大數(shù)據分析 238
10.1  數(shù)據科學 239
10.1.1  探索性數(shù)據分析 240
10.1.2  描述統(tǒng)計 241
10.1.3  數(shù)據可視化 241
10.2  預測分析 244
10.2.1  預測分析實例 244
10.2.2  回歸（Regression）分析預測法 246
10.3  機器學習 247
10.3.1  機器學習的市場動態(tài) 248
10.3.2  機器學習分類 249
10.3.3  機器學習算法 251
10.4  Spark MLib 252
10.4.1  MLib架構 253
10.4.2  MLib算法庫 253
10.4.3  決策樹 257
10.5  深入了解算法 261
10.5.1  分類算法 262
10.5.2  預測算法 263
10.5.3  聚類分析 263
10.5.4  關聯(lián)分析 264
10.5.5  異常值分析算法 266
10.5.6  協(xié)同過濾（推薦引擎）算法 267
10.6  Mahout簡介 267
第11章  案例分析：環(huán)保大數(shù)據 268
11.1  環(huán)保大數(shù)據管理平臺 268
11.2  環(huán)保大數(shù)據應用平臺 269
11.2.1  環(huán)境自動監(jiān)測監(jiān)控服務 270
11.2.2  綜合查詢服務 272
11.2.3  統(tǒng)計分析服務 272
11.2.4  GIS服務 274
11.2.5  視頻服務 274
11.2.6  預警服務 275
11.2.7  應急服務 276
11.2.8  電子政務服務 277
11.2.9  智能化運營管理系統(tǒng) 279
11.2.10  環(huán)保移動應用系統(tǒng) 279
11.2.11  空氣質量發(fā)布系統(tǒng) 280
11.3  環(huán)保大數(shù)據分析系統(tǒng) 280
第12章  案例分析：公安大數(shù)據 281
12.1  總體架構設計 281
12.2  建設內容 282
12.3  建設步驟 284
附錄 1  數(shù)據量的單位級別 285
附錄 2  Linux Shell常見命令 286
附錄 3  Ganglia（分布式監(jiān)控系統(tǒng)） 289
附錄 4  auth-ssh腳本 290
附錄 5  作者簡介 292