大數(shù)據(jù)庫

目 錄
第1章 大數(shù)據(jù)庫概述 1
1．1 傳統(tǒng)關(guān)系型數(shù)據(jù)庫面臨的問題 1
1．2 大數(shù)據(jù)庫技術(shù) 2
1．2．1 列式數(shù)據(jù)庫 2
1．2．2 內(nèi)存數(shù)據(jù)庫 2
1．2．3 鍵值數(shù)據(jù)庫 3
1．2．4 流式數(shù)據(jù)庫 3
1．3 大數(shù)據(jù)SQL 3
1．4 當(dāng)前主流大數(shù)據(jù)SQL簡介 4
1．4．1 Hive 4
1．4．2 Impala 5
1．4．3 Shark 6
1．4．4 Spark SQL 7
1．5 本章總結(jié) 8
習(xí)題 9
參考文獻(xiàn) 9
第2章 分布式數(shù)據(jù)庫HBase 10
2．1 HBase基礎(chǔ) 10
2．1．1 體系架構(gòu) 10
2．1．2 數(shù)據(jù)模型 15
2．2 HBase操作簡介 17
2．2．1 HBase接口簡介 17
2．2．2 HBase Shell實(shí)戰(zhàn) 17
2．2．3 HBase API 20
2．3 HBase實(shí)戰(zhàn) 21
2．3．1 實(shí)戰(zhàn)HBase之綜例 21
2．3．2 實(shí)戰(zhàn)HBase之使用MapReduce構(gòu)建索引 22
習(xí)題 26
參考文獻(xiàn) 27
第3章 數(shù)據(jù)倉庫工具Hive 28
3．1 Hive簡介 28
3．1．1 工作原理 28
3．1．2 體系架構(gòu) 29
3．1．3 計(jì)算模型 30
3．1．4 Hive部署模式 31
3．2 Hive的使用 32
3．2．1 Hive的數(shù)據(jù)類型 32
3．2．2 Hive接口匯總 32
3．3 實(shí)戰(zhàn)Hive Shell 33
3．3．1 DDL操作 33
3．3．2 DML操作 34
3．3．3 SQL操作 34
3．4 實(shí)戰(zhàn)Hive之復(fù)雜語句 35
3．5 實(shí)戰(zhàn)Hive之綜合示例 37
3．6 實(shí)戰(zhàn)Hive API接口 38
3．6．1 UDF編程示例 38
3．6．2 UDAF編程示例 39
習(xí)題 40
參考文獻(xiàn) 41
第4章 大數(shù)據(jù)查詢系統(tǒng)Impala 42
4．1 Impala簡介 42
4．1．1 Impala的起源 42
4．1．2 Impala的特點(diǎn) 42
4．1．3 Impala 前輩及競爭對手 43
4．2 Impala工作原理 43
4．2．1 Impala 設(shè)計(jì)目標(biāo) 44
4．2．2 Impala 服務(wù)器組件 44
4．2．3 Impala 編程特點(diǎn) 45
4．2．4 Impala在Hadoop生態(tài)圈中的生存之道 45
4．3 Impala環(huán)境搭建 46
4．3．1 Impala 安裝前的考慮 47
4．3．2 Impala 安裝途徑與安裝示范 50
4．4 Impala操作實(shí)例 61
4．4．1 Impala 基本操作 62
4．4．2 Impala 數(shù)據(jù)庫操作 62
習(xí)題 66
參考文獻(xiàn) 66
第5章 內(nèi)存數(shù)據(jù)庫Spark 67
5．1 Spark簡介 67
5．1．1 Spark的引入 67
5．1．2 Spark生態(tài)系統(tǒng)BDAS 69
5．1．3 Spark系統(tǒng)架構(gòu) 75
5．1．4 Spark工作流程 77
5．1．5 Spark應(yīng)用案例 78
5．2 Spark計(jì)算模型 80
5．2．1 Spark程序模型 81
5．2．2 彈性分布式數(shù)據(jù)集（RDD） 81
5．2．3 Spark算子 84
5．3 Spark工作機(jī)制 85
5．3．1 Spark運(yùn)行機(jī)制 85
5．3．2 Spark調(diào)度機(jī)制 87
5．3．3 Spark I/O機(jī)制 93
5．3．4 Spark通信機(jī)制 94
5．3．5 Spark容錯(cuò)機(jī)制 97
5．3．6 Spark Shuffle機(jī)制 101
5．4 Scala快速入門 102
5．4．1 Scala解釋器 103
5．4．2 變量 103
5．4．3 函數(shù) 104
5．4．4 編寫Scala腳本 105
5．4．5 while 配合if實(shí)現(xiàn)循環(huán) 105
5．4．6 foreach和 for 來實(shí)現(xiàn)迭代 105
5．4．7 類型參數(shù)化數(shù)組 106
5．4．8 Lists 107
5．4．9 使用元組（Tuples） 108
5．4．10 Sets和Maps 108
5．4．11 函數(shù)編程風(fēng)格 109
5．4．12 讀取文件 110
5．5 Spark環(huán)境部署 110
5．5．1 安裝與配置Spark 110
5．5．2 Intellij IDEA構(gòu)建Spark開發(fā)環(huán)境 118
5．5．3 SBT構(gòu)建Spark程序 121
5．5．4 編譯Spark程序 122
5．5．5 遠(yuǎn)程調(diào)試Spark程序 123
5．5．6 生成Spark部署包 124
5．6 Spark 編程案例 124
5．6．1 WordCount 125
5．6．2 Top K 127
5．6．3 倒排索引 128
習(xí)題 130
參考文獻(xiàn) 131
第6章 Spark SQL 132
6．1 Spark SQL簡介 132
6．1．1 Spark SQL發(fā)展歷程 132
6．1．2 Spark SQL 架構(gòu) 133
6．2 Spark SQL編程基礎(chǔ) 137
6．2．1 數(shù)據(jù)類型及表達(dá)式 137
6．2．2 Spark SQL查詢引擎Catalyst 138
6．2．3 SQL DSL API 142
6．2．4 Spark SQL ThriftServer和CLI 144
6．2．5 Spark SQL常用操作 146
6．3 Spark SQL實(shí)戰(zhàn) 151
6．3．1 Spark SQL開發(fā)環(huán)境搭建 151
6．3．2 Spark SQL使用入門 166
習(xí)題 173
參考文獻(xiàn) 173
第7章 鍵值數(shù)據(jù)庫 174
7．1 概述 174
7．1．1 鍵值存儲(chǔ) 174
7．1．2 鍵值數(shù)據(jù)庫 176
7．2 Redis 178
7．2．1 簡介 178
7．2．2 Redis數(shù)據(jù)服務(wù)及集群技術(shù) 180
7．2．3 Redis安裝 186
7．2．4 Redis數(shù)據(jù)操作 187
7．2．5 案例：網(wǎng)站訪問歷史記錄查詢 193
7．3 Memcached 198
7．3．1 簡介 198
7．3．2 Memcached緩存技術(shù) 198
7．3．3 Memcached安裝 200
7．3．4 Memcached數(shù)據(jù)操作 203
7．3．5 Memcached分布式技術(shù) 206
7．3．6 案例：論壇帖子信息緩存 207
7．4 典型應(yīng)用及局限 208
7．4．1 典型應(yīng)用 209
7．4．2 鍵值數(shù)據(jù)庫局限 211
習(xí)題 211
參考文獻(xiàn) 212
第8章 流式數(shù)據(jù)庫 213
8．1 流式計(jì)算模型 213
8．1．1 流式計(jì)算概念 213
8．1．2 流式計(jì)算數(shù)據(jù)特點(diǎn) 215
8．1．3 流式計(jì)算典型應(yīng)用 216
8．1．4 典型流式計(jì)算平臺(tái) 216
8．2 流式計(jì)算關(guān)鍵技術(shù) 218
8．2．1 計(jì)算拓?fù)?218
8．2．2 消息傳遞 220
8．2．3 高可用性 222
8．2．4 語義保障 224
8．2．5 其他關(guān)鍵技術(shù) 225
8．3 Storm平臺(tái) 225
8．3．1 Storm簡介 225
8．3．2 Storm原理 227
8．3．3 Storm部署 237
8．3．4 案例：Maven環(huán)境下的Storm編程 242
8．4 Spark Streaming平臺(tái) 246
8．4．1 Spark Streaming簡介 247
8．4．2 Spark Streaming原理 248
8．4．3 案例：集群環(huán)境下的Spark Streaming編程 249
習(xí)題 261
參考文獻(xiàn) 262
第9章 數(shù)據(jù)應(yīng)用托管平臺(tái)Docker 263
9．1 Docker技術(shù)簡介 263
9．1．1 Docker是什么 263
9．1．2 Docker的架構(gòu)和流程 265
9．2 Docker的優(yōu)勢和局限 266
9．2．1 Docker的優(yōu)勢 266
9．2．2 Docker的局限性 268
9．3 基于Docker的大數(shù)據(jù)系統(tǒng)設(shè)計(jì) 270
9．3．1 分布式Docker網(wǎng)絡(luò)環(huán)境的搭建 270
9．3．2 Docker集群管理系統(tǒng)：Kubernetes 271
習(xí)題 277
參考文獻(xiàn) 278