大數(shù)據(jù)庫

目 錄
第1章 大數(shù)據(jù)庫概述 1
1．1 傳統(tǒng)關(guān)系型數(shù)據(jù)庫面臨的問題 1
1．2 大數(shù)據(jù)庫技術(shù) 2
1．2．1 列式數(shù)據(jù)庫 2
1．2．2 內(nèi)存數(shù)據(jù)庫 2
1．2．3 鍵值數(shù)據(jù)庫 3
1．2．4 流式數(shù)據(jù)庫 3
1．3 大數(shù)據(jù)SQL 3
1．4 當前主流大數(shù)據(jù)SQL簡介 4
1．4．1 Hive 4
1．4．2 Impala 5
1．4．3 Shark 6
1．4．4 Spark SQL 7
1．5 本章總結(jié) 8
習題 9
參考文獻 9
第2章 分布式數(shù)據(jù)庫HBase 10
2．1 HBase基礎(chǔ) 10
2．1．1 體系架構(gòu) 10
2．1．2 數(shù)據(jù)模型 15
2．2 HBase操作簡介 17
2．2．1 HBase接口簡介 17
2．2．2 HBase Shell實戰(zhàn) 17
2．2．3 HBase API 20
2．3 HBase實戰(zhàn) 21
2．3．1 實戰(zhàn)HBase之綜例 21
2．3．2 實戰(zhàn)HBase之使用MapReduce構(gòu)建索引 22
習題 26
參考文獻 27
第3章 數(shù)據(jù)倉庫工具Hive 28
3．1 Hive簡介 28
3．1．1 工作原理 28
3．1．2 體系架構(gòu) 29
3．1．3 計算模型 30
3．1．4 Hive部署模式 31
3．2 Hive的使用 32
3．2．1 Hive的數(shù)據(jù)類型 32
3．2．2 Hive接口匯總 32
3．3 實戰(zhàn)Hive Shell 33
3．3．1 DDL操作 33
3．3．2 DML操作 34
3．3．3 SQL操作 34
3．4 實戰(zhàn)Hive之復(fù)雜語句 35
3．5 實戰(zhàn)Hive之綜合示例 37
3．6 實戰(zhàn)Hive API接口 38
3．6．1 UDF編程示例 38
3．6．2 UDAF編程示例 39
習題 40
參考文獻 41
第4章 大數(shù)據(jù)查詢系統(tǒng)Impala 42
4．1 Impala簡介 42
4．1．1 Impala的起源 42
4．1．2 Impala的特點 42
4．1．3 Impala 前輩及競爭對手 43
4．2 Impala工作原理 43
4．2．1 Impala 設(shè)計目標 44
4．2．2 Impala 服務(wù)器組件 44
4．2．3 Impala 編程特點 45
4．2．4 Impala在Hadoop生態(tài)圈中的生存之道 45
4．3 Impala環(huán)境搭建 46
4．3．1 Impala 安裝前的考慮 47
4．3．2 Impala 安裝途徑與安裝示范 50
4．4 Impala操作實例 61
4．4．1 Impala 基本操作 62
4．4．2 Impala 數(shù)據(jù)庫操作 62
習題 66
參考文獻 66
第5章 內(nèi)存數(shù)據(jù)庫Spark 67
5．1 Spark簡介 67
5．1．1 Spark的引入 67
5．1．2 Spark生態(tài)系統(tǒng)BDAS 69
5．1．3 Spark系統(tǒng)架構(gòu) 75
5．1．4 Spark工作流程 77
5．1．5 Spark應(yīng)用案例 78
5．2 Spark計算模型 80
5．2．1 Spark程序模型 81
5．2．2 彈性分布式數(shù)據(jù)集（RDD） 81
5．2．3 Spark算子 84
5．3 Spark工作機制 85
5．3．1 Spark運行機制 85
5．3．2 Spark調(diào)度機制 87
5．3．3 Spark I/O機制 93
5．3．4 Spark通信機制 94
5．3．5 Spark容錯機制 97
5．3．6 Spark Shuffle機制 101
5．4 Scala快速入門 102
5．4．1 Scala解釋器 103
5．4．2 變量 103
5．4．3 函數(shù) 104
5．4．4 編寫Scala腳本 105
5．4．5 while 配合if實現(xiàn)循環(huán) 105
5．4．6 foreach和 for 來實現(xiàn)迭代 105
5．4．7 類型參數(shù)化數(shù)組 106
5．4．8 Lists 107
5．4．9 使用元組（Tuples） 108
5．4．10 Sets和Maps 108
5．4．11 函數(shù)編程風格 109
5．4．12 讀取文件 110
5．5 Spark環(huán)境部署 110
5．5．1 安裝與配置Spark 110
5．5．2 Intellij IDEA構(gòu)建Spark開發(fā)環(huán)境 118
5．5．3 SBT構(gòu)建Spark程序 121
5．5．4 編譯Spark程序 122
5．5．5 遠程調(diào)試Spark程序 123
5．5．6 生成Spark部署包 124
5．6 Spark 編程案例 124
5．6．1 WordCount 125
5．6．2 Top K 127
5．6．3 倒排索引 128
習題 130
參考文獻 131
第6章 Spark SQL 132
6．1 Spark SQL簡介 132
6．1．1 Spark SQL發(fā)展歷程 132
6．1．2 Spark SQL 架構(gòu) 133
6．2 Spark SQL編程基礎(chǔ) 137
6．2．1 數(shù)據(jù)類型及表達式 137
6．2．2 Spark SQL查詢引擎Catalyst 138
6．2．3 SQL DSL API 142
6．2．4 Spark SQL ThriftServer和CLI 144
6．2．5 Spark SQL常用操作 146
6．3 Spark SQL實戰(zhàn) 151
6．3．1 Spark SQL開發(fā)環(huán)境搭建 151
6．3．2 Spark SQL使用入門 166
習題 173
參考文獻 173
第7章 鍵值數(shù)據(jù)庫 174
7．1 概述 174
7．1．1 鍵值存儲 174
7．1．2 鍵值數(shù)據(jù)庫 176
7．2 Redis 178
7．2．1 簡介 178
7．2．2 Redis數(shù)據(jù)服務(wù)及集群技術(shù) 180
7．2．3 Redis安裝 186
7．2．4 Redis數(shù)據(jù)操作 187
7．2．5 案例：網(wǎng)站訪問歷史記錄查詢 193
7．3 Memcached 198
7．3．1 簡介 198
7．3．2 Memcached緩存技術(shù) 198
7．3．3 Memcached安裝 200
7．3．4 Memcached數(shù)據(jù)操作 203
7．3．5 Memcached分布式技術(shù) 206
7．3．6 案例：論壇帖子信息緩存 207
7．4 典型應(yīng)用及局限 208
7．4．1 典型應(yīng)用 209
7．4．2 鍵值數(shù)據(jù)庫局限 211
習題 211
參考文獻 212
第8章 流式數(shù)據(jù)庫 213
8．1 流式計算模型 213
8．1．1 流式計算概念 213
8．1．2 流式計算數(shù)據(jù)特點 215
8．1．3 流式計算典型應(yīng)用 216
8．1．4 典型流式計算平臺 216
8．2 流式計算關(guān)鍵技術(shù) 218
8．2．1 計算拓撲 218
8．2．2 消息傳遞 220
8．2．3 高可用性 222
8．2．4 語義保障 224
8．2．5 其他關(guān)鍵技術(shù) 225
8．3 Storm平臺 225
8．3．1 Storm簡介 225
8．3．2 Storm原理 227
8．3．3 Storm部署 237
8．3．4 案例：Maven環(huán)境下的Storm編程 242
8．4 Spark Streaming平臺 246
8．4．1 Spark Streaming簡介 247
8．4．2 Spark Streaming原理 248
8．4．3 案例：集群環(huán)境下的Spark Streaming編程 249
習題 261
參考文獻 262
第9章 數(shù)據(jù)應(yīng)用托管平臺Docker 263
9．1 Docker技術(shù)簡介 263
9．1．1 Docker是什么 263
9．1．2 Docker的架構(gòu)和流程 265
9．2 Docker的優(yōu)勢和局限 266
9．2．1 Docker的優(yōu)勢 266
9．2．2 Docker的局限性 268
9．3 基于Docker的大數(shù)據(jù)系統(tǒng)設(shè)計 270
9．3．1 分布式Docker網(wǎng)絡(luò)環(huán)境的搭建 270
9．3．2 Docker集群管理系統(tǒng)：Kubernetes 271
習題 277
參考文獻 278