實(shí)戰(zhàn)Hadoop 2.0：從云計(jì)算到大數(shù)據(jù)（第二版）

目 錄|第1章| 大數(shù)據(jù)組件概述 11.1 Google大數(shù)據(jù)組件 21.2 Apache大數(shù)據(jù)組件 61.2.1 Hadoop核心組件 71.2.2 基于MR的數(shù)據(jù)分析組件 101.2.3 數(shù)據(jù)庫(kù)組件 161.2.4 BSP組件 191.2.5 基于YARN框架組件 201.2.6 基于YARN的編程類庫(kù)組件 241.2.7 搜索引擎組件 251.2.8 工作流組件 261.2.9 數(shù)據(jù)流組件 271.2.10 序列化和持久化組件 291.2.11 調(diào)試工具 301.2.12 安全性組件 311.2.13 兼容性組件 331.2.14 集群部署與管理組件 33習(xí)題 34參考文獻(xiàn) 35|第2章| 大數(shù)據(jù)集群 392.1 大數(shù)據(jù)集群簡(jiǎn)介 402.2 大數(shù)據(jù)集群bigCstor 452.3 我的大數(shù)據(jù)集群littleCstor 482.4 小結(jié) 52習(xí)題 52參考文獻(xiàn) 53|第3章| 集群管理工具Ambari 553.1 Ambari簡(jiǎn)介 563.2 使用Ambari部署HDP 593.3 使用Ambari搭建littleCstor 623.3.1 相關(guān)約定 623.3.2 制定部署規(guī)劃 633.3.3 搭建prelittleCstor 643.3.4 本地建倉(cāng) 723.3.5 部署AmbariServer 773.3.6 搭建littleCstor 833.3.7 小結(jié) 1053.4 使用Ambari管理littleCstor 1103.5 小結(jié) 111習(xí)題 111參考文獻(xiàn) 111|第4章| 分布式文件系統(tǒng)HDFS 1134.1 分布式存儲(chǔ)引例 1144.1.1 問題描述 1144.1.2 常規(guī)解決方案 1154.1.3 分布式解決方案 1174.2 HDFS簡(jiǎn)介 1244.2.1 HDFS邏輯架構(gòu) 1244.2.2 HDFS物理拓?fù)?1294.2.3 HDFS部署 1334.2.4 HDFS其他概念[9] 1354.3 HDFS接口 1384.4 實(shí)戰(zhàn)HDFS Shell 1404.4.1 HDFS文件級(jí)命令集 1414.4.2 HDFS系統(tǒng)級(jí)命令集 1434.5 實(shí)戰(zhàn)WebHDFS 1494.5.1 WebHDFS簡(jiǎn)介 1494.5.2 WebHDFS示例 1514.6 實(shí)戰(zhàn)HDFS JAVA API 1564.6.1 搭建開發(fā)環(huán)境 1564.6.2 常規(guī)操作示例 1584.7 實(shí)戰(zhàn)HDFS大項(xiàng)目：用HDFS存儲(chǔ)海量視頻數(shù)據(jù) 1634.7.1 應(yīng)用場(chǎng)景 1634.7.2 設(shè)計(jì)實(shí)現(xiàn) 164習(xí)題 166參考文獻(xiàn) 166 |第5章| 分布式資源管理器YARN 1695.1 分布式資源管理器引例 1705.1.1 分布式資源管理器簡(jiǎn)介 1705.1.2 分布式資源管理器架構(gòu) 1735.2 YARN簡(jiǎn)介 1775.2.1 基礎(chǔ)概念 1775.2.2 物理拓?fù)?1795.2.3 體系架構(gòu) 1805.2.4 集群部署 1905.3 YARN接口 1925.4 實(shí)戰(zhàn)YARN Shell 1945.4.1 系統(tǒng)級(jí)命令 1955.4.2 程序級(jí)命令 1975.4.3 其他輔助命令 1995.5 實(shí)戰(zhàn)YARN編程 1995.5.1 常見并行化范式 1995.5.2 YARN編程步驟 2055.6 實(shí)戰(zhàn)YARN編程之DistributedShell 2135.6.1 DistributedShell簡(jiǎn)介 2135.6.2 編寫DistributedShell 2145.7 實(shí)戰(zhàn)YARN編程之三大范式 2215.7.1 DistributedShell 2225.7.2 MapReduce 2225.7.3 Giraph 223習(xí)題 224參考文獻(xiàn) 224|第6章| 分布式并行處理MapReduce 2256.1 并行化范式M-S-R引例 2266.1.1 問題描述 2266.1.2 常規(guī)解決方案 2276.1.3 分布式解決方案 2286.1.4 小結(jié) 2346.2 MapReduce簡(jiǎn)介[1] 2346.2.1 基本概念 2356.2.2 編程模型 2376.2.3 集群部署 2396.2.4 體系架構(gòu) 2416.2.5 執(zhí)行過程 2456.3 MapReduce接口 2476.4 實(shí)戰(zhàn)MapReduce Shell 2506.5 實(shí)戰(zhàn)MapReduce編程 2536.6 實(shí)戰(zhàn)MapReduce編程之WordCount[3] 2566.6.1 WordCount代碼分析 2566.6.2 WordCount處理過程 2606.7 實(shí)戰(zhàn)MapReduce編程之SecondarySort 2616.8 實(shí)戰(zhàn)MapReduce編程之倒排索引 2656.8.1 簡(jiǎn)介 2656.8.2 分析與設(shè)計(jì) 2666.8.3 倒排索引完整源碼 2696.9 實(shí)戰(zhàn)MapReduce之性能優(yōu)化 271習(xí)題 280參考文獻(xiàn) 280|第7章| 分布式鎖服務(wù)ZooKeeper 2817.1 ZooKeeper簡(jiǎn)介 2827.1.1 ZooKeeper應(yīng)用場(chǎng)景 2827.1.2 ZooKeeper體系架構(gòu)[3] 2857.1.3 ZooKeeper服務(wù)模型 2877.1.4 ZooKeeper部署 2897.2 ZooKeeper接口 2927.2.1 接口匯總 2927.2.2 實(shí)戰(zhàn)ZooKeeper Shell 2927.3 實(shí)戰(zhàn)ZooKeeper編程 2947.4 實(shí)戰(zhàn)ZooKeeper之進(jìn)程通信 2967.5 實(shí)戰(zhàn)ZooKeeper之進(jìn)程調(diào)度系統(tǒng) 2977.5.1 設(shè)計(jì)方案 2977.5.2 設(shè)計(jì)實(shí)現(xiàn) 2977.6 實(shí)戰(zhàn)ZooKeeper之實(shí)現(xiàn)NameNode自動(dòng)切換 3037.6.1 設(shè)計(jì)思想 3047.6.2 詳細(xì)設(shè)計(jì) 3047.6.3 編碼 3057.6.4 實(shí)戰(zhàn)總結(jié) 310習(xí)題 311參考文獻(xiàn) 311|第8章| 分布式數(shù)據(jù)庫(kù)HBase 3138.1 HBase簡(jiǎn)介 3148.1.1 體系架構(gòu) 3148.1.2 數(shù)據(jù)模型 3208.1.3 集群部署[21] 3218.2 HBase接口 3268.3 實(shí)戰(zhàn)HBase Shell 3278.4 實(shí)戰(zhàn)HBase API 3298.5 實(shí)戰(zhàn)HBase之綜例 3308.6 實(shí)戰(zhàn)HBase之使用MapReduce構(gòu)建索引 3328.6.1 索引表藍(lán)圖 3328.6.2 HBase和MapReduce 3338.6.3 實(shí)現(xiàn)索引 334習(xí)題 336參考文獻(xiàn) 337|第9章| 內(nèi)存型計(jì)算框架Spark 3399.1 Spark簡(jiǎn)介 3409.1.1 基礎(chǔ)概念 3409.1.2 體系架構(gòu) 3469.1.3 集群部署 3589.1.4 計(jì)算模型 3669.1.5 工作機(jī)制 3749.1.6 其他特性 3759.2 Spark接口 3779.3 實(shí)戰(zhàn)Spark Shell 3799.3.1 集群管理 3799.3.2 任務(wù)管理 3819.4 實(shí)戰(zhàn)Spark編程之RDD 3839.4.1 RDD屬性 3839.4.2 并行化證明RDD、調(diào)試RDD 3869.4.3 RDD操作 3899.5 實(shí)戰(zhàn)Spark之WordCount[3] 3969.6 實(shí)戰(zhàn)Spark之MLLib 397習(xí)題 398參考文獻(xiàn) 398 |第10章| 數(shù)據(jù)流實(shí)時(shí)處理系統(tǒng)Storm 39910.1 Storm簡(jiǎn)介 40010.1.1 與Hadoop的關(guān)系 40010.1.2 基礎(chǔ)概念 40210.1.3 體系架構(gòu) 40810.1.4 集群部署[4] 41210.1.5 計(jì)算模型 42110.2 Storm接口 45010.3 實(shí)戰(zhàn)Storm Shell 45210.4 實(shí)戰(zhàn)Storm API之RollingTopWords 455習(xí)題 457參考文獻(xiàn) 458|第11章| 數(shù)據(jù)倉(cāng)庫(kù)工具Hive 45911.1 Hive簡(jiǎn)介 46011.1.1 工作原理 46011.1.2 體系架構(gòu) 46111.1.3 計(jì)算模型 46211.1.4 集群部署 46311.2 Hive接口 46711.2.1 接口匯總 46711.2.2 實(shí)戰(zhàn)Hive Web 46711.3 實(shí)戰(zhàn)Hive Shell 46811.3.1 DDL Operations 46811.3.2 DML Operations 46911.3.3 SQL Operations 47011.4 實(shí)戰(zhàn)Hive之復(fù)雜語(yǔ)句 47111.5 實(shí)戰(zhàn)Hive之綜合示例 47311.6 實(shí)戰(zhàn)Hive API接口 47411.6.1 UDF編程示例[3] 47411.6.2 UDAF編程示例 475習(xí)題 477參考文獻(xiàn) 477|第12章| 其他常見大數(shù)據(jù)組件 47912.1 Pig 48012.1.1 Pig簡(jiǎn)介 48012.1.2 實(shí)戰(zhàn)Pig 48312.2 Oozie 48312.2.1 Oozie簡(jiǎn)介 48312.2.2 實(shí)戰(zhàn)Oozie[4] 48512.3 Flume 48712.3.1 Flume簡(jiǎn)介 48712.3.2 Flume入門 48912.4 Mahout 49212.4.1 Mahout簡(jiǎn)介 49212.4.2 Mahout入門 492習(xí)題 494參考文獻(xiàn) 494|附錄A| 手工部署Hadoop2.0 495一、部署綜述 496二、部署步驟 500