實戰(zhàn)Hadoop 2.0：從云計算到大數(shù)據(jù)（第二版）

目 錄|第1章| 大數(shù)據(jù)組件概述 11.1 Google大數(shù)據(jù)組件 21.2 Apache大數(shù)據(jù)組件 61.2.1 Hadoop核心組件 71.2.2 基于MR的數(shù)據(jù)分析組件 101.2.3 數(shù)據(jù)庫組件 161.2.4 BSP組件 191.2.5 基于YARN框架組件 201.2.6 基于YARN的編程類庫組件 241.2.7 搜索引擎組件 251.2.8 工作流組件 261.2.9 數(shù)據(jù)流組件 271.2.10 序列化和持久化組件 291.2.11 調(diào)試工具 301.2.12 安全性組件 311.2.13 兼容性組件 331.2.14 集群部署與管理組件 33習(xí)題 34參考文獻(xiàn) 35|第2章| 大數(shù)據(jù)集群 392.1 大數(shù)據(jù)集群簡介 402.2 大數(shù)據(jù)集群bigCstor 452.3 我的大數(shù)據(jù)集群littleCstor 482.4 小結(jié) 52習(xí)題 52參考文獻(xiàn) 53|第3章| 集群管理工具Ambari 553.1 Ambari簡介 563.2 使用Ambari部署HDP 593.3 使用Ambari搭建littleCstor 623.3.1 相關(guān)約定 623.3.2 制定部署規(guī)劃 633.3.3 搭建prelittleCstor 643.3.4 本地建倉 723.3.5 部署AmbariServer 773.3.6 搭建littleCstor 833.3.7 小結(jié) 1053.4 使用Ambari管理littleCstor 1103.5 小結(jié) 111習(xí)題 111參考文獻(xiàn) 111|第4章| 分布式文件系統(tǒng)HDFS 1134.1 分布式存儲引例 1144.1.1 問題描述 1144.1.2 常規(guī)解決方案 1154.1.3 分布式解決方案 1174.2 HDFS簡介 1244.2.1 HDFS邏輯架構(gòu) 1244.2.2 HDFS物理拓?fù)?1294.2.3 HDFS部署 1334.2.4 HDFS其他概念[9] 1354.3 HDFS接口 1384.4 實戰(zhàn)HDFS Shell 1404.4.1 HDFS文件級命令集 1414.4.2 HDFS系統(tǒng)級命令集 1434.5 實戰(zhàn)WebHDFS 1494.5.1 WebHDFS簡介 1494.5.2 WebHDFS示例 1514.6 實戰(zhàn)HDFS JAVA API 1564.6.1 搭建開發(fā)環(huán)境 1564.6.2 常規(guī)操作示例 1584.7 實戰(zhàn)HDFS大項目：用HDFS存儲海量視頻數(shù)據(jù) 1634.7.1 應(yīng)用場景 1634.7.2 設(shè)計實現(xiàn) 164習(xí)題 166參考文獻(xiàn) 166 |第5章| 分布式資源管理器YARN 1695.1 分布式資源管理器引例 1705.1.1 分布式資源管理器簡介 1705.1.2 分布式資源管理器架構(gòu) 1735.2 YARN簡介 1775.2.1 基礎(chǔ)概念 1775.2.2 物理拓?fù)?1795.2.3 體系架構(gòu) 1805.2.4 集群部署 1905.3 YARN接口 1925.4 實戰(zhàn)YARN Shell 1945.4.1 系統(tǒng)級命令 1955.4.2 程序級命令 1975.4.3 其他輔助命令 1995.5 實戰(zhàn)YARN編程 1995.5.1 常見并行化范式 1995.5.2 YARN編程步驟 2055.6 實戰(zhàn)YARN編程之DistributedShell 2135.6.1 DistributedShell簡介 2135.6.2 編寫DistributedShell 2145.7 實戰(zhàn)YARN編程之三大范式 2215.7.1 DistributedShell 2225.7.2 MapReduce 2225.7.3 Giraph 223習(xí)題 224參考文獻(xiàn) 224|第6章| 分布式并行處理MapReduce 2256.1 并行化范式M-S-R引例 2266.1.1 問題描述 2266.1.2 常規(guī)解決方案 2276.1.3 分布式解決方案 2286.1.4 小結(jié) 2346.2 MapReduce簡介[1] 2346.2.1 基本概念 2356.2.2 編程模型 2376.2.3 集群部署 2396.2.4 體系架構(gòu) 2416.2.5 執(zhí)行過程 2456.3 MapReduce接口 2476.4 實戰(zhàn)MapReduce Shell 2506.5 實戰(zhàn)MapReduce編程 2536.6 實戰(zhàn)MapReduce編程之WordCount[3] 2566.6.1 WordCount代碼分析 2566.6.2 WordCount處理過程 2606.7 實戰(zhàn)MapReduce編程之SecondarySort 2616.8 實戰(zhàn)MapReduce編程之倒排索引 2656.8.1 簡介 2656.8.2 分析與設(shè)計 2666.8.3 倒排索引完整源碼 2696.9 實戰(zhàn)MapReduce之性能優(yōu)化 271習(xí)題 280參考文獻(xiàn) 280|第7章| 分布式鎖服務(wù)ZooKeeper 2817.1 ZooKeeper簡介 2827.1.1 ZooKeeper應(yīng)用場景 2827.1.2 ZooKeeper體系架構(gòu)[3] 2857.1.3 ZooKeeper服務(wù)模型 2877.1.4 ZooKeeper部署 2897.2 ZooKeeper接口 2927.2.1 接口匯總 2927.2.2 實戰(zhàn)ZooKeeper Shell 2927.3 實戰(zhàn)ZooKeeper編程 2947.4 實戰(zhàn)ZooKeeper之進(jìn)程通信 2967.5 實戰(zhàn)ZooKeeper之進(jìn)程調(diào)度系統(tǒng) 2977.5.1 設(shè)計方案 2977.5.2 設(shè)計實現(xiàn) 2977.6 實戰(zhàn)ZooKeeper之實現(xiàn)NameNode自動切換 3037.6.1 設(shè)計思想 3047.6.2 詳細(xì)設(shè)計 3047.6.3 編碼 3057.6.4 實戰(zhàn)總結(jié) 310習(xí)題 311參考文獻(xiàn) 311|第8章| 分布式數(shù)據(jù)庫HBase 3138.1 HBase簡介 3148.1.1 體系架構(gòu) 3148.1.2 數(shù)據(jù)模型 3208.1.3 集群部署[21] 3218.2 HBase接口 3268.3 實戰(zhàn)HBase Shell 3278.4 實戰(zhàn)HBase API 3298.5 實戰(zhàn)HBase之綜例 3308.6 實戰(zhàn)HBase之使用MapReduce構(gòu)建索引 3328.6.1 索引表藍(lán)圖 3328.6.2 HBase和MapReduce 3338.6.3 實現(xiàn)索引 334習(xí)題 336參考文獻(xiàn) 337|第9章| 內(nèi)存型計算框架Spark 3399.1 Spark簡介 3409.1.1 基礎(chǔ)概念 3409.1.2 體系架構(gòu) 3469.1.3 集群部署 3589.1.4 計算模型 3669.1.5 工作機(jī)制 3749.1.6 其他特性 3759.2 Spark接口 3779.3 實戰(zhàn)Spark Shell 3799.3.1 集群管理 3799.3.2 任務(wù)管理 3819.4 實戰(zhàn)Spark編程之RDD 3839.4.1 RDD屬性 3839.4.2 并行化證明RDD、調(diào)試RDD 3869.4.3 RDD操作 3899.5 實戰(zhàn)Spark之WordCount[3] 3969.6 實戰(zhàn)Spark之MLLib 397習(xí)題 398參考文獻(xiàn) 398 |第10章| 數(shù)據(jù)流實時處理系統(tǒng)Storm 39910.1 Storm簡介 40010.1.1 與Hadoop的關(guān)系 40010.1.2 基礎(chǔ)概念 40210.1.3 體系架構(gòu) 40810.1.4 集群部署[4] 41210.1.5 計算模型 42110.2 Storm接口 45010.3 實戰(zhàn)Storm Shell 45210.4 實戰(zhàn)Storm API之RollingTopWords 455習(xí)題 457參考文獻(xiàn) 458|第11章| 數(shù)據(jù)倉庫工具Hive 45911.1 Hive簡介 46011.1.1 工作原理 46011.1.2 體系架構(gòu) 46111.1.3 計算模型 46211.1.4 集群部署 46311.2 Hive接口 46711.2.1 接口匯總 46711.2.2 實戰(zhàn)Hive Web 46711.3 實戰(zhàn)Hive Shell 46811.3.1 DDL Operations 46811.3.2 DML Operations 46911.3.3 SQL Operations 47011.4 實戰(zhàn)Hive之復(fù)雜語句 47111.5 實戰(zhàn)Hive之綜合示例 47311.6 實戰(zhàn)Hive API接口 47411.6.1 UDF編程示例[3] 47411.6.2 UDAF編程示例 475習(xí)題 477參考文獻(xiàn) 477|第12章| 其他常見大數(shù)據(jù)組件 47912.1 Pig 48012.1.1 Pig簡介 48012.1.2 實戰(zhàn)Pig 48312.2 Oozie 48312.2.1 Oozie簡介 48312.2.2 實戰(zhàn)Oozie[4] 48512.3 Flume 48712.3.1 Flume簡介 48712.3.2 Flume入門 48912.4 Mahout 49212.4.1 Mahout簡介 49212.4.2 Mahout入門 492習(xí)題 494參考文獻(xiàn) 494|附錄A| 手工部署Hadoop2.0 495一、部署綜述 496二、部署步驟 500