Hadoop 2.0-YARN核心技術(shù)實踐

第1章  YARN的前世今生
  1.1  Hadoop基本情況回顧
  1.2  為什么我們需要YARN
  1.3  YARN和 Hadoop 1.0對比分析
    1.3.1  體系結(jié)構(gòu)對比
    1.3.2  運算框架對比
  1.4  Hadoop 生態(tài)系統(tǒng)
  1.5  小結(jié)
第2章  YARN基本框架
  2.1  YARN基本框架
  2.2  ResourceManager
  2.3  NodeManager
  2.4  ApplicationMaster
  2.5  YARN中應(yīng)用程序的運行過程
第3章  YARN編程初步
  3.1  YARN 安裝與配置
    3.1.1  環(huán)境準備
    3.1.2  偽分布式安裝
    3.1.3  完全分布式安裝
  3.2  源碼閱讀及編譯
    3.2.1  Maven的介紹及安裝
    3.2.2  編譯前準備
    3.2.3  YARN源碼閱讀環(huán)境配置
    3.2.4  YARN源碼編譯
  3.3  MapReduce實例
    3.3.1  Word Count
    3.3.2  Deduplication
    3.3.3  Sort
  3.4  HBase編程初步
    3.4.1  HBase介紹
    3.4.2  HBase安裝與配置
    3.4.3  HBase開發(fā)環(huán)境配置及實例
第4章  YARN核心組件分析
  4.1  通信組件Protocol Buffer
    4.1.1  什么是Protocol Buffer
    4.1.2  YARN中的Protocol Buffer
    4.1.3  如何編寫Protocol Buffer
    4.1.4  Protocol Buffer代碼分析
  4.2  Hadoop 1.0 RPC 和 YARN RPC
    4.2.1  什么是RPC
    4.2.2  RPC通信模型
    4.2.3  Hadoop 1.0 RPC的實現(xiàn)過程
    4.2.4  Hadoop 1.0 RPC的應(yīng)用
    4.2.5  YARN RPC
    4.2.6  YARN RPC通信案例解析
    4.2.7  YARN RPC源代碼導(dǎo)讀
  4.3  YARN狀態(tài)機分析
    4.3.1  RMApp狀態(tài)機
    4.3.2  RMAppAttempt狀態(tài)機
    4.3.3  RMNode狀態(tài)機
    4.3.4  RMContainer狀態(tài)機
    4.3.5  應(yīng)用程序在RM中的完整運行流程分析
    4.3.6  狀態(tài)機源代碼導(dǎo)讀
    4.3.7  YARN狀態(tài)機監(jiān)控軟件設(shè)計
  4.4  HDFS Federation
    4.4.1  HDFS的層次
    4.4.2  當前的HDFS架構(gòu)
    4.4.3  HDFS Federation
    4.4.4  Federation HDFS與當前HDFS的比較
第5章  YARN中幾種計算模型
  5.1  基于YARN的MapReduce進階
    5.1.1  Reduce Side Join
    5.1.2  Map Side Join
    5.1.3  并行聚類Kmeans算法設(shè)計與實現(xiàn)
  5.2  Storm on YARN
    5.2.1  Storm基本原理
    5.2.2  Storm on YARN
    5.2.3  Storm單機模式安裝
    5.2.4  Storm on YARN安裝
    5.2.5  基于Storm on YARN的實時出租車管理系統(tǒng)
  5.3  Spark on YARN
    5.3.1  Spark簡介
    5.3.2  Spark基本原理
    5.3.3  Spark的部署及開發(fā)環(huán)境搭建
    5.3.4  Spark MLlib介紹
    5.3.5  Spark的優(yōu)化配置
    5.3.6  Spark的編程案例
    5.3.7  Spark的應(yīng)用案例
第6章  YARN資源調(diào)度器
  6.1  Hadoop資源調(diào)度器回顧
  6.2  YARN資源調(diào)度器
    6.2.1  Capacity Scheduler
    6.2.2  Fair Scheduler
    6.2.3  調(diào)度器比較
  6.3  YARN調(diào)度負載模擬器-SLS
    6.3.1  綜述
    6.3.2  參數(shù)和命令
    6.3.3  實例一  快速開始
    6.3.4  實例二  定制運行
  6.4  Google第三代調(diào)度器分析
    6.4.1  中央式調(diào)度器模式
    6.4.2  雙層調(diào)度器模式
    6.4.3  共享狀態(tài)調(diào)度器
    6.4.4  Google第三代調(diào)度器Omega
    6.4.5  Omega集群調(diào)度模擬器-CSS
第7章  YARN工作流分析
  7.1  Tez on YARN
    7.1.1  Tez基本原理
    7.1.2  Tez環(huán)境安裝
    7.1.3  Tez在Hive引擎中的優(yōu)化作用
    7.1.4  小結(jié)
  7.2  顯式工作流引擎
    7.2.1  Hadoop工作流引擎
    7.2.2  某大型互聯(lián)網(wǎng)公司部門使用的工作流引擎
    7.2.3  應(yīng)用舉例
    7.2.4  對比
    7.2.5  小結(jié)
參考文獻