Spark SQL內(nèi)核剖析

第 1 章 Spark SQL 背景
1．1 大數(shù)據(jù)與 Spark 系統(tǒng)
1．2 關(guān)系模型與 SQL 語言
1．3 Spark SQL 發(fā)展歷程
1．4 本章小結(jié)
第 2 章 Spark 基礎(chǔ)知識介紹
2．1 RDD 編程模型
2．2 DataFrame 與 Dataset
2．3 本章小結(jié)
第 3 章 Spark SQL 執(zhí)行全過程概述
3．1 從 SQL 到 RDD：一個簡單的案例
3．2 重要概念
3．2．1 InternalRow 體系
3．2．2 TreeNode 體系
3．2．3 Expression 體系
3．3 內(nèi)部數(shù)據(jù)類型系統(tǒng)
3．4 本章小結(jié)
第 4 章 Spark SQL 編譯器 Parser
4．1 DSL 工具之 ANTLR 簡介
4．1．1 基于 ANTLR 4 的計算器
4．1．2 訪問者模式
4．2 SparkSqlParser 之 AstBuilder
4．3 常見 SQL 生成的抽象語法樹概覽
4．4 本章小結(jié)
第 5 章 Spark SQL 邏輯計劃（LogicalPlan）
5．1 Spark SQL 邏輯計劃概述
5．2 LogicalPlan 簡介
5．2．1 QueryPlan 概述
5．2．2 LogicalPlan 基本操作與分類
5．2．3 LeafNode 類型的 LogicalPlan
5．2．4 UnaryNode 類型的 LogicalPlan
5．2．5 BinaryNode 類型的 LogicalPlan
5．2．6 其他類型的 LogicalPlan
5．3 AstBuilder 機制：Unresolved LogicalPlan 生成
5．4 Analyzer 機制：Analyzed LogicalPlan 生成
5．4．1 Catalog 體系分析
5．4．2 Rule 體系
5．4．3 Analyzed LogicalPlan 生成過程
5．5 Spark SQL 優(yōu)化器 Optimizer
5．5．1 Optimizer 概述
5．5．2 Optimizer 規(guī)則體系
5．5．3 Optimized LogicalPlan 的生成過程
5．6 本章小結(jié)
第 6 章 Spark SQL 物理計劃（PhysicalPlan）
6．1 Spark SQL 物理計劃概述
6．2 SparkPlan 簡介
6．2．1 LeafExecNode 類型
6．2．2 UnaryExecNode 類型
6．2．3 BinaryExecNode 類型
6．2．4 其他類型的 SparkPlan
6．3 Metadata 與 Metrics 體系
6．4 Partitioning 與 Ordering 體系
6．4．1 Distribution 與 Partitioning 的概念
6．4．2 SparkPlan 的常用分區(qū)排序操作
6．5 SparkPlan 生成
6．5．1 物理計劃 Strategy 體系
6．5．2 常見 Strategy 分析
6．6 執(zhí)行前的準備
6．6．1 PlanSubqueries 規(guī)則
6．6．2 EnsureRequirements 規(guī)則
6．7 本章小結(jié)
第 7 章 Spark SQL 之 Aggregation 實現(xiàn)
7．1 Aggregation 執(zhí)行概述
7．1．1 文法定義
7．1．2 聚合語句 Unresolved LogicalPlan 生成
7．1．3 從邏輯算子樹到物理算子樹
7．2 聚合函數(shù)（AggregateFunction）
7．2．1 聚合緩沖區(qū)與聚合模式（AggregateMode）
7．2．2 DeclarativeAggregate 聚合函數(shù)
7．2．3 ImperativeAggregate 聚合函數(shù)
7．2．4 TypedImperativeAggregate 聚合函數(shù)
7．3 聚合執(zhí)行
7．3．1 執(zhí)行框架 AggregationIterator
7．3．2 基于排序的聚合算子 SortAggregateExec
7．3．3 基于 Hash 的聚合算子 HashAggregateExec
7．4 窗口（Window）函數(shù)
7．4．1 窗口函數(shù)定義與簡介
7．4．2 窗口函數(shù)相關(guān)表達式
7．4．3 窗口函數(shù)的邏輯計劃階段與物理計劃階段
7．4．4 窗口函數(shù)的執(zhí)行
7．5 多維分析
7．5．1 OLAP 多維分析背景
7．5．2 Spark SQL 多維查詢
7．5．3 多維分析 LogicalPlan 階段
7．5．4 多維分析 PhysicalPlan 與執(zhí)行
7．6 本章小結(jié)
第 8 章 Spark SQL 之 Join 實現(xiàn)
8．1 Join 查詢概述
8．2 文法定義與抽象語法樹
8．3 Join 查詢邏輯計劃
8．3．1 從 AST 到 Unresolved LogicalPlan
8．3．2 從 Unresolve LogicalPlan 到 Analyzed LogicalPlan
8．3．3 從 Analyzed LogicalPlan 到 Optimized LogicalPlan
8．4 Join 查詢物理計劃
8．4．1 Join 物理計劃的生成
8．4．2 Join 物理計劃的選取
8．5 Join 查詢執(zhí)行
8．5．1 Join 執(zhí)行基本框架
8．5．2 BroadcastJoinExec 執(zhí)行機制
8．5．3 ShuffledHashJoinExec 執(zhí)行機制
8．5．4 SortMergeJoinExec 執(zhí)行機制
8．6 本章小結(jié)
第 9 章 Tungsten 技術(shù)實現(xiàn)
9．1 內(nèi)存管理與二進制處理
9．1．1 Spark 內(nèi)存管理基礎(chǔ)
9．1．2 Tungsten 內(nèi)存管理優(yōu)化基礎(chǔ)
9．1．3 Tungsten 內(nèi)存優(yōu)化應(yīng)用
9．2 緩存敏感計算（Cache-aware computation）
9．3 動態(tài)代碼生成（Code generation）
9．3．1 漫談代碼生成
9．3．2 Janino 編譯器實踐
9．3．3 基本（表達式）代碼生成
9．3．4 全階段代碼生成（WholeStageCodegen）
9．4 本章小結(jié)
第 10 章 Spark SQL 連接 Hive
10．1 Spark SQL 連接 Hive 概述
10．2 Hive 相關(guān)的規(guī)則和策略
10．2．1 HiveSessionCatalog 體系
10．2．2 Analyzer 之 Hive-Specific 分析規(guī)則
10．2．3 SparkPlanner 之 Hive-Specific 轉(zhuǎn)換策略
10．2．4 Hive 相關(guān)的任務(wù)執(zhí)行
10．3 Spark SQL 與 Hive 數(shù)據(jù)類型
10．3．1 Hive 數(shù)據(jù)類型與 SerDe 框架
10．3．2 DataTypeToInspector 與 Data Wrapping
10．3．3 InspectorToDataType 與 Data Unwrapping
10．4 Hive UDF 管理機制
10．5 Spark Thrift Server 實現(xiàn)
10．5．1 Service 體系
10．5．2 Operation 與 OperationManager
10．5．3 Session 與 SessionManager
10．5．4 Authentication 安全認證管理
10．5．5 Spark Thrift Server 執(zhí)行流程
10．6 本章小結(jié)
第 11 章 Spark SQL 開發(fā)與實踐
11．1 騰訊大數(shù)據(jù)平臺（TDW）簡介
11．2 騰訊大數(shù)據(jù)平臺 SQL 引擎（TDW-SQL-Engine）
11．2．1 SQL-Engine 背景與演化歷程
11．2．2 SQL-Engine 整體架構(gòu)
11．3 TDW-Spark SQL 開發(fā)與優(yōu)化
11．3．1 業(yè)務(wù)運行支撐框架
11．3．2 新功能開發(fā)案例
11．3．3 性能優(yōu)化開發(fā)案例
11．4 業(yè)務(wù)實踐經(jīng)驗與教訓(xùn)
11．4．1 Spark SQL 集群管理的經(jīng)驗
11．4．2 Spark SQL 業(yè)務(wù)層面調(diào)優(yōu)
11．4．3 SQL 寫法的“陷阱”
11．5 本章小結(jié)
總結(jié)
參考文獻