Spark性能調(diào)優(yōu)與原理分析

第1章常用工具簡介
1.1Linux中的性能監(jiān)控命令
1.1.1程序準備
1.1.2top命令
1.1.3htop命令
1.1.4vmstat命令
1.1.5iostat命令
1.1.6iftop命令
1.2Prometheus
1.2.1Prometheus簡介
1.2.2Prometheus的組成
1.2.3Prometheus的安裝及配置
1.2.4監(jiān)測服務器
1.3Grafana
1.3.1Grafana簡介
1.3.2Grafana的安裝
1.3.3Grafana服務器監(jiān)控
1.4Alluxio的使用
1.4.1Alluxio簡介
1.4.2Alluxio的安裝
1.4.3Alluxio與Spark集成
1.5本章小結(jié)
第2章Java虛擬機簡介
2.1Java虛擬機基本結(jié)構(gòu)
2.1.1PC寄存器
2.1.2Java堆
2.1.3Java虛擬機棧
2.1.4方法區(qū)
2.1.5本地方法棧
2.2Java常用選項
2.2.1Java選項分類
2.2.2標準選項
2.2.3非標準選項
2.2.4高級運行時選項
2.2.5高級垃圾回收選項
2.3垃圾回收機制
2.3.1什么是垃圾對象
2.3.2垃圾回收算法
2.3.3垃圾收集器
2.4JDK自帶命令行工具
2.4.1jps命令
2.4.2jstat命令
2.4.3jinfo命令
2.4.4jmap命令
2.4.5jhat命令
2.4.6jstack命令
2.4.7jcmd 命令
2.4.8jstatd命令
2.5JVM監(jiān)控工具
2.5.1JConsole
2.5.2Visual VM
2.5.3Prometheus監(jiān)控JVM
第3章Spark內(nèi)核架構(gòu)
3.1Spark編程模型
3.1.1RDD概述
3.1.2RDD的基本屬性
3.1.3RDD的緩存
3.1.4RDD容錯機制
3.1.5Spark RDD操作
3.1.6源碼分析
3.2Spark組件簡介
3.2.1術(shù)語介紹
3.2.2Spark RPC原理
3.2.3Driver簡介
3.2.4Executor簡介
3.2.5Spark運行模式
3.2.6存儲簡介
3.2.7源碼分析
3.3Spark作業(yè)執(zhí)行原理
3.3.1整體流程
3.3.2Job提交
3.3.3Stage劃分
3.3.4Task劃分
3.3.5Task提交
3.3.6Task執(zhí)行
3.3.7Task結(jié)果處理
3.3.8源碼分析
3.4Spark內(nèi)存管理
3.4.1內(nèi)存使用概述
3.4.2內(nèi)存池的劃分
3.4.3內(nèi)存管理
3.4.4源碼分析
3.5Spark存儲原理
3.5.1存儲模塊架構(gòu)
3.5.2磁盤存儲實現(xiàn)
3.5.3內(nèi)存存儲實現(xiàn)
3.5.4塊管理器
3.5.5源碼分析
第4章Shuffle詳解
4.1為什么需要Shuffle
4.1.1Shuffle的由來
4.1.2Shuffle實現(xiàn)的目標
4.2Spark執(zhí)行Shuffle的流程
4.2.1總體流程
4.2.2ShuffleRDD的生成
4.2.3Stage的劃分
4.2.4Task的劃分
4.2.5Map端寫入
4.2.6Reduce端讀取
4.3Shuffle內(nèi)存管理
4.3.1任務內(nèi)存管理器
4.3.2內(nèi)存消費者
4.3.3內(nèi)存消費組件
4.3.4Tungsten內(nèi)存管理
4.3.5Tungsten內(nèi)存消費組件
4.4ShuffleWrite
4.4.1HashShuffleManager
4.4.2HashShuffleWriter
4.4.3SortShuffleManager
4.4.4BypassMergeSortShuffleWriter
4.4.5SortShuffleWriter
4.4.6UnsafeShuffleWriter
4.5ShuffleRead
4.5.1獲取ShuffleReader
4.5.2拉取Map端數(shù)據(jù)
4.5.3數(shù)據(jù)聚合
4.5.4key排序
第5章Spark性能調(diào)優(yōu)
5.1Spark任務監(jiān)控
5.1.1SparkUI使用
5.1.2Spark運行日志詳解
5.2Spark程序調(diào)優(yōu)
5.2.1提高并行度
5.2.2避免創(chuàng)建重復的RDD
5.2.3RDD持久化
5.2.4廣播大變量
5.2.5使用高性能序列化類庫
5.2.6優(yōu)化資源操作連接
5.3Spark資源調(diào)優(yōu)
5.3.1CPU分配
5.3.2內(nèi)存分配
5.3.3提高磁盤性能
5.3.4Executor數(shù)量的權(quán)衡
5.3.5Spark管理內(nèi)存比例
5.3.6使用Alluxio加速數(shù)據(jù)訪問
5.4Shuffle過程調(diào)優(yōu)
5.4.1Map端聚合
5.4.2文件讀寫緩沖區(qū)
5.4.3Reduce端并行拉取數(shù)量
5.4.4溢寫文件上限
5.4.5數(shù)據(jù)傾斜調(diào)節(jié)
5.5外部運行環(huán)境
參考文獻