123,123,123

內(nèi)容簡(jiǎn)介

　　內(nèi)容簡(jiǎn)介這是一部從源代碼角度出發(fā)，通過分析Flink的各個(gè)功能模塊的實(shí)現(xiàn)來剖析Flink的架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)原理的著作。它將能指導(dǎo)讀者更好地對(duì)Flink進(jìn)行性能調(diào)優(yōu)、可用性保障、效能優(yōu)化和二次開發(fā)。四位作者都是非常資深的Flink專家，部分作者是Flink源代碼的維護(hù)者和改造者，本書總結(jié)了他們?cè)诎⒗锇桶?、螞蟻集團(tuán)、滴滴等企業(yè)的大規(guī)模Flink實(shí)踐經(jīng)驗(yàn)。全書共11章，主要內(nèi)容如下。第1章閱讀Flink源代碼前的準(zhǔn)備主要介紹了Flink源代碼的獲取、編譯、調(diào)試，以及它的目錄結(jié)構(gòu)、設(shè)計(jì)理念和基本架構(gòu)。此外，還分析了Flink與Hadoop MapReduce、Spark在設(shè)計(jì)上的差異。第2~8章 Flink功能模塊源代碼和架構(gòu)解析從源碼角度分析了Flink的編程模型與API、運(yùn)行時(shí)組件與通信、狀態(tài)管理與容錯(cuò)、任務(wù)提交與執(zhí)行、Flink網(wǎng)絡(luò)棧、Flink Connector、部署模式等功能模塊的原理。力求讓讀者深入理解Flink的原理，而不只是跟著本書讀一遍Flink源代碼。原理和思想是不局限于某一個(gè)框架和技術(shù)，了解了Flink的原理和思想，可以將其擴(kuò)展到其他框架和技術(shù)上。第9~10章 Flink Table、SQL與Flink CEP 編程方式逐漸從原先基于Map-Reduce的任務(wù)模式向SQL化演進(jìn)，SQL意味著標(biāo)準(zhǔn)和效率。這兩章重點(diǎn)講解了StreamTableEnvironment的實(shí)現(xiàn)過程、SQL的解析過程、Table Connector以及Flink CEP的內(nèi)部實(shí)現(xiàn)原理。第11章 Flink監(jiān)控主要講解了Flink的監(jiān)控指標(biāo)、常用系統(tǒng)指標(biāo)和監(jiān)控體系的建設(shè)，以及常用的定位手段。

作者簡(jiǎn)介

　　作者簡(jiǎn)介羅江宇 Flink技術(shù)專家，先后就職于新浪微博、滴滴和某大型電商公司。先后主導(dǎo)或參與了多家公司的Flink實(shí)時(shí)計(jì)算服務(wù)的構(gòu)建、對(duì)超大規(guī)模集群的維護(hù)以及Flink引擎的改造。擁有豐富的實(shí)時(shí)計(jì)算實(shí)戰(zhàn)經(jīng)驗(yàn)，目前專注于Kubernetes調(diào)度、Flink SQL及Flink流批一體化方向。趙士杰資深大數(shù)據(jù)技術(shù)專家，曾就職于滴滴、阿里巴巴等一線互聯(lián)網(wǎng)公司。從0到1深度參與了滴滴的大數(shù)據(jù)建設(shè)，擁有非常豐富的大數(shù)據(jù)平臺(tái)一線建設(shè)經(jīng)驗(yàn)，對(duì)于大數(shù)據(jù)領(lǐng)域的計(jì)算和存儲(chǔ)引擎也有深入研究。李涵淼大數(shù)據(jù)研發(fā)專家，曾任滴滴大數(shù)據(jù)開發(fā)工程師。從事大數(shù)據(jù)領(lǐng)域工作多年，參與過多家公司流計(jì)算平臺(tái)的設(shè)計(jì)與研發(fā)，目前專注于批流一體、OLAP技術(shù)方向的研究與應(yīng)用。閔文俊螞蟻集團(tuán)技術(shù)專家、開源大數(shù)據(jù)社區(qū)愛好者、Flink Contributor，在實(shí)時(shí)計(jì)算領(lǐng)域工作多年，深度參與了滴滴、螞蟻集團(tuán)的實(shí)時(shí)計(jì)算平臺(tái)建設(shè)。

圖書目錄

前　言
第1章　閱讀Flink源代碼前的準(zhǔn)備 1
11　環(huán)境準(zhǔn)備 1
12　獲取、編譯和調(diào)試Flink的源代碼 4
121　獲取與導(dǎo)入Flink源代碼 4
122　編譯與調(diào)試Flink源代碼 6
13　Flink源代碼的目錄結(jié)構(gòu) 9
14　Flink設(shè)計(jì)理念與基本架構(gòu) 11
141　Flink與主流計(jì)算引擎對(duì)比 11
142　Flink基本架構(gòu) 14
15　本章小結(jié) 17
第2章　編程模型與API 18
21　DataStream 18
22　算子 21
23　窗口 28
231　窗口的基本概念 28
232　窗口的執(zhí)行流程 30
233　窗口分配器 32
234　觸發(fā)器 37
235　窗口函數(shù) 41
24　本章小結(jié) 43
第3章　運(yùn)行時(shí)組件與通信 44
31　運(yùn)行時(shí)組件 44
311　REST 45
312　Dispatcher 54
313　ResourceManager 61
314　JobMaster 75
315　TaskExecutor 85
32　組件間通信 95
321　Akka與Actor模型 95
322　組件間通信實(shí)現(xiàn) 99
33　運(yùn)行時(shí)組件的高可用 117
331　Master節(jié)點(diǎn)上組件的高可用 117
332　現(xiàn)有運(yùn)行時(shí)組件高可用存在的問題及其解決方案 126
34　本章小結(jié) 128
第4章　狀態(tài)管理與容錯(cuò) 129
41　狀態(tài) 129
411　狀態(tài)的原理與實(shí)現(xiàn) 129
412　狀態(tài)生存時(shí)間的原理與實(shí)現(xiàn) 134
42　檢查點(diǎn) 137
421　檢查點(diǎn)機(jī)制原理 137
422　檢查點(diǎn)執(zhí)行過程 137
423　任務(wù)容錯(cuò) 140
43　狀態(tài)后端 143
44　本章小結(jié) 148
第5章　任務(wù)提交與執(zhí)行 149
51　任務(wù)提交整體流程 149
52　DAG轉(zhuǎn)換 152
521　DAG的4層轉(zhuǎn)換 152
522　WordCount轉(zhuǎn)換過程 152
53　Slot分配 160
531　相關(guān)概念和實(shí)現(xiàn)類 160
532　Slot申請(qǐng)流程 162
533　任務(wù)部署 168
54　任務(wù)執(zhí)行機(jī)制 170
541　任務(wù)執(zhí)行過程 170
542　MailBox線程模型 174
55　本章小結(jié) 177
第6章　Flink網(wǎng)絡(luò)棧 178
61　內(nèi)存管理 178
62　網(wǎng)絡(luò)傳輸 182
621　什么是Flink網(wǎng)絡(luò)棧 182
622　非流控模型的網(wǎng)絡(luò)傳輸流程 184
623　流控模型的網(wǎng)絡(luò)傳輸流程 197
63　流批一體的shuffle架構(gòu) 199
631　生命周期管理 199
632　數(shù)據(jù)shuffle 207
64　本章小結(jié) 208
第7章　Flink Connector的設(shè)計(jì)與實(shí)現(xiàn) 209
71　Kafka Connector實(shí)現(xiàn)原理 209
711　Kafka Source Connector實(shí)現(xiàn) 209
712　Kafka Sink Connector 實(shí)現(xiàn) 216
72　HBase Table Connector 實(shí)現(xiàn)原理 220
721　HBase Source Connector和Sink Connector的工廠實(shí)現(xiàn) 221
722　HBase維表實(shí)現(xiàn) 222
73　本章小結(jié) 224
第8章　部署模式 225
81　Local部署 225
82　Standalone部署 228
83　Flink on YARN模式 240
831　YARN基本架構(gòu) 240
832　Flink on YARN模式介紹 241
833　Flink on YARN啟動(dòng)過程 243
84　Flinkon Kubernetes模式 260
85　本章小結(jié) 265
第9章　Flink Table與SQL 266
91　StreamTableEnvironment類介紹 266
911　StreamExecution-Environment類 267
912　EnvironmentSettings類 267
913　TableConfig類 268
914　StreamTableEnvironment的創(chuàng)建過程 269
92　SQL解析過程 270
921　SQL解析 270
922　SQL優(yōu)化 277
923　RelNode轉(zhuǎn)換 279
93　Table Connector 281
931　TableSource 282
932　TableSink 286
933　SPI機(jī)制在Table Connector中的應(yīng)用 288
94　UDF與內(nèi)置算子 292
941　UDF 292
942　內(nèi)置算子 294
95　本章小結(jié) 297
第10章　Flink CEP 原理解析 298
101　CEP的基本概念 298
1011　什么是Flink CEP 298
1012　Pattern 298
1013　量詞 300
1014　條件 301
1015　連接 302
1016　Flink CEP作業(yè)編寫舉例 302
102　CEP內(nèi)部實(shí)現(xiàn)原理 304
1021　NFA簡(jiǎn)介 305
1022　匹配過程 305
1023　CEP狀態(tài)存儲(chǔ) 310
1024　CEP和SQL結(jié)合 313
103　本章小結(jié) 315
第11章　Flink監(jiān)控 316
111　監(jiān)控指標(biāo) 316
1111　指標(biāo)類型 316
1112　系統(tǒng)指標(biāo)及自定義指標(biāo) 318
1113　指標(biāo)的使用 319
112　常用系統(tǒng)指標(biāo) 322
113　監(jiān)控體系建設(shè) 324
1131　指標(biāo)監(jiān)控及展示 324
1132　日志分析處理 326
1133　定位手段 326
114　本章小結(jié) 327