流計(jì)算系統(tǒng)圖解

第I部分　初識流系統(tǒng) 1
第1章　歡迎閱讀《流計(jì)算系統(tǒng)圖解》 3
1.1　什么是流處理 4
1.2　流系統(tǒng)的例子 5
1.3　流系統(tǒng)和實(shí)時性 6
1.4　流系統(tǒng)的工作方式 7
1.5　應(yīng)用程序 8
1.6　后臺服務(wù) 9
1.7　后臺服務(wù)的內(nèi)部實(shí)現(xiàn) 10
1.8　批處理系統(tǒng) 11
1.9　批處理系統(tǒng)內(nèi)部 12
1.10　流處理系統(tǒng) 13
1.11　流處理系統(tǒng)的內(nèi)部實(shí)現(xiàn) 14
1.12　多階段架構(gòu)的優(yōu)勢 15
1.13　批處理和流處理系統(tǒng)中的多階段架構(gòu) 16
1.13.1　批處理系統(tǒng) 16
1.13.2　流處理系統(tǒng) 16
1.14　比較這些系統(tǒng) 17
1.15　一個典型的流處理系統(tǒng) 18
1.16　小結(jié) 19
1.17　練習(xí) 19
第2章　你好，流系統(tǒng) 21
2.1　老板需要一個高級收費(fèi)站 22
2.2　失敗案例：使用HTTP請求實(shí)現(xiàn)服務(wù) 23
2.3　AJ 和 Miranda 對失敗的反思 24
2.4　AJ 對流系統(tǒng)的思考 25
2.5　比較后端服務(wù)和流 26
2.5.1　后端服務(wù)：一個同步模型 26
2.5.2　流：異步模型 26
2.6　流系統(tǒng)如何適用于當(dāng)前場景 27
2.7　基本概念：隊(duì)列 28
2.8　通過隊(duì)列傳輸數(shù)據(jù) 29
2.9　初探流框架Streamwork 30
2.10　Streamwork 框架概述 31
2.11　深入 Streamwork 的引擎 32
2.12　流的核心概念 33
2.13　相關(guān)概念的更多細(xì)節(jié) 34
2.14　流作業(yè)的執(zhí)行流程 35
2.15　你的第一個流作業(yè) 36
2.15.1　你的第一個流作業(yè)：創(chuàng)建事件類 36
2.15.2　你的第一個流作業(yè)：數(shù)據(jù)源 37
2.15.3　你的第一個流作業(yè)：數(shù)據(jù)源(續(xù)) 38
2.15.4　你的第一個流作業(yè)：算子 39
2.15.5　你的第一個流作業(yè)：算子(續(xù)) 40
2.15.6　你的第一個流作業(yè)：構(gòu)建作業(yè) 41
2.16　執(zhí)行作業(yè) 42
2.17　檢查作業(yè)執(zhí)行情況 43
2.18　深入了解處理引擎 44
2.18.1　深入了解引擎：源執(zhí)行器 45
2.18.2　深入了解引擎：算子執(zhí)行器 46
2.18.3　深入了解引擎：作業(yè)啟動器 47
2.19　事件的流轉(zhuǎn) 48
2.20　數(shù)據(jù)元素的生命周期 49
2.21　回顧流概念 50
2.22　小結(jié) 51
2.23　練習(xí) 51
第3章　并行化和數(shù)據(jù)分組 53
3.1　傳感器正在生成更多的事件 54
3.2　即使在流中，實(shí)時處理也很難 55
3.3　新概念：并行很重要 56
3.4　新概念：數(shù)據(jù)并行 57
3.5　新概念：數(shù)據(jù)執(zhí)行的獨(dú)立性 58
3.6　新概念：任務(wù)并行 59
3.7　數(shù)據(jù)并行與任務(wù)并行 60
3.8　并行與并發(fā) 61
3.9　作業(yè)的并行化 62
3.10　組件的并行化 63
3.11　數(shù)據(jù)源的并行化 64
3.12　查看作業(yè)輸出 65
3.13　算子并行化 66
3.14　再次查看作業(yè)輸出 67
3.15　事件和實(shí)例 68
3.16　事件順序 69
3.17　事件分組 70
3.18　隨機(jī)分組 71
3.19　隨機(jī)分組原理 72
3.20　字段分組 73
3.21　字段分組原理 74
3.22　事件的分組執(zhí)行 75
3.23　深入了解引擎：事件分發(fā)器 76
3.24　在作業(yè)中采用字段分組 77
3.25　查看事件順序 78
3.26　比較分組行為 79
3.27　小結(jié) 80
3.28　練習(xí) 80
第4章　流中的圖 81
4.1　信用卡欺詐檢測系統(tǒng) 82
4.2　信用卡欺詐檢測系統(tǒng)的更多細(xì)節(jié) 83
4.3　欺詐檢測業(yè)務(wù)流程 84
4.4　流并不總是一條直線 85
4.5　系統(tǒng)內(nèi)部分析 86
4.6　欺詐檢測作業(yè)的細(xì)節(jié) 87
4.7　新概念 88
4.8　上下游組件 89
4.9　流的扇出和扇入 90
4.10　圖、有向圖以及有向無環(huán)圖 91
4.11　流處理系統(tǒng)中的 DAG 92
4.12　新概念概覽 93
4.13　從流扇出到分析器 94
4.14　深入了解引擎 95
4.15　有一個問題: 效率 96
4.16　不同流的扇出 97
4.17　再次深入了解引擎 98
4.18　使用通道實(shí)現(xiàn)組件間通信 99
4.19　多個通道 100
4.20　流扇入至評分聚合器 101
4.21　引擎中的流扇入 102
4.22　對另一個流扇入的簡單介紹：Join 103
4.23　回顧整個系統(tǒng) 104
4.24　圖和流作業(yè) 105
4.25　示例系統(tǒng) 106
4.26　小結(jié) 107
4.27　練習(xí) 108
第5章　送達(dá)語義 109
5.1　欺詐檢測系統(tǒng)的延遲需求 110
5.2　重新審視欺詐檢測作業(yè) 111
5.3　關(guān)于準(zhǔn)確性 112
5.4　部分結(jié)果 113
5.5　一個監(jiān)控系統(tǒng)使用率的流作業(yè) 114
5.6　新系統(tǒng)使用率作業(yè) 115
5.7　新系統(tǒng)使用率作業(yè)的需求 116
5.8　新概念：送達(dá)次數(shù)和處理次數(shù) 117
5.9　新概念：送達(dá)語義 118
5.10　選擇正確的語義 119
5.11　至多一次送達(dá) 120
5.12　欺詐檢測作業(yè) 121
5.12.1　好的一面 121
5.12.2　壞的一面 121
5.12.3　希望 121
5.13　至少一次送達(dá) 122
5.14　用確認(rèn)機(jī)制實(shí)現(xiàn)至少一次送達(dá) 123
5.15　跟蹤事件 124
5.16　應(yīng)對事件處理時的失敗 125
5.17　追蹤提早結(jié)束處理的事件 126
5.18　組件中關(guān)于確認(rèn)的代碼 127
5.19　新概念：檢查點(diǎn) 128
5.20　新概念：狀態(tài) 129
5.21　在系統(tǒng)使用率作業(yè)中為至少一次送達(dá)語義生成檢查點(diǎn) 130
5.22　生成檢查點(diǎn)和狀態(tài)操作函數(shù) 131
5.23　交易源組件中的狀態(tài)處理代碼 132
5.24　恰好一次還是實(shí)際一次 133
5.25　額外概念：冪等操作 134
5.26　恰好一次送達(dá) 135
5.27　系統(tǒng)使用率分析器組件中的狀態(tài)處理代碼 136
5.28　再次比較送達(dá)語義 137
5.29　小結(jié) 138
5.30　練習(xí) 138
5.31　接下來 139
第6章　流系統(tǒng)回顧與展望 141
6.1　流系統(tǒng)的基本概念 142
6.2　并行化和事件分組 143
6.3　有向無環(huán)圖和流作業(yè) 144
6.4　送達(dá)語義(送達(dá)保證) 145
6.5　在信用卡欺詐檢測系統(tǒng)中使用的送達(dá)語義 146
6.6　接下來是什么 147
6.7　窗口計(jì)算簡介 148
6.8　實(shí)時Join數(shù)據(jù) 149
6.9　反壓簡介 150
6.10　無狀態(tài)計(jì)算和有狀態(tài)計(jì)算 151
第II部分　進(jìn)階 153
第7章　窗口計(jì)算 155
7.1　對實(shí)時數(shù)據(jù)進(jìn)行切分 156
7.2　詳細(xì)分解問題 157
7.3　繼續(xù)分解問題 158
7.4　兩種上下文 159
7.5　欺詐檢測中的窗口處理 160
7.6　窗口究竟是什么 161
7.7　進(jìn)一步了解窗口 162
7.8　新概念：窗口策略 163
7.9　固定窗口 164
7.10　距離分析器中的固定窗口 165
7.11　用固定時間窗口檢測欺詐行為 166
7.12　固定窗口：時間與數(shù)量 167
7.13　滑動窗口 168
7.14　滑動窗口與距離分析器 169
7.15　用滑動窗口檢測欺詐行為 170
7.16　會話窗口 171
7.17　會話窗口(續(xù)) 172
7.18　使用會話窗口檢測欺詐行為 173
7.19　窗口化策略的總結(jié) 174
7.20　將事件流切成數(shù)據(jù)集 175
7.21　窗口：概念與實(shí)現(xiàn) 176
7.22　回顧 177
7.23　鍵值存儲入門 178
7.24　實(shí)現(xiàn)窗口化距離分析器 179
7.25　事件時間和事件的其他時間 180
7.26　窗口水位 181
7.27　遲到事件 182
7.28　小結(jié) 183
7.29　練習(xí) 184
第8章　Join 操作 185
8.1　即時 Join 排放量數(shù)據(jù) 186
8.2　排放量作業(yè)初版 187
8.3　排放量解析器 188
8.4　準(zhǔn)確性是個問題 189
8.5　排放量作業(yè)增強(qiáng)版 190
8.6　聚焦 Join 191
8.7　到底什么是 Join 192
8.8　流 Join是如何工作的 193
8.9　流式 Join 是一種不同的扇入方式 194
8.10　車輛事件與溫度事件 195
8.11　表：流的物化視圖 196
8.12　物化車輛事件更低效 197
8.13　數(shù)據(jù)完整性問題 198
8.14　這個 Join 算子的問題出在哪 199
8.15　Inner Join 200
8.16　Outer Join 201
8.17　Inner Join 與 Outer Join 202
8.18　不同類型的 Join 203
8.19　流系統(tǒng)中的 Outer Join 204
8.20　新問題：網(wǎng)絡(luò)連接 205
8.21　窗口 Join 206
8.22　兩表 Join 而不是流表 Join 207
8.23　重新審視物化視圖 208
8.24　小結(jié) 209
第9章　反壓 211
9.1　可靠性很關(guān)鍵 212
9.2　回顧系統(tǒng) 213
9.3　精簡的流作業(yè) 214
9.4　新概念：容量、利用率和空余率 215
9.5　進(jìn)一步了解利用率與空余率 216
9.6　新概念：反壓 217
9.7　測量容量利用率 218
9.8　 Streamwork引擎中的反壓 219
10.18　有狀態(tài)組件與無狀態(tài)組件 253
10.19　手動管理實(shí)例狀態(tài) 254
10.20　Lambda架構(gòu) 255
10.21　小結(jié) 256
10.22　練習(xí) 257
第11章　總結(jié)：流系統(tǒng)中的高級概念 259
11.1　真的結(jié)束了嗎 260
11.2　窗口計(jì)算回顧 261
11.3　主要窗口類型回顧 262
11.3.1　固定窗口 262
11.3.2　滑動窗口 262
11.3.3　會話窗口 262
11.4　實(shí)時 Join 數(shù)據(jù)回顧 263
11.5　SQL與流式 Join回顧 264
11.6　Inner Join 和 Outer Join回顧 265
11.7　流系統(tǒng)中的意外情況 266
11.8　反壓：減慢數(shù)據(jù)源或上游組件的速度 267
11.8.1　停止數(shù)據(jù)源 267
11.8.2　停止上游組件 267
11.9　另一種處理滯后實(shí)例的方法：丟棄事件 268
11.10　反壓可能只是內(nèi)部問題的表象 269
11.10.1　實(shí)例停止工作，所以反壓不會得到緩解 269
11.10.2　實(shí)例無法趕上進(jìn)度，反壓將反復(fù)觸發(fā)：抖動 269
11.11　帶有檢查點(diǎn)的有狀態(tài)組件 270
11.12　基于事件的計(jì)時 271
11.13　有狀態(tài)組件與無狀態(tài)組件回顧 272
11.14　你做到了 273
11.14.1　挑選一個開源項(xiàng)目來學(xué)習(xí) 273
11.14.2　開始寫博客，傳授你所學(xué)的知識 273
11.14.3　參加聚會和會議 273
11.14.4　參與開源項(xiàng)目 273
11.14.5　永不放棄 273