123,123

內(nèi)容簡(jiǎn)介

　　本書(shū)主要論述分布式流數(shù)據(jù)處理的容錯(cuò)技術(shù)方法。通過(guò)深入分析和探討，從理論模型、容錯(cuò)策略、容錯(cuò)機(jī)制和協(xié)議等方面開(kāi)展相關(guān)研究工作，通過(guò)建立理論方法和核心技術(shù)，提升分布式流處理系統(tǒng)的可靠性，為分布式流處理容錯(cuò)技術(shù)提供了一種新的思路和解決方案。本書(shū)共6章，主要內(nèi)容包括緒論、支持分布式流處理的低開(kāi)銷容錯(cuò)機(jī)制、支持彈性流處理的自適應(yīng)容錯(cuò)機(jī)制、負(fù)載感知的最佳檢查點(diǎn)間隔策略、負(fù)載感知的近似備份策略和總結(jié)與展望。本書(shū)通過(guò)理論建模、仿真分析及實(shí)驗(yàn)驗(yàn)證等手段，對(duì)分布式流數(shù)據(jù)處理的容錯(cuò)技術(shù)進(jìn)行了有意義的探索。本書(shū)可作為高等工科院校計(jì)算機(jī)科學(xué)與技術(shù)、自動(dòng)化、電子信息等專業(yè)研究生的參考書(shū)，也可供從事分布式處理系統(tǒng)容錯(cuò)技術(shù)設(shè)計(jì)的工程技術(shù)人員自學(xué)參考。

作者簡(jiǎn)介

　　莊園，哈爾濱工程大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院講師，碩士生導(dǎo)師。2019年畢業(yè)于吉林大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)并獲工學(xué)博士學(xué)位。主要研究方向?yàn)樾畔踩?、區(qū)塊鏈、機(jī)器學(xué)習(xí)等。參與完成國(guó)家自然科學(xué)基金、國(guó)家自然科學(xué)青年基金、教育部高等專項(xiàng)科研基金、吉林省科技廳項(xiàng)目等多個(gè)科研項(xiàng)目；主持CCF科研類基金、智能船舶標(biāo)準(zhǔn)、中央高校等基金類項(xiàng)目；獲商業(yè)聯(lián)合協(xié)會(huì)科技進(jìn)步獎(jiǎng)一項(xiàng)；發(fā)表SCI、EI檢索的學(xué)術(shù)論文10余篇，申請(qǐng)專利4項(xiàng)。作為訪問(wèn)學(xué)者，曾在新加坡國(guó)立大學(xué)Next++人工智能實(shí)驗(yàn)室工作一年，主要研究方向?yàn)閰^(qū)塊鏈安全、深度學(xué)習(xí)、大數(shù)據(jù)處理，分布式計(jì)算等。

圖書(shū)目錄

目錄
第1章緒論 1
1．1 研究背景與意義 1
1．1．1 分布式流數(shù)據(jù)處理 1
1．1．2 系統(tǒng)可靠性問(wèn)題與容錯(cuò)機(jī)制 2
1．1．3 流數(shù)據(jù)處理容錯(cuò)技術(shù)的挑戰(zhàn) 3
1．2 國(guó)內(nèi)外研究現(xiàn)狀 5
1．2．1 分布式流數(shù)據(jù)處理系統(tǒng) 5
1．2．2 流處理自動(dòng)并行化技術(shù) 9
1．2．3 容錯(cuò)技術(shù) 10
1．3 本書(shū)的主要內(nèi)容 13
1．4 本書(shū)的組織結(jié)構(gòu) 14
第2章支持分布式流處理的低開(kāi)銷容錯(cuò)機(jī)制 16
2．1 引言 16
2．2 相關(guān)工作 16
2．3 通用分布式流處理框架 17
2．4 系統(tǒng)模型 18
2．4．1 流數(shù)據(jù)處理作業(yè) 18
2．4．2 節(jié)點(diǎn)運(yùn)行狀態(tài) 19
2．5 結(jié)合檢查點(diǎn)的上游備份模型 21
2．5．1 異步檢查點(diǎn) 22
2．5．2 上游數(shù)據(jù)備份 22
2．6 容錯(cuò)協(xié)議及算法 24
2．6．1 上游備份協(xié)議 24
2．6．2 協(xié)議開(kāi)銷分析 26
2．6．3 快速恢復(fù)算法 27
2．7 實(shí)驗(yàn)結(jié)果與性能分析 29
2．7．1 系統(tǒng)原型實(shí)現(xiàn) 29
2．7．2 實(shí)驗(yàn)設(shè)置 29
2．7．3 容錯(cuò)通信開(kāi)銷 32
2．7．4 容錯(cuò)延遲開(kāi)銷 33
2．7．5 容錯(cuò)內(nèi)存開(kāi)銷 33
2．7．6 故障恢復(fù)測(cè)試 34
2．8 本章小結(jié) 35
第3章支持彈性流處理的自適應(yīng)容錯(cuò)機(jī)制 36
3．1 引言 36
3．2 相關(guān)工作 37
3．3 彈性流處理下容錯(cuò)問(wèn)題建模 38
3．3．1 問(wèn)題概述 38
3．3．2 備份調(diào)整函數(shù) 40
3．3．3 問(wèn)題模型假設(shè) 41
3．4 支持彈性流處理的自適應(yīng)容錯(cuò)機(jī)制 41
3．4．1 彈性數(shù)據(jù)備份單元 42
3．4．2 數(shù)據(jù)依賴關(guān)系追蹤 44
3．4．3 在線檢查點(diǎn)調(diào)整機(jī)制 46
3．5 自適應(yīng)容錯(cuò)協(xié)議 46
3．6 實(shí)驗(yàn)與結(jié)果分析 49
3．6．1 系統(tǒng)原型實(shí)現(xiàn) 49
3．6．2 實(shí)驗(yàn)設(shè)置 50
3．6．3 容錯(cuò)開(kāi)銷測(cè)試 51
3．6．4 故障恢復(fù)測(cè)試 52
3．6．5 綜合性能比較 52
3．7 本章總結(jié) 53
第4章負(fù)載感知的最佳檢查點(diǎn)間隔策略 54
4．1 引言 54
4．2 相關(guān)工作 55
4．3 最佳檢查點(diǎn)問(wèn)題建模 57
4．3．1 系統(tǒng)模型 57
4．3．2 處理效率 58
4．3．3 問(wèn)題定義 60
4．4 動(dòng)態(tài)最佳檢查點(diǎn)間隔（DOCI）模型 61
4．4．1 在線恢復(fù)時(shí)間預(yù)測(cè) 61
4．4．2 最佳檢查點(diǎn)間隔 62
4．5 DOCI調(diào)整策略 63
4．5．1 DOCI調(diào)整算法 63
4．5．2 緩存對(duì)最佳檢查點(diǎn)間隔的影響 66
4．6 實(shí)驗(yàn)與結(jié)果分析 67
4．6．1 模擬方法 67
4．6．2 恒定輸入速率下的效率測(cè)試 68
4．6．3 工作負(fù)載波動(dòng)下的效率測(cè)試 69
4．6．4 備份緩存區(qū)容量的影響測(cè)試 71
4．7 應(yīng)用場(chǎng)景 72
4．8 本章總結(jié) 73
第5章負(fù)載感知的近似備份策略 74
5．1 引言 74
5．2 相關(guān)工作 76
5．3 系統(tǒng)模型介紹 77
5．3．1 流處理模型 77
5．3．2 近似備份模型 77
5．3．3 前提假設(shè) 78
5．4 容錯(cuò)問(wèn)題建模 79
5．4．1 備份開(kāi)銷 79
5．4．2 恢復(fù)質(zhì)量 80
5．4．3 問(wèn)題描述 81
5．5 近似備份算法 82
5．5．1 單節(jié)點(diǎn)故障算法 82
5．5．2 級(jí)聯(lián)故障算法 83
5．5．3 負(fù)載傾斜備份算法 85
5．6 實(shí)驗(yàn)結(jié)果與分析 87
5．6．1 實(shí)驗(yàn)設(shè)置 87
5．6．2 綜合性能測(cè)試 89
5．6．3 系統(tǒng)性能與故障恢復(fù)精度的影響測(cè)試 91
5．6．4 負(fù)載傾斜下的性能測(cè)試 92
5．6．5 可擴(kuò)展性測(cè)試 93
5．7 結(jié)論 94
第6章總結(jié)與展望 96
6．1 總結(jié) 96
6．2 未來(lái)研究展望 96
參考文獻(xiàn) 98