分布式流數(shù)據(jù)處理的容錯(cuò)技術(shù)研究

定　價(jià)：￥42.00

作　者：	莊園
出版社：	電子工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購買這本書可以去

ISBN：	9787121452857	出版時(shí)間：	2023-01-01	包裝：	平裝
開本：	16開	頁數(shù)：		字?jǐn)?shù)：

內(nèi)容簡介

　　本書主要論述分布式流數(shù)據(jù)處理的容錯(cuò)技術(shù)方法。通過深入分析和探討，從理論模型、容錯(cuò)策略、容錯(cuò)機(jī)制和協(xié)議等方面開展相關(guān)研究工作，通過建立理論方法和核心技術(shù)，提升分布式流處理系統(tǒng)的可靠性，為分布式流處理容錯(cuò)技術(shù)提供了一種新的思路和解決方案。本書共6章，主要內(nèi)容包括緒論、支持分布式流處理的低開銷容錯(cuò)機(jī)制、支持彈性流處理的自適應(yīng)容錯(cuò)機(jī)制、負(fù)載感知的最佳檢查點(diǎn)間隔策略、負(fù)載感知的近似備份策略和總結(jié)與展望。本書通過理論建模、仿真分析及實(shí)驗(yàn)驗(yàn)證等手段，對分布式流數(shù)據(jù)處理的容錯(cuò)技術(shù)進(jìn)行了有意義的探索。本書可作為高等工科院校計(jì)算機(jī)科學(xué)與技術(shù)、自動化、電子信息等專業(yè)研究生的參考書，也可供從事分布式處理系統(tǒng)容錯(cuò)技術(shù)設(shè)計(jì)的工程技術(shù)人員自學(xué)參考。

作者簡介

　　莊園，哈爾濱工程大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院講師，碩士生導(dǎo)師。2019年畢業(yè)于吉林大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)并獲工學(xué)博士學(xué)位。主要研究方向?yàn)樾畔踩^(qū)塊鏈、機(jī)器學(xué)習(xí)等。參與完成國家自然科學(xué)基金、國家自然科學(xué)青年基金、教育部高等專項(xiàng)科研基金、吉林省科技廳項(xiàng)目等多個(gè)科研項(xiàng)目；主持CCF科研類基金、智能船舶標(biāo)準(zhǔn)、中央高校等基金類項(xiàng)目；獲商業(yè)聯(lián)合協(xié)會科技進(jìn)步獎一項(xiàng)；發(fā)表SCI、EI檢索的學(xué)術(shù)論文10余篇，申請專利4項(xiàng)。作為訪問學(xué)者，曾在新加坡國立大學(xué)Next++人工智能實(shí)驗(yàn)室工作一年，主要研究方向?yàn)閰^(qū)塊鏈安全、深度學(xué)習(xí)、大數(shù)據(jù)處理，分布式計(jì)算等。

圖書目錄

目錄
第1章緒論 1
1．1 研究背景與意義 1
1．1．1 分布式流數(shù)據(jù)處理 1
1．1．2 系統(tǒng)可靠性問題與容錯(cuò)機(jī)制 2
1．1．3 流數(shù)據(jù)處理容錯(cuò)技術(shù)的挑戰(zhàn) 3
1．2 國內(nèi)外研究現(xiàn)狀 5
1．2．1 分布式流數(shù)據(jù)處理系統(tǒng) 5
1．2．2 流處理自動并行化技術(shù) 9
1．2．3 容錯(cuò)技術(shù) 10
1．3 本書的主要內(nèi)容 13
1．4 本書的組織結(jié)構(gòu) 14
第2章支持分布式流處理的低開銷容錯(cuò)機(jī)制 16
2．1 引言 16
2．2 相關(guān)工作 16
2．3 通用分布式流處理框架 17
2．4 系統(tǒng)模型 18
2．4．1 流數(shù)據(jù)處理作業(yè) 18
2．4．2 節(jié)點(diǎn)運(yùn)行狀態(tài) 19
2．5 結(jié)合檢查點(diǎn)的上游備份模型 21
2．5．1 異步檢查點(diǎn) 22
2．5．2 上游數(shù)據(jù)備份 22
2．6 容錯(cuò)協(xié)議及算法 24
2．6．1 上游備份協(xié)議 24
2．6．2 協(xié)議開銷分析 26
2．6．3 快速恢復(fù)算法 27
2．7 實(shí)驗(yàn)結(jié)果與性能分析 29
2．7．1 系統(tǒng)原型實(shí)現(xiàn) 29
2．7．2 實(shí)驗(yàn)設(shè)置 29
2．7．3 容錯(cuò)通信開銷 32
2．7．4 容錯(cuò)延遲開銷 33
2．7．5 容錯(cuò)內(nèi)存開銷 33
2．7．6 故障恢復(fù)測試 34
2．8 本章小結(jié) 35
第3章支持彈性流處理的自適應(yīng)容錯(cuò)機(jī)制 36
3．1 引言 36
3．2 相關(guān)工作 37
3．3 彈性流處理下容錯(cuò)問題建模 38
3．3．1 問題概述 38
3．3．2 備份調(diào)整函數(shù) 40
3．3．3 問題模型假設(shè) 41
3．4 支持彈性流處理的自適應(yīng)容錯(cuò)機(jī)制 41
3．4．1 彈性數(shù)據(jù)備份單元 42
3．4．2 數(shù)據(jù)依賴關(guān)系追蹤 44
3．4．3 在線檢查點(diǎn)調(diào)整機(jī)制 46
3．5 自適應(yīng)容錯(cuò)協(xié)議 46
3．6 實(shí)驗(yàn)與結(jié)果分析 49
3．6．1 系統(tǒng)原型實(shí)現(xiàn) 49
3．6．2 實(shí)驗(yàn)設(shè)置 50
3．6．3 容錯(cuò)開銷測試 51
3．6．4 故障恢復(fù)測試 52
3．6．5 綜合性能比較 52
3．7 本章總結(jié) 53
第4章負(fù)載感知的最佳檢查點(diǎn)間隔策略 54
4．1 引言 54
4．2 相關(guān)工作 55
4．3 最佳檢查點(diǎn)問題建模 57
4．3．1 系統(tǒng)模型 57
4．3．2 處理效率 58
4．3．3 問題定義 60
4．4 動態(tài)最佳檢查點(diǎn)間隔（DOCI）模型 61
4．4．1 在線恢復(fù)時(shí)間預(yù)測 61
4．4．2 最佳檢查點(diǎn)間隔 62
4．5 DOCI調(diào)整策略 63
4．5．1 DOCI調(diào)整算法 63
4．5．2 緩存對最佳檢查點(diǎn)間隔的影響 66
4．6 實(shí)驗(yàn)與結(jié)果分析 67
4．6．1 模擬方法 67
4．6．2 恒定輸入速率下的效率測試 68
4．6．3 工作負(fù)載波動下的效率測試 69
4．6．4 備份緩存區(qū)容量的影響測試 71
4．7 應(yīng)用場景 72
4．8 本章總結(jié) 73
第5章負(fù)載感知的近似備份策略 74
5．1 引言 74
5．2 相關(guān)工作 76
5．3 系統(tǒng)模型介紹 77
5．3．1 流處理模型 77
5．3．2 近似備份模型 77
5．3．3 前提假設(shè) 78
5．4 容錯(cuò)問題建模 79
5．4．1 備份開銷 79
5．4．2 恢復(fù)質(zhì)量 80
5．4．3 問題描述 81
5．5 近似備份算法 82
5．5．1 單節(jié)點(diǎn)故障算法 82
5．5．2 級聯(lián)故障算法 83
5．5．3 負(fù)載傾斜備份算法 85
5．6 實(shí)驗(yàn)結(jié)果與分析 87
5．6．1 實(shí)驗(yàn)設(shè)置 87
5．6．2 綜合性能測試 89
5．6．3 系統(tǒng)性能與故障恢復(fù)精度的影響測試 91
5．6．4 負(fù)載傾斜下的性能測試 92
5．6．5 可擴(kuò)展性測試 93
5．7 結(jié)論 94
第6章總結(jié)與展望 96
6．1 總結(jié) 96
6．2 未來研究展望 96
參考文獻(xiàn) 98