123,123,123

內(nèi)容簡(jiǎn)介

　　本書基于作者多年的研究成果，詳細(xì)介紹了跨數(shù)據(jù)中心機(jī)器學(xué)習(xí)的訓(xùn)練系統(tǒng)設(shè)計(jì)和通信優(yōu)化技術(shù)。本書面向多數(shù)據(jù)中心間的分布式機(jī)器學(xué)習(xí)系統(tǒng)，針對(duì)多數(shù)據(jù)中心間有限的傳輸帶寬、動(dòng)態(tài)異構(gòu)資源，以及異構(gòu)數(shù)據(jù)分布三重挑戰(zhàn)，自底向上討論梯度傳輸協(xié)議、流量傳送調(diào)度、高效通信架構(gòu)、壓縮傳輸機(jī)制、同步優(yōu)化算法、異構(gòu)數(shù)據(jù)優(yōu)化算法六個(gè)層次的優(yōu)化技術(shù)，旨在提升分布式機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練效率和模型性能，突破跨數(shù)據(jù)中心機(jī)器學(xué)習(xí)的通信瓶頸和數(shù)據(jù)壁壘，實(shí)現(xiàn)多數(shù)據(jù)中心算力和數(shù)據(jù)資源的高效整合。本書可作為跨數(shù)據(jù)中心機(jī)器學(xué)習(xí)的參考資料，供人工智能及分布式計(jì)算領(lǐng)域的科研和工程人員閱讀。

作者簡(jiǎn)介

　　虞紅芳，博士，電子科技大學(xué)教授、博士生導(dǎo)師、副院長(zhǎng)。已承擔(dān)課題30余項(xiàng)，企業(yè)合作項(xiàng)目20余項(xiàng)，獲省部級(jí)科技獎(jiǎng)2項(xiàng)、華為優(yōu)秀科研項(xiàng)目獎(jiǎng)2次。在國(guó)內(nèi)外知名期刊和會(huì)議發(fā)表學(xué)術(shù)論文200余篇，H指數(shù)37；出版學(xué)術(shù)專著4部，授權(quán)發(fā)明專利80余項(xiàng)。研究興趣包括網(wǎng)絡(luò)虛擬化、下一代網(wǎng)絡(luò)、云/邊緣計(jì)算、分布式系統(tǒng)、網(wǎng)絡(luò)安全等。李宗航，博士，電子科技大學(xué)英才實(shí)驗(yàn)學(xué)院導(dǎo)師，曾訪學(xué)牛津大學(xué)和南洋理工大學(xué)。發(fā)表學(xué)術(shù)論文20篇；入選電子科技大學(xué)領(lǐng)軍人才計(jì)劃；獲通信學(xué)會(huì)未來之光獎(jiǎng)、牛津影響力項(xiàng)目獎(jiǎng)和浦口經(jīng)開英才獎(jiǎng)等多項(xiàng)榮譽(yù)；主研課題等8項(xiàng)，獲未來網(wǎng)絡(luò)領(lǐng)先創(chuàng)新科技成果獎(jiǎng)。研究興趣包括分布式人工智能、智算網(wǎng)一體化和聯(lián)邦學(xué)習(xí)。孫罡，博士，電子科技大學(xué)教授，博士生導(dǎo)師。長(zhǎng)期致力于網(wǎng)絡(luò)虛擬化、云計(jì)算、物聯(lián)網(wǎng)與分布式系統(tǒng)等領(lǐng)域的相關(guān)研究。在國(guó)內(nèi)外各知名期刊發(fā)表SCI/EI檢索論文100余篇，出版學(xué)術(shù)專著3部，已授權(quán)美國(guó)發(fā)明專利3項(xiàng)、中國(guó)發(fā)明專利70余項(xiàng)。羅龍，博士，電子科技大學(xué)副教授。長(zhǎng)期從事網(wǎng)絡(luò)算法、分布式系統(tǒng)等相關(guān)研究。在國(guó)內(nèi)外知名期刊和會(huì)議上發(fā)表學(xué)術(shù)論文30篇；授權(quán)發(fā)明專利7項(xiàng)；入選第八屆中國(guó)科協(xié)青年人才托舉工程；主持/主研國(guó)家自然科學(xué)基金、國(guó)家重點(diǎn)研發(fā)計(jì)劃等項(xiàng)目。

圖書目錄

第1章跨數(shù)據(jù)中心機(jī)器學(xué)習(xí)概述 1
1.1 分布式機(jī)器學(xué)習(xí) 5
1.1.1 基本概念 5
1.1.2 國(guó)內(nèi)外發(fā)展現(xiàn)狀 7
1.1.3 并行模式 10
1.1.4 通信范式 21
1.1.5 通信優(yōu)化技術(shù) 32
1.2 跨數(shù)據(jù)中心分布式機(jī)器學(xué)習(xí) 39
1.2.1 產(chǎn)業(yè)發(fā)展背景及需求 39
1.2.2 基本架構(gòu) 41
1.2.3 面臨的關(guān)鍵挑戰(zhàn) 43
1.3 本書的章節(jié)結(jié)構(gòu) 46
本章參考文獻(xiàn) 47
第2章高效通信架構(gòu) 58
2.1 分層參數(shù)服務(wù)器通信架構(gòu) 59
2.1.1 架構(gòu)設(shè)計(jì)方案 59
2.1.2 運(yùn)行流程與通信模型 61
2.1.3 主要操作原語(yǔ) 64
2.2 部署模式與適用場(chǎng)景 65
2.3 實(shí)驗(yàn)與性能評(píng)估 67
2.4 本章小結(jié) 70
本章參考文獻(xiàn) 70
第3章同步優(yōu)化算法 72
3.1 系統(tǒng)模型與基礎(chǔ)同步優(yōu)化算法 73
3.1.1 系統(tǒng)模型 73
3.1.2 全同步通信算法 73
3.1.3 實(shí)驗(yàn)與性能評(píng)估 76
3.2 面向受限域間通信資源的同步算法 78
3.2.1 研究現(xiàn)狀 79
3.2.2 內(nèi)同步累積的低頻同步通信算法 80
3.2.3 實(shí)驗(yàn)與性能評(píng)估 83
3.3 面向異構(gòu)計(jì)算與通信資源的同步算法 84
3.3.1 研究現(xiàn)狀 85
3.3.2 延遲補(bǔ)償?shù)幕旌贤剿惴?88
3.3.3 迭代次數(shù)自適應(yīng)的同步算法 91
3.3.4 實(shí)驗(yàn)與性能評(píng)估 109
3.4 本章小結(jié) 119
本章參考文獻(xiàn) 120
第4章壓縮傳輸機(jī)制 123
4.1 稀疏化與量化基本概念 124
4.2 雙向梯度稀疏化技術(shù) 127
4.2.1 梯度稀疏化技術(shù) 127
4.2.2 稀疏同步技術(shù) 128
4.2.3 冗余梯度修正技術(shù) 129
4.3 混合精度傳輸技術(shù) 132
4.4 實(shí)驗(yàn)與性能評(píng)估 133
4.5 本章小結(jié) 139
本章參考文獻(xiàn) 139
第5章梯度傳輸協(xié)議 142
5.1 研究動(dòng)機(jī) 143
5.2 協(xié)議設(shè)計(jì)及其挑戰(zhàn) 145
5.3 近似梯度分類算法 146
5.3.1 算法設(shè)計(jì) 146
5.3.2 分類閾值動(dòng)態(tài)衰減技術(shù) 149
5.4 差異化梯度傳輸協(xié)議的設(shè)計(jì) 149
5.4.1 基于優(yōu)先級(jí)的差異化傳輸 150
5.4.2 差異化接收方法 151
5.5 實(shí)現(xiàn)和部署 152
5.5.1 DGT通信中間件的功能實(shí)現(xiàn) 152
5.5.2 DGT通信中間件的跨數(shù)據(jù)中心部署 154
5.6 實(shí)驗(yàn)與性能評(píng)估 155
5.7 本章小結(jié) 165
本章參考文獻(xiàn) 165
第6章流量傳送調(diào)度 168
6.1 基于動(dòng)態(tài)通信調(diào)度的通信覆蓋機(jī)制 170
6.1.1 研究動(dòng)機(jī) 170
6.1.2 問題建模 173
6.1.3 通信覆蓋機(jī)制設(shè)計(jì) 175
6.1.4 實(shí)現(xiàn)和部署 183
6.1.5 實(shí)驗(yàn)與性能評(píng)估 185
6.2 光廣域網(wǎng)中的在線流量調(diào)度 192
6.2.1 研究動(dòng)機(jī) 194
6.2.2 任務(wù)內(nèi)調(diào)度 195
6.2.3 任務(wù)間調(diào)度 199
6.2.4 算法性能分析 203
6.2.5 仿真結(jié)果與分析 205
6.3 本章小結(jié) 211
本章參考文獻(xiàn) 211
第7章異構(gòu)數(shù)據(jù)優(yōu)化算法 214
7.1 研究現(xiàn)狀 216
7.2 系統(tǒng)模型 220
7.3 聯(lián)邦組同步算法設(shè)計(jì)與實(shí)現(xiàn) 221
7.3.1 算法設(shè)計(jì)動(dòng)機(jī) 221
7.3.2 算法設(shè)計(jì)與實(shí)現(xiàn) 223
7.4 組節(jié)點(diǎn)選擇算法設(shè)計(jì)與實(shí)現(xiàn) 226
7.4.1 問題建模與分析 226
7.4.2 算法設(shè)計(jì)與實(shí)現(xiàn) 228
7.5 算法的收斂性與效率分析 231
7.5.1 算法收斂性分析 232
7.5.2 算法效率分析 233
7.6 實(shí)驗(yàn)與性能評(píng)估 235
7.7 本章小結(jié) 245
本章參考文獻(xiàn) 245
第8章總結(jié)與展望 249
附錄A 縮略語(yǔ)對(duì)照表 250