稀疏矩陣計算優(yōu)化

第1章   稀疏矩陣概述 1
1.1　矩陣與稀疏矩陣 1
1.2　應用領域 1
1.2.1　線性系統(tǒng) 2
1.2.2　圖計算 7
1.2.3　線性規(guī)劃 8
1.2.4　PageRank算法 9
1.3　稀疏矩陣相關計算 12
1.3.1　BLAS 12
1.3.2　Sparse BLAS 14
1.3.3　SpMV 16
1.3.4　SpGEMM 16
1.3.5　SpMM 17
本章參考文獻 18
第2章  稀疏矩陣壓縮編碼方法 23
2.1　常見壓縮編碼概述 23
2.2　常見基本壓縮格式 24
2.2.1　COO 24
2.2.2　CSR 24
2.2.3　ELL 25
2.2.4　DIA 26
2.3　切片和分塊壓縮格式 26
2.3.1　BCSR 26
2.3.2　BCCOO/BCCOO 27
2.3.3　CSR5 28
2.3.4　CSR2 30
2.3.5　SELL 30
2.3.6　CDS 31
2.4　混合格式 31
2.4.1　HYB 31
2.4.2　MMSparse 32
2.4.3　其他 33
本章參考文獻 33
第3章  SpMV研究現(xiàn)狀綜述 36
3.1　問題定義 36
3.2　格式選擇 37
3.2.1　基于目標平臺特性的格式選擇 37
3.2.2　基于強化學習的格式選擇 37
3.2.3　基于決策樹的格式選擇 38
3.2.4　基于SVM的格式選擇 38
3.2.5　基于深度學習的格式選擇 39
3.3　面向體系結構的優(yōu)化 40
3.3.1　面向多核/眾核處理器的優(yōu)化 40
3.3.2　面向GPU的優(yōu)化 42
3.3.3　基于FPGA的優(yōu)化 42
3.3.4　面向異構計算平臺的優(yōu)化 43
3.4　自動調(diào)優(yōu)技術 43
3.5　矩陣劃分 44
3.5.1　一維劃分 44
3.5.2　二維劃分 45
本章參考文獻 45
第4章  SpGEMM研究現(xiàn)狀綜述 51
4.1　SpGEMM介紹 51
4.2　常見應用 52
4.2.1　代數(shù)多網(wǎng)格求解器 52
4.2.2　三角形計數(shù) 53
4.2.3　多源寬度優(yōu)先搜索 55
4.3　主要研究方法 56
4.3.1　結果矩陣的大小預測 56
4.3.2　矩陣劃分和負載均衡 59
4.3.3　中間結果累加 62
4.4　面向體系結構的優(yōu)化 64
4.4.1　多核平臺 64
4.4.2　現(xiàn)場可編程門陣列 67
4.4.3　異構計算平臺 67
4.4.4　分布式平臺 67
4.5　實驗評估 68
4.5.1　系統(tǒng)設置 69
4.5.2　測試基準 70
4.5.3　評估結果 71
4.6　挑戰(zhàn)與未來工作 76
本章參考文獻 77
第5章  面向異構平臺的SpMV優(yōu)化算法 86
5.1　CPU-GPU異構平臺編程 86
5.2　基于機器學習的SpMV性能預測 88
5.2.1　基于回歸分析的性能預測 89
5.2.2　模型訓練與測試 89
5.2.3　性能分析 91
5.3　面向異構平臺的劃分與協(xié)同優(yōu)化算法 91
5.3.1　稀疏矩陣數(shù)據(jù)布局分析 91
5.3.2　特定模式稀疏矩陣的SpMV劃分 92
5.3.3　SpMV計算協(xié)同任務優(yōu)化 93
5.3.4　實驗評估 96
5.3.5　小結 99
5.4　多GPU異構平臺的SpMV優(yōu)化 100
5.4.1　面向CPU - GPU異構平臺的稀疏矩陣劃分 101
5.4.2　實驗評估 106
5.4.3　小結 114
本章參考文獻 115
第6章  基于數(shù)學形態(tài)學的SpMV劃分優(yōu)化方法 119
6.1　矩陣劃分 119
6.2　基本工作流程 121
6.3　形狀識別 123
6.4　矩陣二維劃分 132
6.5　算法實現(xiàn)與GPU優(yōu)化 135
6.5.1　形狀識別算法實現(xiàn) 135
6.5.2　GPU優(yōu)化 136
6.6　實驗評估 138
6.6.1　SpMV性能分析 139
6.6.2　形態(tài)學參數(shù)選擇 142
6.6.3　數(shù)據(jù)失真 143
6.6.4　額外開銷分析 144
本章參考文獻 145
第7章  面向GPU的SpMV編碼選擇算法 146
7.1　引言 146
7.2　在GPU上進行稀疏格式選擇的重要性 148
7.2.1　SpMV內(nèi)核在GPU上的性能 148
7.2.2　SpMV內(nèi)核在GPU上的能效 150
7.3　BestSF：一種稀疏元格式 151
7.3.1　離線訓練 152
7.3.2　在線決策 153
7.4　稀疏特征選擇 153
7.5　Pairwise Model學習 155
7.5.1　學習算法 155
7.5.2　特征選擇 156
7.5.3　訓練與測試 156
7.6　評估 157
7.7　總結 164
本章參考文獻 164
第8章  SpMV性能預測分析 168
8.1　引言 168
8.2　面向硬件體系結構的性能預測方法 169
8.3　基于傳統(tǒng)機器學習的性能預測方法 170
8.4　基于深度學習的性能預測方法 180
8.5　多性能指標下SpMV性能分析 182
本章參考文獻 183
第9章  面向精度的稀疏矩陣計算優(yōu)化 186
9.1　數(shù)據(jù)表示與精度 186
9.1.1　常見浮點數(shù)據(jù)表示 186
9.1.2　處理器與精度 188
9.1.3　精度可調(diào)算法設計的主要挑戰(zhàn) 191
9.2　混合精度算法設計 192
9.2.1　數(shù)據(jù)驅(qū)動的混合精度算法 192
9.2.2　混合精度的迭代算法 192
9.2.3　混合精度的預條件迭代算法 193
9.2.4　計算格式與存儲格式解耦 195
本章參考文獻 197
220章  開源庫和工具 199
10.1　測試集 199
10.1.1　SuiteSparse Matrix Collection 199
10.1.2　SparseBench 201
10.2　相關庫 201
10.2.1　cuSPARSE 201
10.2.2　CSPARSE 202
10.2.3　CUSP 202
10.2.4　bhSPARSE 203
10.2.5　KokkosKernels 203
10.2.6　SpBLAS 203
10.2.7　Scilab 204
10.2.8　各類庫對比 204
本章參考文獻 204
彩插 206