超級計算機原理與實踐

目錄
**部分 超級計算機的基礎知識
第1章 超級計算機入門 1
1.1 超級計算機簡介 1
1.2 超級計算機的性能指標 5
1.2.1 基本性能指標 5
1.2.2 可擴展性 6
1.2.3 峰值性能與持續(xù)性能 7
1.2.4 其他性能指標 8
1.3 超級計算機的基準評測集 8
1.3.1 計算性能評測集 9
1.3.2 I/O 性能評測集 15
1.3.3 網(wǎng)絡性能評測集 17
1.3.4 應用評測集 18
1.4 超級計算機的發(fā)展歷程 19
1.4.1 “初生”時代 19
1.4.2 “克雷”時代 19
1.4.3 “多核”時代 20
1.4.4 “異構”時代 21
1.4.5 國產(chǎn)超級計算機的發(fā)展歷程 21
1.5 超級計算機的應用領域 22
1.6 本章小結 23
課后習題 23
第2章 超級計算機硬件與體系結構 24
2.1 超級計算機硬件 24
2.1.1 計算陣列 25
2.1.2 存儲陣列 26
2.1.3 服務陣列 26
2.1.4 互連通信子系統(tǒng) 27
2.1.5 監(jiān)控診斷子系統(tǒng) 28
2.2 超級計算機體系結構 28
2.2.1 Flynn 分類法 28
2.2.2 典型超級計算機體系結構分類 29
2.3 本章小結 41
課后習題 42
第二部分 超級計算機的系統(tǒng)軟件
第3章 超算調度系統(tǒng) 43
3.1 超算調度系統(tǒng)的發(fā)展歷史 43
3.2 超算調度系統(tǒng)功能模型 45
3.3 典型超算調度系統(tǒng) 46
3.3.1 LSF 46
3.3.2 Slurm 52
3.4 本章小結 58
課后習題 58
第4章 超算存儲與文件系統(tǒng) 59
4.1 超算系統(tǒng)典型存儲結構 59
4.2 并行文件系統(tǒng) 60
4.2.1 文件訪問接口 60
4.2.2 并行文件系統(tǒng)關鍵技術 62
4.2.3 Lustre 文件系統(tǒng) 64
4.2.4 BeeGFS 介紹 68
4.3 I/O 中間件 71
4.3.1 MPI I/O 72
4.3.2 PLFS 73
4.3.3 其他 74
4.4 本章小結 75
課后習題 75
第三部分 面向超級計算機的并行編程
第5章 并行編程基礎 77
5.1 并行編程模型 77
5.1.1 共享內(nèi)存編程模型 77
5.1.2 消息傳遞編程模型 78
5.1.3 數(shù)據(jù)并行編程模型 80
5.1.4 混合并行編程模型 81
5.1.5 隱式并行編程模型 82
5.2 并行程序執(zhí)行模式 82
5.2.1 主從模式 82
5.2.2 SPMD 模式 82
5.2.3 MPMD 模式 83
5.3 并行程序設計的方法論 83
5.3.1 Foster 方法論簡介 83
5.3.2 并行算法 85
5.4 本章小結 88
課后習題 88
第6章 傳統(tǒng)并行編程 90
6.1 MPI 編程 90
6.1.1 MPI 基本概念 90
6.1.2 MPI 通信模式 93
6.2 Pthreads 編程 97
6.2.1 線程管理 98
6.2.2 線程同步 100
6.3 OpenMP 編程 108
6.3.1 編譯器指令 108
6.3.2 并行結構與常用指令 108
6.3.3 數(shù)據(jù)范圍屬性子句 114
6.3.4 運行時庫函數(shù)和環(huán)境變量 115
6.4 混合并行編程 115
6.4.1 混合并行編程的基本思想 116
6.4.2 混合并行編程方法 116
6.4.3 混合并行編程實例 120
6.5 本章小結 121
課后習題 121
第7章 異構并行編程 123
7.1 CUDA 編程 123
7.1.1 CUDA 編程模型 125
7.1.2 CUDA 執(zhí)行模型 135
7.1.3 CUDA 函數(shù)庫 137
7.2 OpenCL 編程 138
7.2.1 OpenCL 平臺模型 138
7.2.2 OpenCL 編程模型 139
7.2.3 OpenCL 執(zhí)行模型 139
7.2.4 OpenCL 內(nèi)存模型 140
7.2.5 OpenCL 編程實例 141
7.3 本章小結 145
課后習題 146
第四部分 典型并行應用案例與應用軟件介紹
第8章 典型并行應用案例 147
8.1 通用矩陣乘法并行化 147
8.1.1 基于 OpenMP 并行化實現(xiàn) 147
8.1.2 基于 Pthreads 并行化實現(xiàn) 148
8.1.3 基于 MPI 并行化實現(xiàn) 149
8.2 **排序算法并行化 152
8.2.1 奇偶排序并行化：消除數(shù)據(jù)相關性 152
8.2.2 二路歸并排序并行化 154
8.3 生產(chǎn)者消費者問題并行化 155
8.4 分布式機器學習并行化 159
8.4.1 單機計算與并行模式 159
8.4.2 任務劃分與聚合 161
8.4.3 分布式架構與網(wǎng)絡通信 164
8.5 本章小結 167
課后習題 167
第9章 超算基礎軟件庫和應用開發(fā)框架 168
9.1 超算基礎軟件庫 168
9.1.1 ScaLAPACK 168
9.1.2 Trilinos 170
9.1.3 TAO 177
9.1.4 HPCToolkit 178
9.1.5 ADIOS 181
9.1.6 Kokkos 182
9.1.7 VTK-m 184
9.2 超算應用開發(fā)框架 185
9.2.1 VASP 185
9.2.2 Gaussian 187
9.2.3 Fluent 190
9.2.4 OpenFOAM 192
9.2.5 GROMACS 196
9.2.6 NAMD 197
9.2.7 MATLAB 198
9.2.8 MOOSE 200
9.3 本章小結 203
課后習題 204
參考文獻 205