高性能計(jì)算：現(xiàn)代系統(tǒng)與應(yīng)用實(shí)踐

譯者序
序言
前言
致謝
第1章　緒論 1
1.1　高性能計(jì)算學(xué)科 2
1.1.1　定義 3
1.1.2　應(yīng)用程序 3
1.1.3　性能和指標(biāo) 3
1.1.4　高性能計(jì)算系統(tǒng) 4
1.1.5　超算問(wèn)題 6
1.1.6　應(yīng)用編程 7
1.2　超算對(duì)科學(xué)、社會(huì)和安全的影響 8
1.2.1　促進(jìn)欺詐檢測(cè)和市場(chǎng)數(shù)據(jù)分析 8
1.2.2　發(fā)現(xiàn)、管理和分配石油和天然氣 8
1.2.3　加快制造業(yè)的創(chuàng)新 9
1.2.4　個(gè)性化醫(yī)藥和藥物發(fā)現(xiàn) 9
1.2.5　預(yù)測(cè)自然災(zāi)害和了解氣候變化 10
1.3　超級(jí)計(jì)算機(jī)剖析 11
1.4　計(jì)算機(jī)性能 13
1.4.1　性能 13
1.4.2　峰值性能 13
1.4.3　持續(xù)性能 14
1.4.4　可擴(kuò)展性 15
1.4.5　性能退化 15
1.4.6　性能提升 17
1.5　超級(jí)計(jì)算機(jī)簡(jiǎn)史 17
1.5.1　第一個(gè)階段—利用機(jī)械技術(shù)的自動(dòng)計(jì)算機(jī) 18
1.5.2　第二個(gè)階段—真空管時(shí)代的馮·諾依曼架構(gòu) 19
1.5.3　第三個(gè)階段—指令級(jí)并行 23
1.5.4　第四個(gè)階段—向量處理和積分 24
1.5.5　第五個(gè)階段—單指令多數(shù)據(jù)陣列 27
1.5.6　第六個(gè)階段—順序處理器的通信和超大規(guī)模集成電路 27
1.5.7　第七個(gè)階段—多核和千萬(wàn)億次 30
1.5.8　新數(shù)字時(shí)代和超越摩爾定律 30
1.6　作為學(xué)生的指南和工具 31
1.7　本章小結(jié)及成果 32
1.8　練習(xí) 33
參考文獻(xiàn) 34
第2章　HPC架構(gòu)：系統(tǒng)和技術(shù) 35
2.1　引言 35
2.2　HPC架構(gòu)的關(guān)鍵特性 36
2.2.1　速度 36
2.2.2　并行性 36
2.2.3　效率 37
2.2.4　功率 37
2.2.5　可靠性 38
2.2.6　可編程性 38
2.3　并行架構(gòu)家族—弗林分類(lèi)法 39
2.4　支持技術(shù) 41
2.4.1　技術(shù)階段 41
2.4.2　技術(shù)的角色 44
2.4.3　數(shù)字邏輯 45
2.4.4　存儲(chǔ)技術(shù) 47
2.5　馮·諾依曼順序處理器 50
2.6　向量和流水線(xiàn) 52
2.6.1　流水線(xiàn)并行 53
2.6.2　向量處理 55
2.7　單指令多數(shù)據(jù)陣列 56
2.7.1　單指令多數(shù)據(jù)架構(gòu) 56
2.7.2　阿姆達(dá)定律 57
2.8　多處理器 59
2.8.1　共享內(nèi)存多處理器 60
2.8.2　大規(guī)模并行處理器 62
2.8.3　商品集群系統(tǒng) 62
2.9　異構(gòu)計(jì)算機(jī)結(jié)構(gòu) 63
2.10　本章小結(jié)及成果 64
2.11　練習(xí) 65
參考文獻(xiàn) 67
第3章　商品集群 68
3.1　引言 68
3.1.1　商品集群的定義 68
3.1.2　集群的動(dòng)機(jī)和理由 69
3.1.3　集群元素 70
3.1.4　對(duì)500強(qiáng)名單的影響 70
3.1.5　簡(jiǎn)史 71
3.1.6　章節(jié)指南 73
3.2　Beowulf集群項(xiàng)目 74
3.3　硬件架構(gòu) 76
3.3.1　節(jié)點(diǎn) 76
3.3.2　系統(tǒng)區(qū)域網(wǎng)絡(luò) 77
3.3.3　輔助存儲(chǔ) 78
3.3.4　商業(yè)系統(tǒng)摘要 78
3.4　編程接口 78
3.4.1　高性能計(jì)算程序設(shè)計(jì)語(yǔ)言 78
3.4.2　并行編程模式 80
3.5　軟件環(huán)境 80
3.5.1　操作系統(tǒng) 80
3.5.2　資源管理 82
3.5.3　調(diào)試器 83
3.5.4　性能分析 84
3.5.5　可視化 85
3.6　基本使用方法 86
3.6.1　登錄 86
3.6.2　用戶(hù)空間和目錄系統(tǒng) 87
3.6.3　包的配置和構(gòu)建 92
3.6.4　編譯器和編譯 93
3.6.5　運(yùn)行應(yīng)用程序 94
3.7　本章小結(jié)及成果 94
3.8　練習(xí) 95
參考文獻(xiàn) 95
第4章　基準(zhǔn)測(cè)試程序 97
4.1　引言 97
4.2　HPC基準(zhǔn)測(cè)試程序的關(guān)鍵屬性 100
4.3　標(biāo)準(zhǔn)的HPC社區(qū)的基準(zhǔn)測(cè)試程序 101
4.4　高度并行計(jì)算的Linpack 102
4.5　HPC挑戰(zhàn)基準(zhǔn)測(cè)試套件 104
4.6　高性能共軛梯度 106
4.7　NAS并行基準(zhǔn)測(cè)試程序 110
4.8　Graph500 111
4.9　小型應(yīng)用作為基準(zhǔn)測(cè)試程序 115
4.10　本章小結(jié)及成果 116
4.11　練習(xí) 117
參考文獻(xiàn) 118
第5章　資源管理的基礎(chǔ) 119
5.1　資源管理 119
5.2　SLURM的基礎(chǔ) 123
5.2.1　架構(gòu)概述 123
5.2.2　工作負(fù)載的組織 124
5.2.3　SLURM調(diào)度 125
5.2.4　SLURM命令概要 127
5.2.5　SLURM作業(yè)腳本 141
5.2.6　SLURM速查表 146
5.3　便攜式批量系統(tǒng)基礎(chǔ) 147
5.3.1　PBS概述 147
5.3.2　PBS架構(gòu) 148
5.3.3　PBS命令概要 148
5.3.4　PBS作業(yè)腳本 158
5.3.5　PBS速查表 160
5.4　本章小結(jié)及成果 161
5.5　練習(xí) 162
參考文獻(xiàn) 163
第6章　對(duì)稱(chēng)多處理器架構(gòu) 164
6.1　引言 164
6.2　架構(gòu)概覽 165
6.3　阿姆達(dá)定律 168
6.4　處理器核心的架構(gòu) 171
6.4.1　執(zhí)行流水線(xiàn) 172
6.4.2　指令級(jí)并行 173
6.4.3　分支預(yù)測(cè) 173
6.4.4　直通 174
6.4.5　保留站 174
6.4.6　多線(xiàn)程 174
6.5　存儲(chǔ)層次 175
6.5.1　數(shù)據(jù)重用和局部性 175
6.5.2　存儲(chǔ)層次結(jié)構(gòu) 176
6.5.3　存儲(chǔ)系統(tǒng)的性能 178
6.6　PCI總線(xiàn) 180
6.7　外部I/O接口 184
6.7.1　網(wǎng)絡(luò)接口控制器 184
6.7.2　串行高級(jí)技術(shù)附件 185
6.7.3　JTAG 187
6.7.4　通用串行總線(xiàn) 189
6.8　本章小結(jié)及成果 190
6.9　練習(xí) 191
參考文獻(xiàn) 192
第7章　OpenMP的基礎(chǔ) 194
7.1　引言 194
7.2　OpenMP編程模型概覽 195
7.2.1　線(xiàn)程并行 195
7.2.2　線(xiàn)程變量 197
7.2.3　運(yùn)行時(shí)庫(kù)與環(huán)境變量 197
7.3　并行線(xiàn)程和循環(huán) 199
7.3.1　并行線(xiàn)程 199
7.3.2　私有 200
7.3.3　并行“for”語(yǔ)句 200
7.3.4　塊 206
7.4　同步 208
7.4.1　臨界同步指令 208
7.4.2　master指令 209
7.4.3　barr