高性能計(jì)算系統(tǒng)與大數(shù)據(jù)分析

譯者序

序

前言

第1章　IT領(lǐng)域的變革以及未來趨勢(shì)1

1.1　引言1

1.2　新興的IT趨勢(shì)1

1.3　數(shù)字化實(shí)體的實(shí)現(xiàn)與發(fā)展4

1.4　物聯(lián)網(wǎng)/萬物互聯(lián)5

1.5　對(duì)社交媒體網(wǎng)站的廣泛采用7

1.6　預(yù)測(cè)性、規(guī)范性、個(gè)性化分析時(shí)代7

1.7　用于大數(shù)據(jù)及分析的Apache Hadoop11

1.8　大數(shù)據(jù)、大洞見、大動(dòng)作13

1.9　結(jié)論15

1.10　習(xí)題15

第2章　大數(shù)據(jù)/快速數(shù)據(jù)分析中的高性能技術(shù)16

2.1　引言16

2.2　大數(shù)據(jù)分析學(xué)科的出現(xiàn)17

2.3　大數(shù)據(jù)的戰(zhàn)略意義18

2.4　大數(shù)據(jù)分析的挑戰(zhàn)19

2.5　高性能計(jì)算范型19

2.6　通過并行實(shí)現(xiàn)高性能的方法21

2.7　集群計(jì)算22

2.8　網(wǎng)格計(jì)算24

2.9　云計(jì)算27

2.10　異構(gòu)計(jì)算29

2.11　用于高性能計(jì)算的大型機(jī)31

2.12　用于大數(shù)據(jù)分析的超級(jí)計(jì)算32

2.13　用于大數(shù)據(jù)分析的設(shè)備32

2.13.1　用于大規(guī)模數(shù)據(jù)分析的數(shù)據(jù)倉庫設(shè)備33

2.13.2　in-memory大數(shù)據(jù)分析35

2.13.3　大數(shù)據(jù)的in-database處理37

2.13.4　基于Hadoop的大數(shù)據(jù)設(shè)備38

2.13.5　高性能大數(shù)據(jù)存儲(chǔ)設(shè)備41

2.14　結(jié)論42

2.15　習(xí)題42

參考文獻(xiàn)43

第3章　大數(shù)據(jù)與快速數(shù)據(jù)分析對(duì)高性能計(jì)算的渴望44

3.1　引言44

3.2　重新審視大數(shù)據(jù)分析范型45

3.3　大數(shù)據(jù)和快速數(shù)據(jù)的含義47

3.4　用于精確、預(yù)測(cè)性、規(guī)范性洞見的新興數(shù)據(jù)源48

3.5　大數(shù)據(jù)分析為何不俗50

3.6　傳統(tǒng)的和新一代的數(shù)據(jù)分析案例研究51

3.7　為何采用基于云的大數(shù)據(jù)分析55

3.8　大數(shù)據(jù)分析：主要處理步驟57

3.9　實(shí)時(shí)分析58

3.10　流分析62

3.11　傳感器分析63

3.11.1　大數(shù)據(jù)分析與高性能計(jì)算的同步：附加價(jià)值63

3.12　結(jié)論64

3.13　習(xí)題64

第4章　高性能大數(shù)據(jù)分析的網(wǎng)絡(luò)基礎(chǔ)設(shè)施65

4.1　引言65

4.2　當(dāng)前網(wǎng)絡(luò)基礎(chǔ)設(shè)施的局限66

4.3　高性能大數(shù)據(jù)分析網(wǎng)絡(luò)基礎(chǔ)設(shè)施的設(shè)計(jì)方法68

4.3.1　網(wǎng)絡(luò)虛擬化68

4.3.2　軟件定義網(wǎng)絡(luò)76

4.3.3　網(wǎng)絡(luò)功能虛擬化78

4.4　用于傳輸大數(shù)據(jù)的廣域網(wǎng)優(yōu)化79

4.5　結(jié)論81

4.6　習(xí)題81

參考文獻(xiàn)81

第5章　高性能大數(shù)據(jù)分析的存儲(chǔ)基礎(chǔ)設(shè)施82

5.1　引言82

5.2　直連式存儲(chǔ)83

5.2.1　DAS的缺點(diǎn)84

5.3　存儲(chǔ)區(qū)域網(wǎng)絡(luò)85

5.3.1　塊級(jí)訪問85

5.3.2　文件級(jí)訪問85

5.3.3　對(duì)象級(jí)訪問85

5.4　保存大數(shù)據(jù)的存儲(chǔ)基礎(chǔ)設(shè)施需求86

5.5　光纖通道存儲(chǔ)區(qū)域網(wǎng)絡(luò)87

5.6　互聯(lián)網(wǎng)協(xié)議存儲(chǔ)區(qū)域網(wǎng)絡(luò)88

5.6.1　以太網(wǎng)光纖通道88

5.7　網(wǎng)絡(luò)附屬存儲(chǔ)89

5.8　用于高性能大數(shù)據(jù)分析的流行文件系統(tǒng)89

5.8.1　Google文件系統(tǒng)89

5.8.2　Hadoop分布式文件系統(tǒng)91

5.8.3　Panasas92

5.8.4　Luster文件系統(tǒng)94

5.9　云存儲(chǔ)簡(jiǎn)介96

5.9.1　云存儲(chǔ)系統(tǒng)的架構(gòu)模型96

5.9.2　存儲(chǔ)虛擬化98

5.9.3　云存儲(chǔ)中使用的存儲(chǔ)優(yōu)化技術(shù)100

5.9.4　云存儲(chǔ)的優(yōu)點(diǎn)101

5.10　結(jié)論101

5.11　習(xí)題101

參考文獻(xiàn)102

進(jìn)一步閱讀102

第6章　使用高性能計(jì)算進(jìn)行實(shí)時(shí)分析103

6.1　引言103

6.2　支持實(shí)時(shí)分析的技術(shù)103

6.2.1　in-memory處理103

6.2.2　in-database分析105

6.3　大規(guī)模在線分析106

6.4　通用并行文件系統(tǒng)107

6.4.1　GPFS用例107

6.5　GPFS客戶案例研究111

6.5.1　廣播公司：VRT111

6.5.2　石油公司從Lustre遷移到GPFS113

6.6　GPFS：關(guān)鍵的區(qū)別113

6.6.1　基于GPFS的解決方案114

6.7　機(jī)器數(shù)據(jù)分析114

6.7.1　Splunk114

6.8　運(yùn)營(yíng)分析115

6.8.1　運(yùn)營(yíng)分析中的技術(shù)115

6.8.2　用例以及運(yùn)營(yíng)分析產(chǎn)品116

6.8.3　其他IBM運(yùn)營(yíng)分析產(chǎn)品117

6.9　結(jié)論117

6.10　習(xí)題118

第7章　高性能計(jì)算范型119

7.1　引言119

7.2　為何還需要大型機(jī)119

7.3　大型機(jī)中HPC是如何演化的120

7.3.1　成本：HPC的一個(gè)重要因素120

7.3.2　云計(jì)算中的集中式HPC120

7.3.3　集中式HPC的要求121

7.4　HPC遠(yuǎn)程模擬121

7.5　使用HPC的大型機(jī)解決方案121

7.5.1　智能大型機(jī)網(wǎng)格121

7.5.2　IMG的工作原理122

7.5.3　IMG架構(gòu)122

7.6　架構(gòu)模型125

7.6.1　具有共享磁盤的存儲(chǔ)服務(wù)器125

7.6.2　沒有共享磁盤的存儲(chǔ)服務(wù)器125

7.6.3　無存儲(chǔ)服務(wù)器的通信網(wǎng)絡(luò)125

7.7　對(duì)稱多處理126

7.7.1　什么是SMP126

7.7.2　SMP與集群方法126

7.7.3　SMP是否真的重要126

7.7.4　線程模型127

7.7.5　NumaConnect技術(shù)127

7.8　用于HPC的虛擬化127

7.9　大型機(jī)方面的創(chuàng)新127

7.10　FICON大型機(jī)接口128

7.11　大型機(jī)對(duì)手機(jī)的支持129

7.12　Windows高性能計(jì)算129

7.13　結(jié)論130

7.14　習(xí)題131

第8章　in-database處理與in-memory分析132

8.1　引言132

8.1.1　分析工作負(fù)載與事務(wù)工作負(fù)載的對(duì)比132

8.1.2　分析工作負(fù)載的演化133

8.1.3　傳統(tǒng)分析平臺(tái)135

8.2　in-database分析135

8.2.1　架構(gòu)137

8.2.2　優(yōu)點(diǎn)和局限138

8.2.3　代表性的系統(tǒng)138

8.3　in-memory分析140

8.3.1　架構(gòu)141

8.3.2　優(yōu)點(diǎn)和局限142

8.3.3　代表性的系統(tǒng)142

8.4　分析設(shè)備145

8.4.1　Oracle Exalytics145

8.4.2　IBM Netezza145

8.5　結(jié)論147

8.6　習(xí)題147

參考文獻(xiàn)148

進(jìn)一步閱讀148

第9章　大數(shù)據(jù)/快速數(shù)據(jù)分析中的高性能集成系統(tǒng)、數(shù)據(jù)庫和數(shù)據(jù)倉庫149

9.1　引言149

9.2　下一代IT基礎(chǔ)設(shè)施和平臺(tái)的關(guān)鍵特征150
......