123,123,123

內(nèi)容簡(jiǎn)介

　　本書介紹數(shù)據(jù)存儲(chǔ)架構(gòu)與技術(shù)，涵蓋存儲(chǔ)盤與存儲(chǔ)介質(zhì)、存儲(chǔ)陣列、存儲(chǔ)協(xié)議、鍵值存儲(chǔ)、文件系統(tǒng)、網(wǎng)絡(luò)存儲(chǔ)體系結(jié)構(gòu)、分布式存儲(chǔ)系統(tǒng)、存儲(chǔ)可靠性、存儲(chǔ)安全、數(shù)據(jù)保護(hù)等基礎(chǔ)內(nèi)容，對(duì)存儲(chǔ)維護(hù)、存儲(chǔ)解決方案、存儲(chǔ)技術(shù)趨勢(shì)與發(fā)展等主題進(jìn)行了深入討論，以新的研究成果作為案例，同時(shí)提供習(xí)題幫助讀者加深對(duì)數(shù)據(jù)存儲(chǔ)的理解與運(yùn)用。本書適合計(jì)算機(jī)及相關(guān)專業(yè)高年級(jí)本科生或研究生閱讀、學(xué)習(xí)，同時(shí)也可供相關(guān)專業(yè)技術(shù)人員參考。

作者簡(jiǎn)介

　　清華大學(xué)長(zhǎng)聘教授，閩江學(xué)院院長(zhǎng)，國(guó)家杰出青年基金獲得者，“長(zhǎng)江學(xué)者”特聘教授，IEEE Fellow，中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）會(huì)士，兼任CCF理事、北京信息災(zāi)備技術(shù)產(chǎn)業(yè)聯(lián)盟副理事長(zhǎng)等，曾任CCF信息存儲(chǔ)專委會(huì)主任。主要研究信息存儲(chǔ)系統(tǒng)、智能存儲(chǔ)系統(tǒng)、數(shù)據(jù)存儲(chǔ)可靠性與安全等。擔(dān)任“十五”國(guó)家863計(jì)劃重大專項(xiàng)課題“新型網(wǎng)絡(luò)服務(wù)器系統(tǒng)”的負(fù)責(zé)人、“十一五”國(guó)家863計(jì)劃信息領(lǐng)域“海量存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)”重大項(xiàng)目總體專家組副組長(zhǎng)、“十二五”國(guó)家863計(jì)劃信息領(lǐng)域“面向大數(shù)據(jù)的先進(jìn)存儲(chǔ)結(jié)構(gòu)及關(guān)鍵技術(shù)”主題項(xiàng)目首席專家、“十三五”國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目“TB級(jí)持久性內(nèi)存存儲(chǔ)技術(shù)與系統(tǒng)”的項(xiàng)目負(fù)責(zé)人。主持研制出海量存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)TH-MSNS、軟硬件協(xié)同閃存存儲(chǔ)系統(tǒng)TH-SSS、分布式持久性內(nèi)存存儲(chǔ)系統(tǒng)TH-DPMS、智能存算一體系統(tǒng)TH-iSSD，成果發(fā)表在FAST、SOSPOSDI、USENIX ATC、EuroSys、ASPLOS、MICRO、ISCA、HPCA、SC、SIGMOD等重要會(huì)議和ACM/EEE Trans系列期刊。按CSRankings.org統(tǒng)計(jì)，近5年（2019-2023）在操作系統(tǒng)領(lǐng)域高水平會(huì)議（SOSP、OSDI、FAST、USENIX ATC.EuroSys）上發(fā)表的論文數(shù)居世界第二，獲國(guó)家科學(xué)技術(shù)進(jìn)步獎(jiǎng)二等獎(jiǎng)和國(guó)家技術(shù)發(fā)明獎(jiǎng)二等獎(jiǎng)各1次、省部級(jí)一等獎(jiǎng)5次，獲華為奧林帕斯獎(jiǎng)等。

圖書目錄

第 1 章數(shù)據(jù)存儲(chǔ)的背景 001
1.1　數(shù)據(jù)存儲(chǔ)的重要性　001
1.2　數(shù)據(jù)存儲(chǔ)的目標(biāo)　002
1.2.1　高性能　002
1.2.2　高易用性　003
1.2.3　高可靠性　004
1.2.4　其他目標(biāo)　005
參考文獻(xiàn)　005
第　2 章存儲(chǔ)盤與存儲(chǔ)介質(zhì)　007
2.1　磁盤　007
2.1.1　磁盤的組成與結(jié)構(gòu)　008
2.1.2　磁盤性能　009
2.1.3　磁盤固件　011
2.2　SSD　014
2.2.1　閃存單元與結(jié)構(gòu)　015
2.2.2　FTL　017
2.3　主存　020
2.3.1　DRAM 組成與結(jié)構(gòu)　020
2.3.2　DRAM 刷新　023
2.3.3　內(nèi)存控制器　024
2.3.4　非易失性存儲(chǔ)器　024
2.4　其他存儲(chǔ)介質(zhì)　027
2.4.1　光存儲(chǔ)　027
2.4.2　磁帶　028
2.5　本章小結(jié)　028
2.6　思考題　029
參考文獻(xiàn)　029
第　3 章存儲(chǔ)陣列　030
3.1　硬件架構(gòu)　030
3.1.1　整機(jī)架構(gòu)　031
3.1.2　控制器模塊　031
3.1.3　接口模塊　032
3.1.4　硬盤框和硬盤單元　033
3.1.5　散熱模塊　033
3.2　軟件架構(gòu)　034
3.2.1　RAID 子系統(tǒng)　034
3.2.2　緩存鏡像子系統(tǒng)　040
3.3　高性能與高可靠性設(shè)計(jì)　042
3.3.1　應(yīng)用場(chǎng)景　042
3.3.2　高可靠性冗余切換子系統(tǒng)　043
3.3.3　高性能集群子系統(tǒng)　045
3.3.4　重定向?qū)懪c垃圾回收技術(shù)　047
3.4　本章小結(jié)　049
3.5　思考題　049
參考文獻(xiàn)　049
第　4 章存儲(chǔ)協(xié)議　050
4.1　SCSI 協(xié)議　050
4.1.1　SCSI 協(xié)議概述　050
4.1.2　SCSI 服務(wù)模型　051
4.1.3　SCSI 指令集　053
4.1.4　SCSI 讀寫流程解析　053
4.2　SCSI 鏈路承載協(xié)議　054
4.2.1　SAS 協(xié)議　054
4.2.2　FC 協(xié)議　056
4.2.3　iSCSI 協(xié)議　057
4.3　NVMe 協(xié)議　059
4.3.1　NVMe 設(shè)備模型　059
4.3.2　NVMe 隊(duì)列模型　060
4.3.3　NVMe 指令集　062
4.3.4　NVMe over PCI-e　062
4.4　NVMe over Fabrics　064
4.4.1　NVMe over RDMA　065
4.4.2　NVMe over TCP　067
4.4.3　NVMe over FC　068
4.5　內(nèi)存互連協(xié)議　070
4.5.1　CXL 協(xié)議概述　071
4.5.2　CXL 類型 1　072
4.5.3　CXL 類型 2　073
4.5.4　CXL 類型 3　074
4.6　本章小結(jié)　074
4.7　思考題　075
參考文獻(xiàn)　075
第　5 章鍵值存儲(chǔ)　077
5.1　基本操作　077
5.2　鍵值索引　078
5.2.1　散列索引　078
5.2.2　B 樹索引　080
5.2.3　LSM 樹索引　081
5.3　數(shù)據(jù)布局　085
5.3.1　原地更新的數(shù)據(jù)組織　085
5.3.2　日志結(jié)構(gòu)的數(shù)據(jù)組織　085
5.4　崩潰一致性　086
5.4.1　WAL　086
5.4.2　影子頁　087
5.5　本章小結(jié)　087
5.6　思考題　087
參考文獻(xiàn)　088
第　6 章文件系統(tǒng)　089
6.1　文件系統(tǒng)的基本操作　089
6.2　文件系統(tǒng)實(shí)現(xiàn)　090
6.2.1　一個(gè)簡(jiǎn)單的文件系統(tǒng)　091
6.2.2　命名空間管理　094
6.2.3　存儲(chǔ)管理　095
6.3　文件系統(tǒng)實(shí)例：ext2　098
6.4　本章小結(jié)　100
6.5　思考題　100
參考文獻(xiàn)　100
第　7 章網(wǎng)絡(luò)存儲(chǔ)體系結(jié)構(gòu)　101
7.1　DAS　101
7.2　NAS　102
7.2.1　架構(gòu)特點(diǎn)　102
7.2.2　網(wǎng)絡(luò)文件協(xié)議　103
7.2.3　應(yīng)用場(chǎng)景　104
7.3　SAN　104
7.3.1　架構(gòu)特點(diǎn)　104
7.3.2　核心組件　105
7.3.3　應(yīng)用場(chǎng)景　106
7.3.4　NAS 與 SAN 對(duì)比　106
7.4　對(duì)象存儲(chǔ)　106
7.4.1　架構(gòu)特點(diǎn)　106
7.4.2　核心組件　107
7.5　并行存儲(chǔ)　108
7.5.1　架構(gòu)特點(diǎn)　108
7.5.2　關(guān)鍵技術(shù)　108
7.6　P2P 存儲(chǔ)　109
7.6.1　架構(gòu)特點(diǎn)　110
7.6.2　關(guān)鍵技術(shù)　110
7.6.3　應(yīng)用場(chǎng)景　111
7.7　云存儲(chǔ)　112
7.7.1　架構(gòu)特點(diǎn)　113
7.7.2　應(yīng)用場(chǎng)景　113
7.8　存儲(chǔ)虛擬化　115
7.8.1　基本概念　115
7.8.2　關(guān)鍵技術(shù)　116
7.9　軟件定義存儲(chǔ)　117
7.9.1　基本概念　117
7.9.2　代表性系統(tǒng)　118
7.9.3　關(guān)鍵挑戰(zhàn)　119
7.10　超融合架構(gòu)　120
7.10.1　基本概念　120
7.10.2　關(guān)鍵技術(shù)　121
7.10.3　代表性系統(tǒng)　121
7.10.4　概念對(duì)比　122
7.11　本章小結(jié)　122
7.12　思考題　123
參考文獻(xiàn)　123
第　8 章分布式存儲(chǔ)系統(tǒng)　125
8.1　分布式存儲(chǔ)系統(tǒng)的典型架構(gòu)　125
8.2　分布式存儲(chǔ)系統(tǒng)的關(guān)鍵衡量指標(biāo)　126
8.2.1　性能　126
8.2.2　可擴(kuò)展性　126
8.2.3　一致性　126
8.2.4　可用性　128
8.3　分布式鍵值存儲(chǔ)系統(tǒng)　128
8.3.1　典型分布式鍵值存儲(chǔ)系統(tǒng)　129
8.3.2　分布式鍵值存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)　132
8.4　分布式對(duì)象存儲(chǔ)系統(tǒng)　134
8.4.1　典型分布式對(duì)象存儲(chǔ)系統(tǒng)　134
8.4.2　分布式對(duì)象存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)　138
8.5　分布式塊存儲(chǔ)系統(tǒng)　139
8.5.1　典型分布式塊存儲(chǔ)系統(tǒng)　139
8.5.2　分布式塊存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)　142
8.6　分布式文件系統(tǒng)　142
8.6.1　典型分布式文件系統(tǒng)　143
8.6.2　分布式文件系統(tǒng)關(guān)鍵技術(shù)　150
8.7　本章小結(jié)　151
8.8　思考題　151
參考文獻(xiàn)　151
第　9 章存儲(chǔ)可靠性　153
9.1　存儲(chǔ)可靠性概述　153
9.1.1　可靠性指標(biāo)及其計(jì)算方法　153
9.1.2　可靠性分層設(shè)計(jì)　154
9.1.3　可靠性與可用性的區(qū)別　155
9.2　硬盤可靠性　155
9.2.1　硬盤出錯(cuò)特征分析　155
9.2.2　硬盤故障預(yù)警和監(jiān)測(cè)　157
9.2.3　面向環(huán)境因素的硬盤可靠性設(shè)計(jì)　160
9.3　閃存介質(zhì)可靠性　161
9.3.1　閃存介質(zhì)錯(cuò)誤源　161
9.3.2　閃存可靠性優(yōu)化關(guān)鍵技術(shù)　163
9.4　糾刪碼技術(shù)　165
9.4.1　多副本原理　165
9.4.2　糾刪碼原理　165
9.4.3　典型的糾刪碼介紹及分析　168
9.4.4　糾刪碼技術(shù)發(fā)展趨勢(shì)　176
9.5　分布式存儲(chǔ)系統(tǒng)可靠性　180
9.5.1　數(shù)據(jù)冗余技術(shù)　180
9.5.2　故障恢復(fù)技術(shù)　181
9.5.3　數(shù)據(jù)一致性協(xié)議　181
9.5.4　負(fù)載均衡技術(shù)　182
9.6　本章小結(jié)　182
9.7　思考題　182
參考文獻(xiàn)　183
第　10 章存儲(chǔ)安全　189
10.1　理念和安全體系　189
10.2　系統(tǒng)安全　190
10.2.1　硬件安全　190
10.2.2　容器安全　192
10.2.3　系統(tǒng)韌性　193
10.3　數(shù)據(jù)安全　194
10.3.1　數(shù)據(jù)加密　194
10.3.2　數(shù)據(jù)完整　196
10.3.3　權(quán)限管理　199
10.3.4　數(shù)據(jù)安全銷毀　200
10.3.5　數(shù)據(jù)安全計(jì)算　201
10.4　安全管理　203
10.4.1　系統(tǒng)訪問控制（認(rèn)證管理）　203
10.4.2　用戶身份和訪問管理　206
10.4.3　證書管理和密鑰管理　207
10.4.4　網(wǎng)絡(luò)安全管理　211
10.5　本章小結(jié)　212
10.6　思考題　212
參考文獻(xiàn)　213
第　11 章數(shù)據(jù)保護(hù)　216
11.1　數(shù)據(jù)保護(hù)背景　216
11.1.1　數(shù)據(jù)保護(hù)標(biāo)準(zhǔn)　216
11.1.2　數(shù)據(jù)保護(hù)技術(shù)特點(diǎn)　218
11.2　數(shù)據(jù)保護(hù)技術(shù)　219
11.2.1　鏡像　219
11.2.2　快照　222
11.2.3　克隆　223
11.3　數(shù)據(jù)保護(hù)場(chǎng)景　223
11.3.1　備份　224
11.3.2　歸檔　228
11.3.3　容災(zāi)　231
11.4　本章小結(jié)　240
11.5　思考題　240
參考文獻(xiàn)　240
第　12 章存儲(chǔ)維護(hù)　242
12.1　概述　242
12.2　預(yù)防性維護(hù)　242
12.2.1　硬盤健康預(yù)測(cè)　243
12.2.2　容量趨勢(shì)預(yù)測(cè)　244
12.2.3　性能異常檢測(cè)　245
12.2.4　性能潮汐分析　245
12.3　糾正性維護(hù)　246
12.3.1　主動(dòng)問題處理　246
12.3.2　升級(jí)　246
12.3.3　擴(kuò)容　249
12.4　思考題　251
參考文獻(xiàn)　252
第　13 章存儲(chǔ)解決方案　253
13.1　運(yùn)營(yíng)商行業(yè)解決方案　253
13.1.1　運(yùn)營(yíng)商大數(shù)據(jù)解決方案　253
13.1.2　運(yùn)營(yíng)商 BOM 域生產(chǎn)業(yè)務(wù)備份　255
13.2　政務(wù)融合存儲(chǔ)資源池解決方案　257
13.2.1　場(chǎng)景需求　257
13.2.2　融合資源池解決方案　258
13.3　金融行業(yè)容災(zāi)解決方案　259
13.3.1　場(chǎng)景需求　259
13.3.2　容災(zāi)建設(shè)需求　260
13.3.3　兩地三中心容災(zāi)解決方案　260
13.4　醫(yī)療行業(yè)解決方案　261
13.4.1　場(chǎng)景需求　261
13.4.2　PACS 影像系統(tǒng)存儲(chǔ)解決方案　262
13.5　教育行業(yè)解決方案　262
13.5.1　場(chǎng)景需求　263
13.5.2　教育科研高性能計(jì)算和數(shù)據(jù)分析　263
13.6　思考題　264
參考文獻(xiàn)　264
第　14 章存儲(chǔ)技術(shù)趨勢(shì)與發(fā)展　265
14.1　閃存存儲(chǔ)系統(tǒng)　265
14.1.1　OC SSD　266
14.1.2　ZNS SSD　267
14.2　存內(nèi)計(jì)算　269
14.2.1　近存計(jì)算　270
14.2.2　存算一體化　270
14.3　持久性內(nèi)存　272
14.3.1　文件系統(tǒng)　272
14.3.2　鍵值存儲(chǔ)系統(tǒng)　273
14.3.3　分布式存儲(chǔ)系統(tǒng)　275
14.4　在網(wǎng)存儲(chǔ)　276
14.4.1　在網(wǎng)數(shù)據(jù)協(xié)調(diào)　276
14.4.2　在網(wǎng)數(shù)據(jù)調(diào)度　277
14.4.3　在網(wǎng)數(shù)據(jù)緩存　278
14.5　智能存儲(chǔ)　278
14.5.1　AI for Storage　278
14.5.2　Storage for AI　280
14.6　邊緣存儲(chǔ)　282
14.6.1　邊緣存儲(chǔ)設(shè)備　283
14.6.2　邊緣存儲(chǔ) I/O ?！?84
14.6.3　邊緣數(shù)據(jù)組織與檢索　284
14.7　區(qū)塊鏈存儲(chǔ)　285
14.7.1　區(qū)塊鏈存儲(chǔ)系統(tǒng)簡(jiǎn)介　286
14.7.2　區(qū)塊鏈存儲(chǔ)系統(tǒng)優(yōu)化　286
14.8　分離式數(shù)據(jù)中心架構(gòu)　287
14.8.1　背景　287
14.8.2　架構(gòu)特點(diǎn)及關(guān)鍵技術(shù)　288
14.8.3　未來趨勢(shì)　291
14.9　高密度新型存儲(chǔ)　292
14.9.1　疊瓦式磁性存儲(chǔ)　292
14.9.2　高密光存儲(chǔ)　293
14.9.3　DNA 存儲(chǔ)　293
14.10　本章小結(jié)　294
14.11　思考題　294
參考文獻(xiàn)　295
縮略語表　301