數(shù)據(jù)存儲架構(gòu)與技術(shù)（第2版）

第 1 章 數(shù)據(jù)存儲的背景 001
1.1　數(shù)據(jù)存儲的重要性　001
1.2　數(shù)據(jù)存儲的目標(biāo)　002
1.2.1　高性能　002
1.2.2　高易用性　003
1.2.3　高可靠性　004
1.2.4　其他目標(biāo)　005
參考文獻　005
第　2 章 存儲盤與存儲介質(zhì)　007
2.1　磁盤　007
2.1.1　磁盤的組成與結(jié)構(gòu)　008
2.1.2　磁盤性能　009
2.1.3　磁盤固件　011
2.2　SSD　014
2.2.1　閃存單元與結(jié)構(gòu)　015
2.2.2　FTL　017
2.3　主存　020
2.3.1　DRAM 組成與結(jié)構(gòu)　020
2.3.2　DRAM 刷新　023
2.3.3　內(nèi)存控制器　024
2.3.4　非易失性存儲器　024
2.4　其他存儲介質(zhì)　027
2.4.1　光存儲　027
2.4.2　磁帶　028
2.5　本章小結(jié)　028
2.6　思考題　029
參考文獻　029
第　3 章 存儲陣列　030
3.1　硬件架構(gòu)　030
3.1.1　整機架構(gòu)　031
3.1.2　控制器模塊　031
3.1.3　接口模塊　032
3.1.4　硬盤框和硬盤單元　033
3.1.5　散熱模塊　033
3.2　軟件架構(gòu)　034
3.2.1　RAID 子系統(tǒng)　034
3.2.2　緩存鏡像子系統(tǒng)　040
3.3　高性能與高可靠性設(shè)計　042
3.3.1　應(yīng)用場景　042
3.3.2　高可靠性冗余切換子系統(tǒng)　043
3.3.3　高性能集群子系統(tǒng)　045
3.3.4　重定向?qū)懪c垃圾回收技術(shù)　047
3.4　本章小結(jié)　049
3.5　思考題　049
參考文獻　049
第　4 章 存儲協(xié)議　050
4.1　SCSI 協(xié)議　050
4.1.1　SCSI 協(xié)議概述　050
4.1.2　SCSI 服務(wù)模型　051
4.1.3　SCSI 指令集　053
4.1.4　SCSI 讀寫流程解析　053
4.2　SCSI 鏈路承載協(xié)議　054
4.2.1　SAS 協(xié)議　054
4.2.2　FC 協(xié)議　056
4.2.3　iSCSI 協(xié)議　057
4.3　NVMe 協(xié)議　059
4.3.1　NVMe 設(shè)備模型　059
4.3.2　NVMe 隊列模型　060
4.3.3　NVMe 指令集　062
4.3.4　NVMe over PCI-e　062
4.4　NVMe over Fabrics　064
4.4.1　NVMe over RDMA　065
4.4.2　NVMe over TCP　067
4.4.3　NVMe over FC　068
4.5　內(nèi)存互連協(xié)議　070
4.5.1　CXL 協(xié)議概述　071
4.5.2　CXL 類型 1　072
4.5.3　CXL 類型 2　073
4.5.4　CXL 類型 3　074
4.6　本章小結(jié)　074
4.7　思考題　075
參考文獻　075
第　5 章 鍵值存儲　077
5.1　基本操作　077
5.2　鍵值索引　078
5.2.1　散列索引　078
5.2.2　B 樹索引　080
5.2.3　LSM 樹索引　081
5.3　數(shù)據(jù)布局　085
5.3.1　原地更新的數(shù)據(jù)組織　085
5.3.2　日志結(jié)構(gòu)的數(shù)據(jù)組織　085
5.4　崩潰一致性　086
5.4.1　WAL　086
5.4.2　影子頁　087
5.5　本章小結(jié)　087
5.6　思考題　087
參考文獻　088
第　6 章 文件系統(tǒng)　089
6.1　文件系統(tǒng)的基本操作　089
6.2　文件系統(tǒng)實現(xiàn)　090
6.2.1　一個簡單的文件系統(tǒng)　091
6.2.2　命名空間管理　094
6.2.3　存儲管理　095
6.3　文件系統(tǒng)實例：ext2　098
6.4　本章小結(jié)　100
6.5　思考題　100
參考文獻　100
第　7 章 網(wǎng)絡(luò)存儲體系結(jié)構(gòu)　101
7.1　DAS　101
7.2　NAS　102
7.2.1　架構(gòu)特點　102
7.2.2　網(wǎng)絡(luò)文件協(xié)議　103
7.2.3　應(yīng)用場景　104
7.3　SAN　104
7.3.1　架構(gòu)特點　104
7.3.2　核心組件　105
7.3.3　應(yīng)用場景　106
7.3.4　NAS 與 SAN 對比　106
7.4　對象存儲　106
7.4.1　架構(gòu)特點　106
7.4.2　核心組件　107
7.5　并行存儲　108
7.5.1　架構(gòu)特點　108
7.5.2　關(guān)鍵技術(shù)　108
7.6　P2P 存儲　109
7.6.1　架構(gòu)特點　110
7.6.2　關(guān)鍵技術(shù)　110
7.6.3　應(yīng)用場景　111
7.7　云存儲　112
7.7.1　架構(gòu)特點　113
7.7.2　應(yīng)用場景　113
7.8　存儲虛擬化　115
7.8.1　基本概念　115
7.8.2　關(guān)鍵技術(shù)　116
7.9　軟件定義存儲　117
7.9.1　基本概念　117
7.9.2　代表性系統(tǒng)　118
7.9.3　關(guān)鍵挑戰(zhàn)　119
7.10　超融合架構(gòu)　120
7.10.1　基本概念　120
7.10.2　關(guān)鍵技術(shù)　121
7.10.3　代表性系統(tǒng)　121
7.10.4　概念對比　122
7.11　本章小結(jié)　122
7.12　思考題　123
參考文獻　123
第　8 章 分布式存儲系統(tǒng)　125
8.1　分布式存儲系統(tǒng)的典型架構(gòu)　125
8.2　分布式存儲系統(tǒng)的關(guān)鍵衡量指標(biāo)　126
8.2.1　性能　126
8.2.2　可擴展性　126
8.2.3　一致性　126
8.2.4　可用性　128
8.3　分布式鍵值存儲系統(tǒng)　128
8.3.1　典型分布式鍵值存儲系統(tǒng)　129
8.3.2　分布式鍵值存儲系統(tǒng)關(guān)鍵技術(shù)　132
8.4　分布式對象存儲系統(tǒng)　134
8.4.1　典型分布式對象存儲系統(tǒng)　134
8.4.2　分布式對象存儲系統(tǒng)關(guān)鍵技術(shù)　138
8.5　分布式塊存儲系統(tǒng)　139
8.5.1　典型分布式塊存儲系統(tǒng)　139
8.5.2　分布式塊存儲系統(tǒng)關(guān)鍵技術(shù)　142
8.6　分布式文件系統(tǒng)　142
8.6.1　典型分布式文件系統(tǒng)　143
8.6.2　分布式文件系統(tǒng)關(guān)鍵技術(shù)　150
8.7　本章小結(jié)　151
8.8　思考題　151
參考文獻　151
第　9 章 存儲可靠性　153
9.1　存儲可靠性概述　153
9.1.1　可靠性指標(biāo)及其計算方法　153
9.1.2　可靠性分層設(shè)計　154
9.1.3　可靠性與可用性的區(qū)別　155
9.2　硬盤可靠性　155
9.2.1　硬盤出錯特征分析　155
9.2.2　硬盤故障預(yù)警和監(jiān)測　157
9.2.3　面向環(huán)境因素的硬盤可靠性設(shè)計　160
9.3　閃存介質(zhì)可靠性　161
9.3.1　閃存介質(zhì)錯誤源　161
9.3.2　閃存可靠性優(yōu)化關(guān)鍵技術(shù)　163
9.4　糾刪碼技術(shù)　165
9.4.1　多副本原理　165
9.4.2　糾刪碼原理　165
9.4.3　典型的糾刪碼介紹及分析　168
9.4.4　糾刪碼技術(shù)發(fā)展趨勢　176
9.5　分布式存儲系統(tǒng)可靠性　180
9.5.1　數(shù)據(jù)冗余技術(shù)　180
9.5.2　故障恢復(fù)技術(shù)　181
9.5.3　數(shù)據(jù)一致性協(xié)議　181
9.5.4　負載均衡技術(shù)　182
9.6　本章小結(jié)　182
9.7　思考題　182
參考文獻　183
第　10 章 存儲安全　189
10.1　理念和安全體系　189
10.2　系統(tǒng)安全　190
10.2.1　硬件安全　190
10.2.2　容器安全　192
10.2.3　系統(tǒng)韌性　193
10.3　數(shù)據(jù)安全　194
10.3.1　數(shù)據(jù)加密　194
10.3.2　數(shù)據(jù)完整　196
10.3.3　權(quán)限管理　199
10.3.4　數(shù)據(jù)安全銷毀　200
10.3.5　數(shù)據(jù)安全計算　201
10.4　安全管理　203
10.4.1　系統(tǒng)訪問控制（認證管理）　203
10.4.2　用戶身份和訪問管理　206
10.4.3　證書管理和密鑰管理　207
10.4.4　網(wǎng)絡(luò)安全管理　211
10.5　本章小結(jié)　212
10.6　思考題　212
參考文獻　213
第　11 章 數(shù)據(jù)保護　216
11.1　數(shù)據(jù)保護背景　216
11.1.1　數(shù)據(jù)保護標(biāo)準　216
11.1.2　數(shù)據(jù)保護技術(shù)特點　218
11.2　數(shù)據(jù)保護技術(shù)　219
11.2.1　鏡像　219
11.2.2　快照　222
11.2.3　克隆　223
11.3　數(shù)據(jù)保護場景　223
11.3.1　備份　224
11.3.2　歸檔　228
11.3.3　容災(zāi)　231
11.4　本章小結(jié)　240
11.5　思考題　240
參考文獻　240
第　12 章 存儲維護　242
12.1　概述　242
12.2　預(yù)防性維護　242
12.2.1　硬盤健康預(yù)測　243
12.2.2　容量趨勢預(yù)測　244
12.2.3　性能異常檢測　245
12.2.4　性能潮汐分析　245
12.3　糾正性維護　246
12.3.1　主動問題處理　246
12.3.2　升級　246
12.3.3　擴容　249
12.4　思考題　251
參考文獻　252
第　13 章 存儲解決方案　253
13.1　運營商行業(yè)解決方案　253
13.1.1　運營商大數(shù)據(jù)解決方案　253
13.1.2　運營商 BOM 域生產(chǎn)業(yè)務(wù)備份　255
13.2　政務(wù)融合存儲資源池解決方案　257
13.2.1　場景需求　257
13.2.2　融合資源池解決方案　258
13.3　金融行業(yè)容災(zāi)解決方案　259
13.3.1　場景需求　259
13.3.2　容災(zāi)建設(shè)需求　260
13.3.3　兩地三中心容災(zāi)解決方案　260
13.4　醫(yī)療行業(yè)解決方案　261
13.4.1　場景需求　261
13.4.2　PACS 影像系統(tǒng)存儲解決方案　262
13.5　教育行業(yè)解決方案　262
13.5.1　場景需求　263
13.5.2　教育科研高性能計算和數(shù)據(jù)分析　263
13.6　思考題　264
參考文獻　264
第　14 章 存儲技術(shù)趨勢與發(fā)展　265
14.1　閃存存儲系統(tǒng)　265
14.1.1　OC SSD　266
14.1.2　ZNS SSD　267
14.2　存內(nèi)計算　269
14.2.1　近存計算　270
14.2.2　存算一體化　270
14.3　持久性內(nèi)存　272
14.3.1　文件系統(tǒng)　272
14.3.2　鍵值存儲系統(tǒng)　273
14.3.3　分布式存儲系統(tǒng)　275
14.4　在網(wǎng)存儲　276
14.4.1　在網(wǎng)數(shù)據(jù)協(xié)調(diào)　276
14.4.2　在網(wǎng)數(shù)據(jù)調(diào)度　277
14.4.3　在網(wǎng)數(shù)據(jù)緩存　278
14.5　智能存儲　278
14.5.1　AI for Storage　278
14.5.2　Storage for AI　280
14.6　邊緣存儲　282
14.6.1　邊緣存儲設(shè)備　283
14.6.2　邊緣存儲 I/O 棧　284
14.6.3　邊緣數(shù)據(jù)組織與檢索　284
14.7　區(qū)塊鏈存儲　285
14.7.1　區(qū)塊鏈存儲系統(tǒng)簡介　286
14.7.2　區(qū)塊鏈存儲系統(tǒng)優(yōu)化　286
14.8　分離式數(shù)據(jù)中心架構(gòu)　287
14.8.1　背景　287
14.8.2　架構(gòu)特點及關(guān)鍵技術(shù)　288
14.8.3　未來趨勢　291
14.9　高密度新型存儲　292
14.9.1　疊瓦式磁性存儲　292
14.9.2　高密光存儲　293
14.9.3　DNA 存儲　293
14.10　本章小結(jié)　294
14.11　思考題　294
參考文獻　295
縮略語表　301