深度剖析Hadoop HDFS

前言
第一部分　核心設(shè)計(jì)篇
第1章　HDFS的數(shù)據(jù)存儲 2
1.1　HDFS內(nèi)存存儲 2
1.1.1　HDFS內(nèi)存存儲原理 2
1.1.2　Linux 虛擬內(nèi)存盤 4
1.1.3　HDFS的內(nèi)存存儲流程分析 4
1.1.4　LAZY_PERSIST內(nèi)存存儲的使用 14
1.2　HDFS異構(gòu)存儲 15
1.2.1　異構(gòu)存儲類型 16
1.2.2　異構(gòu)存儲原理 17
1.2.3　塊存儲類型選擇策略 22
1.2.4　塊存儲策略集合 24
1.2.5　塊存儲策略的調(diào)用 27
1.2.6　HDFS異構(gòu)存儲策略的不足之處 28
1.2.7　HDFS存儲策略的使用 30
1.3　小結(jié) 31
第2章　HDFS的數(shù)據(jù)管理與策略選擇 32
2.1　HDFS緩存與緩存塊 32
2.1.1　HDFS物理層面緩存塊 33
2.1.2　緩存塊的生命周期狀態(tài) 34
2.1.3　CacheBlock、UnCacheBlock場景觸發(fā) 36
2.1.4　CacheBlock、UnCacheBlock緩存塊的確定 38
2.1.5　系統(tǒng)持有的緩存塊列表如何更新 39
2.1.6　緩存塊的使用 40
2.1.7　HDFS緩存相關(guān)配置 40
2.2　HDFS中心緩存管理 42
2.2.1　HDFS緩存適用場景 43
2.2.2　HDFS緩存的結(jié)構(gòu)設(shè)計(jì) 43
2.2.3　HDFS緩存管理機(jī)制分析 45
2.2.4　HDFS中心緩存疑問點(diǎn) 55
2.2.5　HDFS CacheAdmin命令使用 56
2.3　HDFS快照管理 58
2.3.1　快照概念 59
2.3.2　HDFS中的快照相關(guān)命令 59
2.3.3　HDFS內(nèi)部的快照管理機(jī)制 60
2.3.4　HDFS的快照使用 71
2.4　HDFS副本放置策略 72
2.4.1　副本放置策略概念與方法 72
2.4.2　副本放置策略的有效前提 73
2.4.3　默認(rèn)副本放置策略的分析 73
2.4.4　目標(biāo)存儲好壞的判斷 82
2.4.5　chooseTargets的調(diào)用 83
2.4.6　BlockPlacementPolicyWithNodeGroup繼承類 84
2.4.7　副本放置策略的結(jié)果驗(yàn)證 85
2.5　HDFS內(nèi)部的認(rèn)證機(jī)制 85
2.5.1　BlockToken認(rèn)證 85
2.5.2　HDFS的Sasl認(rèn)證 91
2.5.3　BlockToken認(rèn)證與HDFS的Sasl認(rèn)證對比 97
2.6　HDFS內(nèi)部的磁盤目錄服務(wù) 98
2.6.1　HDFS的三大磁盤目錄檢測掃描服務(wù) 98
2.6.2　DiskChecker：壞盤檢測服務(wù) 99
2.6.3　DirectoryScanner：目錄掃描服務(wù) 104
2.6.4　VolumeScanner：磁盤目錄掃描服務(wù) 110
2.7　小結(jié) 116
第3章　HDFS的新穎功能特性 117
3.1　HDFS視圖文件系統(tǒng)：ViewFileSystem 117
3.2　HDFS的Web文件系統(tǒng)：WebHdfsFileSystem 126
3.3　HDFS數(shù)據(jù)加密空間：Encryption zone 136
3.4　HDFS糾刪碼技術(shù) 145
3.5　HDFS對象存儲：Ozone 152
3.6　小結(jié) 158
第二部分　細(xì)節(jié)實(shí)現(xiàn)篇
第4章　HDFS的塊處理 160
4.1　HDFS塊檢查命令fsck 160
4.2　HDFS如何檢測并刪除多余副本塊 171
4.3　HDFS數(shù)據(jù)塊的匯報(bào)與處理 179
4.4　小結(jié) 193
第5章　HDFS的流量處理 194
5.1　HDFS的內(nèi)部限流 194
5.2　數(shù)據(jù)平衡 204
5.3　HDFS節(jié)點(diǎn)內(nèi)數(shù)據(jù)平衡 210
5.4　小結(jié) 216
第6章　HDFS的部分結(jié)構(gòu)分析 217
6.1　HDFS鏡像文件的解析與反解析 217
6.2　DataNode數(shù)據(jù)處理中心DataXceiver 227
6.3　HDFS鄰近信息塊：BlockInfoContiguous 235
6.4　小結(jié) 246
第三部分　解決方案篇
第7章　HDFS的數(shù)據(jù)管理 248
7.1　HDFS的讀寫限流方案 248
7.2　HDFS數(shù)據(jù)資源使用量分析以及趨勢預(yù)測 250
7.3　HDFS數(shù)據(jù)遷移解決方案 257
7.4　DataNode遷移方案 265
7.5　HDFS集群重命名方案 268
7.6　HDFS的配置管理方案 271
7.7　小結(jié) 273
第8章　HDFS的數(shù)據(jù)讀寫 274
8.1　DataNode引用計(jì)數(shù)磁盤選擇策略 274
8.2　Hadoop節(jié)點(diǎn)“慢磁盤”監(jiān)控 282
8.3　小結(jié) 287
第9章　HDFS的異常場景 288
9.1　DataNode慢啟動問題 288
9.2　Hadoop中止下線操作后大量剩余復(fù)制塊問題 295
9.3　DFSOutputStream的DataStreamer線程泄漏問題 306
9.4　小結(jié) 319
附錄　如何向開源社區(qū)提交自己的代碼 320