Linux高效運維實戰(zhàn)

目　　錄
第1篇　Web、數(shù)據(jù)庫運維篇
第1章　高效Web服務器Nginx 2
1．1　為什么選擇Nginx 2
1．2　安裝和配置Nginx 3
1．2．1　安裝Nginx 3
1．2．2　Nginx配置文件解讀 5
1．3　Nginx的管理與維護 9
1．3．1　Nginx基本信息檢查 9
1．3．2　Nginx的啟動、關(guān)閉與重啟 10
1．4　Nginx常見應用實例 11
1．4．1　Nginx中l(wèi)ocation應用實例 11
1．4．2　Nginx反向代理應用實例 12
1．4．3　Nginx中URL的重寫功能以及內(nèi)置變量 15
1．4．4　Nginx中虛擬主機配置實例 19
1．4．5　Nginx中負載均衡的配置實例 20
1．4．6　Nginx中HTTPS配置的實例 21
1．5　LNMP應用架構(gòu)以及部署 25
1．5．1　LNMP簡介 25
1．5．2　Nginx的安裝 26
1．5．3　MySQL的安裝 26
1．5．4　PHP的安裝 30
1．5．5　Nginx下PHP-FPM的配置 32
1．5．6　測試LNMP安裝是否正常 35
1．6　Nginx +Tomcat架構(gòu)與應用案例 36
1．6．1　Nginx +Tomcat整合的必要性 36
1．6．2　Nginx +Tomcat動靜分離配置實例 37
1．6．3　Nginx +Tomcat多Tomcat負載均衡配置實例 38
第2章　高效Web服務器Apache 39
2．1　LAMP服務套件 39
2．1．1　LAMP概述 39
2．1．2　LAMP服務環(huán)境的搭建 39
2．1．3　測試LAMP環(huán)境安裝的正確性 45
2．1．4　在LAMP環(huán)境下部署phpMyAdmin工具 45
2．1．5　在LAMP環(huán)境下部署WordPress應用 46
2．2　Apache的基礎(chǔ)配置 48
2．2．1　Apache的目錄結(jié)構(gòu) 48
2．2．2　Apache配置文件 49
2．3　Apache常見功能應用實例 57
2．3．1　Apache下HTTPS配置實例 57
2．3．2　反向代理功能實例 58
2．4　Apache MPM模式與基礎(chǔ)調(diào)優(yōu) 62
2．4．1　MPM模式概述 62
2．4．2　prefork MPM模式 62
2．4．3　worker MPM模式 63
2．4．4　event MPM模式 64
2．5　Apache集成Tomcat構(gòu)建高效JAVA Web應用 65
2．5．1　Apache與Tomcat整合的必要性 66
2．5．2　Apache和Tomcat連接器 66
2．5．3　Apache、Tomcat和JK模塊的安裝 67
2．5．4　Apache與Tomcat整合配置 68
第3章　企業(yè)常見MySQL架構(gòu)應用實戰(zhàn) 74
3．1　選擇Percona Server、MariaDB還是MYSQL 74
3．1．1　MySQL官方發(fā)行版 74
3．1．2　MySQL與存儲引擎 74
3．1．3　Percona Server for MySQL分支 75
3．1．4　MariaDB Server 75
3．1．5　如何選擇 75
3．2　MySQL命令操作 76
3．2．1　連接MySQL 76
3．2．2　修改密碼 76
3．2．3　增加新用戶/授權(quán)用戶 76
3．2．4　數(shù)據(jù)庫基礎(chǔ)操作 77
3．2．5　MySQL表操作 78
3．2．6　備份數(shù)據(jù)庫 79
3．3　MySQL備份恢復工具XtraBackup 80
3．3．1　安裝XtraBackup工具包 80
3．3．2　XtraBackup工具介紹 81
3．3．3　xtrabackup備份恢復實現(xiàn)原理 81
3．3．4　innobackupex工具的使用 81
3．3．5　利用innobackupex進行MySQL全備份 82
3．3．6　利用innobackupex完全恢復數(shù)據(jù)庫 83
3．3．7　XtraBackup針對海量數(shù)據(jù)的備份優(yōu)化 84
3．3．8　完整的MySQL備份恢復例子 85
3．4　常見的高可用MySQL解決方案 86
3．4．1　主從復制解決方案 86
3．4．2　MMM高可用解決方案 86
3．4．3　Heartbeat/SAN高可用解決方案 87
3．4．4　Heartbeat/DRBD高可用解決方案 87
3．4．5　MySQL Cluster高可用解決方案 87
3．5　通過Keepalived搭建MySQL雙主模式的高可用集群系統(tǒng) 87
3．5．1　MySQL Replication介紹 88
3．5．2　MySQL Replication實現(xiàn)原理 89
3．5．3　MySQL Replication常用架構(gòu) 89
3．5．4　MySQL主主互備模式架構(gòu)圖 90
3．5．5　MySQL主主互備模式配置 91
3．5．6　配置Keepalived實現(xiàn)MySQL雙主高可用 95
3．5．7　測試MySQL主從同步功能 97
3．5．8　測試Keepalived實現(xiàn)MySQL故障轉(zhuǎn)移 99
3．6　MySQL集群架構(gòu)MHA應用實戰(zhàn) 100
3．6．1　MHA的概念和原理 101
3．6．2　MHA套件的組成和恢復過程 102
3．6．3　安裝MHA套件 102
3．6．4　配置MHA集群 106
3．6．5　測試MHA環(huán)境以及常見問題總結(jié) 111
3．6．6　啟動與管理MHA 113
3．6．7　MHA集群切換測試 114
3．7　MySQL中間件ProxySQL 117
3．7．1　ProxySQL簡介 117
3．7．2　ProxySQL的下載與安裝 117
3．7．3　ProxySQL的目錄結(jié)構(gòu) 118
3．7．4　ProxySQL庫表功能介紹 118
3．7．5　ProxySQL的運行機制 120
3．7．6　在ProxySQL下添加與修改配置 121
3．8　ProxySQL+MHA構(gòu)建高可用MySQL讀寫分離架構(gòu) 123
3．8．1　ProxySQL+MHA應用架構(gòu) 123
3．8．2　部署環(huán)境說明 123
3．8．3　配置后端MySQL 124
3．8．4　配置后端MySQL用戶 124
3．8．5　在ProxySQL中添加程序賬號 125
3．8．6　加載配置和變量 125
3．8．7　連接數(shù)據(jù)庫并寫入數(shù)據(jù) 126
3．8．8　定義路由規(guī)則 126
3．8．9　ProxySQL整合MHA實現(xiàn)高可用 128
第2篇　運維監(jiān)控篇
第4章　運維監(jiān)控利器Zabbix 130
4．1　Zabbix運行架構(gòu) 130
4．1．1　Zabbix應用組件 131
4．1．2　Zabbix服務進程 131
4．1．3　Zabbix監(jiān)控術(shù)語 132
4．2　安裝、部署Zabbix監(jiān)控平臺 133
4．2．1　LNMP環(huán)境部署 134
4．2．2　編譯安裝Zabbix Server 137
4．2．3　創(chuàng)建數(shù)據(jù)庫和初始化表 138
4．2．4　配置Zabbix Server端 138
4．2．5　安裝與配置Zabbix Agent 140
4．2．6　安裝Zabbix GUI 141
4．2．7　測試Zabbix Server監(jiān)控 144
4．3　Zabbix Web配置詳解 144
4．3．1　模板的管理與使用 144
4．3．2　創(chuàng)建應用集 145
4．3．3　創(chuàng)建監(jiān)控項 146
4．3．4　創(chuàng)建觸發(fā)器 149
4．3．5　創(chuàng)建主機組和主機 152
4．3．6　觸發(fā)器動作配置 154
4．3．7　報警媒介類型配置 157
4．3．8　監(jiān)控狀態(tài)查看 158
4．4　Zabbix自定義監(jiān)控項 160
4．4．1　Zabbix Agent端開啟自定義監(jiān)控項功能 160
4．4．2　讓監(jiān)控項接收參數(shù) 160
4．5　Zabbix的主動模式與被動模式 161
4．6　自動發(fā)現(xiàn)與自動注冊 162
4．7　Zabbix運維監(jiān)控實戰(zhàn)案例 168
4．7．1　Zabbix監(jiān)控MySQL應用實戰(zhàn) 168
4．7．2　Zabbix監(jiān)控Apache應用實戰(zhàn) 174
4．7．3　Zabbix監(jiān)控Nginx應用實戰(zhàn) 178
4．7．4　Zabbix監(jiān)控PHP-FPM應用實戰(zhàn) 182
4．7．5　Zabbix監(jiān)控Tomcat應用實戰(zhàn) 188
4．7．6　Zabbix監(jiān)控Redis實例應用實戰(zhàn) 193
第5章　分布式監(jiān)控系統(tǒng)Ganglia 201
5．1　Ganglia簡介 201
5．2　Ganglia的組成 201
5．3　Ganglia的工作原理 203
5．3．1　Ganglia數(shù)據(jù)流向分析 203
5．3．2　Ganglia工作模式 204
5．4　Ganglia的安裝 204
5．4．1　yum源安裝方式 204
5．4．2　源碼方式 205
5．5　配置一個Ganglia分布式監(jiān)控系統(tǒng) 207
5．5．1　Ganglia配置文件介紹 207
5．5．2　Ganglia監(jiān)控系統(tǒng)架構(gòu)圖 207
5．5．3　Ganglia監(jiān)控管理端配置 207
5．5．4　Ganglia的客戶端配置 208
5．5．5　Ganglia的Web端配置 209
5．6　Ganglia監(jiān)控系統(tǒng)的管理和維護 210
5．7　Ganglia監(jiān)控擴展實現(xiàn)機制 211
5．7．1　擴展Ganglia監(jiān)控功能的方法 211
5．7．2　通過gmetric接口擴展Ganglia監(jiān)控 212
5．7．3　通過Python插件擴展Ganglia監(jiān)控 213
5．7．4　實戰(zhàn)：利用Python接口監(jiān)控Nginx運行狀態(tài) 214
5．8　Ganglia在實際應用中要考慮的問題 217
5．8．1　網(wǎng)絡(luò)IO可能存在瓶頸 217
5．8．2　CPU可能存在瓶頸 217
5．8．3　gmetad rrd數(shù)據(jù)寫入可能存在瓶頸 217
第3篇　集群架構(gòu)篇
第6章　高性能集群軟件Keepalived 220
6．1　集群的定義 220
6．2　集群的特點與功能 221
6．2．1　高可用性與可擴展性 221
6．2．2　負載均衡與錯誤恢復 221
6．2．3　心跳檢測與漂移IP 221
6．3　集群的分類 222
6．3．1　高可用集群 222
6．3．2　負載均衡集群 223
6．3．3　分布式計算集群 224
6．4　HA集群中的相關(guān)術(shù)語 225
6．5　Keepalived簡介 225
6．5．1　Keepalived的用途 226
6．5．2　VRRP協(xié)議與工作原理 226
6．5．3　Keepalived工作原理 227
6．5．4　Keepalived的體系結(jié)構(gòu) 227
6．6　Keepalived安裝與配置 229
6．6．1　Keepalived的安裝過程 229
6．6．2　Keepalived的全局配置 230
6．6．3　Keepalived的VRRPD配置 231
6．6．4　Keepalived的LVS配置 234
6．7　Keepalived基礎(chǔ)功能應用實例 237
6．7．1　Keepalived基礎(chǔ)HA功能演示 237
6．7．2　通過VRRP_script實現(xiàn)對集群資源的監(jiān)控 243
第7章　高性能負載均衡集群LVS 247
7．1　LVS簡介 247
7．2　LVS體系結(jié)構(gòu) 247
7．3　IP負載均衡與負載調(diào)度算法 248
7．3．1　IP負載均衡技術(shù) 249
7．3．2　負載均衡機制 249
7．3．3　LVS負載調(diào)度算法 255
7．3．4　適用環(huán)境 256
7．4　LVS的安裝與使用 256
7．4．1　安裝IPVS管理軟件 257
7．4．2　ipvsadm的用法 257
7．5　通過Keepalived搭建LVS高可用性集群系統(tǒng) 258
7．5．1　實例環(huán)境 258
7．5．2　配置Keepalived 259
7．5．3　配置Real Server節(jié)點 261
7．5．4　啟動Keepalived+LVS集群系統(tǒng) 263
7．6　測試高可用LVS負載均衡集群系統(tǒng) 263
7．6．1　高可用性功能測試 263
7．6．2　負載均衡測試 264
7．6．3　故障切換測試 264
7．7　LVS經(jīng)常使用的集群網(wǎng)絡(luò)架構(gòu) 265
7．7．1　內(nèi)網(wǎng)集群，外網(wǎng)映射VIP 265
7．7．2　全外網(wǎng)LVS集群環(huán)境 266
第8章　高性能負載均衡軟件HAProxy 268
8．1　高性能負載均衡軟件HAProxy 268
8．1．1　HAProxy簡介 268
8．1．2　四層和七層負載均衡的區(qū)別 269
8．1．3　HAProxy與LVS的異同 270
8．2　HAProxy基礎(chǔ)配置與應用實例 270
8．2．1　快速安裝HAProxy集群軟件 271
8．2．2　HAProxy基礎(chǔ)配置文件詳解 271
8．2．3　通過HAProxy的ACL規(guī)則實現(xiàn)智能負載均衡 277
8．2．4　管理與維護HAProxy 279
8．2．5　使用HAProxy的Web監(jiān)控平臺 282
8．3　搭建HAProxy+Keepalived高可用負載均衡系統(tǒng) 283
8．3．1　搭建環(huán)境描述 283
8．3．2　配置HAProxy負載均衡服務器 284
8．3．3　配置主、備Keepalived服務器 286
8．4　測試HAProxy+Keepalived高可用負載均衡集群 289
8．4．1　測試Keepalived的高可用功能 289
8．4．2　測試負載均衡功能 290
第4篇　線上服務器安全、調(diào)優(yōu)、自動化運維篇
第9章　線上服務器安全運維 292
9．1　賬戶和登錄安全 292
9．1．1　刪除特殊的賬戶和賬戶組 292
9．1．2　關(guān)閉系統(tǒng)不需要的服務 293
9．1．3　密碼安全策略 294
9．1．4　合理使用su、sudo命令 299
9．1．5　刪減系統(tǒng)登錄歡迎信息 300
9．1．6　禁止Control-Alt-Delete鍵盤關(guān)閉命令 301
9．2　遠程訪問和認證安全 301
9．2．1　采用SSH方式而非telnet方式遠程登錄系統(tǒng) 301
9．2．2　合理使用shell歷史命令記錄功能 303
9．2．3　啟用Tcp_Wrappers防火墻 305
9．3　文件系統(tǒng)安全 307
9．3．1　鎖定系統(tǒng)重要文件 307
9．3．2　文件權(quán)限檢查和修改 309
9．3．3　/tmp、/var/tmp、/dev/shm安全設(shè)定 309
9．4　系統(tǒng)軟件安全管理 311
9．4．1　軟件自動升級工具yum 311
9．4．2　yum的安裝與配置 311
9．4．3　yum的特點與基本用法 313
9．4．4　幾個不錯的yum源 315
9．5　Linux后門入侵檢測與安全防護工具 316
9．5．1　rootkit后門檢測工具RKHunter 317
9．5．2　Linux安全防護工具ClamAV的使用 320
9．5．3　Linux．BackDoor．Gates．5（文件級別rootkit）網(wǎng)絡(luò)帶寬攻擊案例 322
9．6　服務器遭受攻擊后的處理過程 326
9．6．1　處理服務器遭受攻擊的一般思路 326
9．6．2　檢查并鎖定可疑用戶 327
9．6．3　查看系統(tǒng)日志 328
9．6．4　檢查并關(guān)閉系統(tǒng)可疑進程 329
9．6．5　檢查文件系統(tǒng)的完好性 329
9．7　云服務器被植入挖礦病毒案例實錄以及Redis安全防范 330
9．7．1　問題現(xiàn)象 330
9．7．2　分析問題 331
9．7．3　問題解決 336
9．7．4　深入探究Redis是如何被植入 338
第10章　線上服務器性能調(diào)優(yōu)案例 346
10．1　線上Linux服務器基礎(chǔ)優(yōu)化策略 346
10．1．1　系統(tǒng)基礎(chǔ)配置與調(diào)優(yōu) 346
10．1．2　系統(tǒng)安全與防護策略 351
10．1．3　系統(tǒng)內(nèi)核參數(shù)調(diào)優(yōu) 355
10．2　系統(tǒng)性能調(diào)優(yōu)規(guī)范以及對某電商平臺優(yōu)化分析案例 358
10．2．1　CPU性能評估以及相關(guān)工具 358
10．2．2　內(nèi)存性能評估以及相關(guān)工具 360
10．2．3　磁盤I/O性能評估以及相關(guān)工具 361
10．2．4　網(wǎng)絡(luò)性能評估以及相關(guān)工具 363
10．2．5　系統(tǒng)性能分析標準 366
10．2．6　動態(tài)、靜態(tài)內(nèi)容結(jié)合的電商網(wǎng)站優(yōu)化案例 366
10．3　一次Java進程占用CPU過高問題的排查方法與案例分析 376
10．3．1　案例故障描述 376
10．3．2　Java中進程與線程的概念 377
10．3．3　排查Java進程占用CPU過高的思路 378
10．3．4　Tomcat配置調(diào)優(yōu) 383
10．3．5　Tomcat Connector 3種運行模式（BIO、NIO、APR）的比較與優(yōu)化 385
第11章　自動化運維工具Ansible 391
11．1　Ansible的安裝 391
11．2　Ansible的架構(gòu)與運行原理 392
11．3　Ansible主機和組的配置 394
11．4　ansible．cfg與默認配置 396
11．5　Ad-Hoc與command模塊 396
11．5．1　Ad-Hoc是什么 396
11．5．2　command模塊 397
11．5．3　shell模塊 398
11．5．4　raw模塊 398
11．5．5　script模塊 399
11．6　Ansible其他常用功能模塊 399
11．6．1　ping模塊 399
11．6．2　file模塊 400
11．6．3　copy模塊 401
11．6．4　service模塊 402
11．6．5　cron模塊 402
11．6．6　yum模塊 403
11．6．7　user模塊與group模塊 404
11．6．8　synchronize模塊 405
11．6．9　setup模塊 405
11．6．10　get_url模塊 406
11．7　ansible-playbook簡單使用 406
11．7．1　劇本簡介 406
11．7．2　劇本文件的格式 406
11．7．3　劇本的構(gòu)成 407
11．7．4　劇本執(zhí)行結(jié)果解析 408
11．7．5　ansible-playbook收集facts信息案例 409
11．7．6　兩個完整的ansible-playbook案例 410
第5篇　虛擬化、大數(shù)據(jù)運維篇
第12章　KVM虛擬化技術(shù)與應用 414
12．1　KVM虛擬化架構(gòu) 414
12．1．1　KVM與QEMU 414
12．1．2　KVM虛擬機管理工具 414
12．1．3　宿主機與虛擬機 415
12．2　VNC的安裝與使用 415
12．2．1　啟動VNC Server 415
12．2．2　重啟VNC Server 415
12．2．3　客戶端連接 416
12．3　查看硬件是否支持虛擬化 416
12．4　安裝KVM內(nèi)核模塊和管理工具 416
12．4．1　安裝KVM內(nèi)核 417
12．4．2　安裝virt管理工具 417
12．4．3　加載KVM內(nèi)核 417
12．4．4　查看內(nèi)核是否開啟 417
12．4．5　KVM管理工具服務相關(guān) 417
12．5　宿主機網(wǎng)絡(luò)配置 418
12．5．1　建立橋接器 418
12．5．2　配置橋接設(shè)備 418
12．5．3　重啟網(wǎng)絡(luò)服務 419
12．6　使用KVM技術(shù)安裝虛擬機 419
12．7　虛擬機復制 421
12．7．1　本機復制 421
12．7．2　控制臺管理虛擬機 422
12．7．3　虛擬機的遷移 422
12．8　KVM虛擬化常用管理命令 423
12．8．1　查看KVM虛擬機配置文件及運行狀態(tài) 423
12．8．2　KVM虛擬機開機 423
12．8．3　KVM虛擬機關(guān)機或斷電 423
第13章　ELK大規(guī)模日志實時處理系統(tǒng)應用實戰(zhàn) 426
13．1　ELK架構(gòu)介紹 426
13．1．1　核心組成 426
13．1．2　Elasticsearch介紹 426
13．1．3　Logstash介紹 427
13．1．4　Kibana介紹 428
13．1．5　ELK工作流程 428
13．2　ZooKeeper基礎(chǔ)與入門 429
13．2．1　ZooKeeper概念介紹 429
13．2．2　ZooKeeper應用舉例 430
13．2．3　ZooKeeper工作原理 430
13．2．4　ZooKeeper集群架構(gòu) 431
13．3　Kafka基礎(chǔ)與入門 432
13．3．1　Kafka基本概念 432
13．3．2　Kafka術(shù)語 432
13．3．3　Kafka拓撲架構(gòu) 433
13．3．4　主題與分區(qū) 434
13．3．5　生產(chǎn)者生產(chǎn)機制 434
13．3．6　消費者消費機制 434
13．4　Filebeat基礎(chǔ)與入門 435
13．4．1　什么是Filebeat 435
13．4．2　Filebeat架構(gòu)與運行原理 435
13．5　ELK常見應用架構(gòu) 436
13．5．1　最簡單的ELK架構(gòu) 436
13．5．2　典型ELK架構(gòu) 437
13．5．3　ELK集群架構(gòu) 438
13．6　用ELK+Filebeat+Kafka+ZooKeeper構(gòu)建大數(shù)據(jù)日志分析平臺 438
13．6．1　典型ELK應用架構(gòu) 439
13．6．2　環(huán)境與角色說明 439
13．6．3　安裝JDK并設(shè)置環(huán)境變量 440
13．6．4　安裝并配置Elasticsearch集群 441
13．6．5　安裝并配置ZooKeeper集群 450
13．6．6　安裝并配置Kafka Broker集群 452
13．6．7　安裝并配置Filebeat 457
13．6．8　安裝并配置Logstash服務 460
13．6．9　安裝并配置Kibana展示日志數(shù)據(jù) 466
13．6．10　調(diào)試并驗證日志數(shù)據(jù)流向 470
13．7　Logstash配置語法詳解 472
13．7．1　Logstash基本語法組成 472
13．7．2　Logstash輸入插件 472
13．7．3　Logstash編碼插件
（codec） 476
13．7．4　Logstash過濾插件 477
13．7．5　Logstash輸出插件 488
13．8　ELK收集Apache訪問日志實戰(zhàn)案例 489
13．8．1　ELK收集日志的幾種方式 490
13．8．2　ELK收集Apache訪問日志的應用架構(gòu) 490
13．8．3　Apache的日志格式與日志變量 491
13．8．4　自定義Apache日志格式 492
13．8．5　驗證日志輸出 492
13．8．6　配置Filebeat 493
13．8．7　配置Logstash 494
13．8．8　配置Kibana 496
13．9　ELK收集Nginx訪問日志實戰(zhàn)案例 498
13．9．1　ELK收集Nginx訪問日志應用架構(gòu) 498
13．9．2　Nginx的日志格式與日志變量 499
13．9．3　自定義Nginx日志格式 500
13．9．4　驗證日志輸出 501
13．9．5　配置Filebeat 501
13．9．6　配置Logstash 502
13．9．7　配置Kibana 504
13．10　通過ELK收集MySQL慢查詢?nèi)罩緮?shù)據(jù) 505
13．10．1　開啟慢查詢?nèi)罩?505
13．10．2　慢查詢?nèi)罩痉治?509
13．10．3　配置Filebeat收集MySQL慢查詢?nèi)罩?510
13．10．4　通過Logstash的grok插件過濾、分析MySQL配置日志 511
13．10．5　通過Kibana創(chuàng)建MySQL慢查詢?nèi)罩舅饕?513
13．11　通過ELK收集Tomcat訪問日志和狀態(tài)日志 515
13．11．1　Tomcat日志解析 515
13．11．2　配置Tomcat的訪問日志和運行狀態(tài)日志 516
13．11．3　配置Filebeat 518
13．11．4　通過Logstash的grok插件過濾、分析Tomcat配置日志 519
13．11．5　配置Zabbix輸出并告警 521
13．11．6　通過Kibana平臺創(chuàng)建Tomcat訪問日志索引 522
第14章　高可用分布式集群Hadoop部署全攻略 524
14．1　Hadoop生態(tài)圈知識 524
14．1．1　Hadoop生態(tài)概況 524
14．1．2　HDFS 525
14．1．3　MapReduce（分布式計算框架）離線計算 525
14．1．4　HBase（分布式列存數(shù)據(jù)庫） 525
14．1．5　ZooKeeper（分布式協(xié)作服務） 526
14．1．6　Hive（數(shù)據(jù)倉庫） 526
14．1．7　Pig（ad-hoc腳本） 527
14．1．8　Sqoop（數(shù)據(jù)ETL/同步工具） 527
14．1．9　Flume（日志收集工具） 527
14．1．10　Oozie（工作流調(diào)度器） 527
14．1．11　YARN（分布式資源管理器） 527
14．1．12　Spark（內(nèi)存DAG計算模型） 529
14．1．13　Kafka（分布式消息隊列） 529
14．2　Hadoop的偽分布式部署 529
14．2．1　Hadoop發(fā)行版介紹 529
14．2．2　CDH發(fā)行版本 530
14．2．3　CDH與操作系統(tǒng)的依賴 530
14．2．4　偽分布式安裝Hadoop 530
14．2．5　使用Hadoop HDFS命令進行分布式存儲 534
14．2．6　在Hadoop中運行MapReduce程序 534
14．3　高可用Hadoop2．x體系結(jié)構(gòu) 535
14．3．1　兩個NameNode的地位關(guān)系 535
14．3．2　通過JournalNode保持NameNode元數(shù)據(jù)的一致性 535
14．3．3　NameNode的自動切換功能 536
14．3．4　高可用Hadoop集群架構(gòu) 536
14．3．5　JournalNode集群 537
14．3．6　ZooKeeper集群 538
14．4　部署高可用的Hadoop大數(shù)據(jù)平臺 538
14．4．1　安裝配置環(huán)境介紹 539
14．4．2　ZooKeeper安裝過程 539
14．4．3　Hadoop的安裝 540
14．4．4　分布式Hadoop的配置 542
14．5　Hadoop集群啟動過程 548
14．5．1　檢查各個節(jié)點的配置文件的正確性 549
14．5．2　啟動ZooKeeper集群 549
14．5．3　格式化ZooKeeper集群 549
14．5．4　啟動JournalNode 549
14．5．5　格式化集群NameNode 550
14．5．6　啟動主節(jié)點的NameNode服務 550
14．5．7　NameNode主、備節(jié)點同步元數(shù)據(jù) 550
14．5．8　啟動備機上的NameNode服務 551
14．5．9　啟動ZKFC 551
14．5．10　啟動DataNode服務 552
14．5．11　啟動ResourceManager和
NodeManager服務 552
14．5．12　啟動HistoryServer服務 552
14．6　Hadoop日常運維問題總結(jié) 553
14．6．1　下線DataNode 553
14．6．2　DataNode磁盤出現(xiàn)故障 554
14．6．3　安全模式導致的錯誤 555
14．6．4　NodeManager出現(xiàn)Java heap space 555
14．6．5　Too many fetch-failures錯誤 555
14．6．6　Exceeded MAX_FAILED_
UNIQUE_FETCHES; bailing-out錯誤 555
14．6．7　java．net．NoRouteToHostException： No route to host錯誤 556
14．6．8　新增DataNode 556
第15章　分布式文件系統(tǒng)HDFS與分布式計算YARN 558
15．1　分布式文件系統(tǒng)HDFS 558
15．1．1　HDFS結(jié)構(gòu)與架構(gòu) 558
15．1．2　名字節(jié)點工作機制 559
15．1．3　二級名字節(jié)點工作機制 560
15．1．4　HDFS運行機制以及數(shù)據(jù)存儲單元（block） 561
15．1．5　HDFS寫入數(shù)據(jù)流程解析 562
15．1．6　HDFS讀取數(shù)據(jù)流程解析 563
15．2　MapReduce與YARN的工作機制 564
15．2．1　第一代Hadoop組成與結(jié)構(gòu) 564
15．2．2　第二代Hadoop組成與結(jié)構(gòu) 566