商業(yè)銀行數(shù)據(jù)庫管理實踐

第1章  商業(yè)銀行數(shù)據(jù)庫架構(gòu)轉(zhuǎn)型 1
1.1  商業(yè)銀行信息科技發(fā)展環(huán)境 1
1.1.1 “十四五”規(guī)劃 2
1.1.2  金融科技發(fā)展規(guī)劃 2
1.1.3  銀保監(jiān)會監(jiān)管新趨勢 3
1.2  商業(yè)銀行信息科技體系 3
1.2.1  組織架構(gòu) 4
1.2.2  制度流程 4
1.2.3  IT基礎(chǔ)設(shè)施 5
1.2.4  運維支撐 6
1.2.5  容災(zāi)體系 7
1.2.6  信息安全 8
1.3  基于ITIL規(guī)范的運維體系 9
1.3.1  事件處理 9
1.3.2  問題處理 9
1.3.3  變更實施 9
1.3.4  應(yīng)急處置 9
1.3.5  安全配置基線 10
1.4  數(shù)據(jù)庫架構(gòu)轉(zhuǎn)型 10
1.4.1  關(guān)系數(shù)據(jù)庫起源 11
1.4.2  從商業(yè)數(shù)據(jù)庫到開源數(shù)據(jù)庫轉(zhuǎn)型 11
1.4.3  從集中式到分布式數(shù)據(jù)庫轉(zhuǎn)型 12
1.4.4  國產(chǎn)數(shù)據(jù)庫發(fā)展 13
1.4.5  數(shù)據(jù)庫選型策略 15
1.5  轉(zhuǎn)型對DBA團(tuán)隊的挑戰(zhàn) 15
1.5.1  組織結(jié)構(gòu) 16
1.5.2  文化建設(shè) 16
1.5.3  人才梯隊建設(shè) 16
1.6  新技術(shù)運用和輸出 17
1.6.1  NoSQL數(shù)據(jù)庫 17
1.6.2  NewSQL數(shù)據(jù)庫 18
1.6.3  數(shù)據(jù)庫網(wǎng)格 19
1.6.4  新技術(shù)運用建議 20
1.6.5  新技術(shù)輸出建議 21
小結(jié) 21
第2章  從集中式到分布式數(shù)據(jù)庫 23
2.1  從某商業(yè)銀行電商管家系統(tǒng)談起 24
2.1.1  物理部署架構(gòu) 24
2.1.2  應(yīng)用服務(wù)器性能瓶頸及解決方案 25
2.2  從集中式到分布式數(shù)據(jù)庫——電商管家系統(tǒng)演進(jìn)之路 25
2.2.1  硬件擴(kuò)容方案——摩爾定律失效導(dǎo)致效果有限 26
2.2.2  Redis緩存方案——解決高并發(fā)性能問題 27
2.2.3  MySQL讀寫分離方案——解決高讀寫比性能問題 28
2.2.4  分庫分表方案——解決性能和容量瓶頸問題 29
2.2.5  分布式數(shù)據(jù)庫中間件方案——通過中間件透明訪問數(shù)據(jù)庫 31
2.2.6  分布式數(shù)據(jù)庫方案——通過數(shù)據(jù)庫解決所有問題 34
2.3  GoldenDB數(shù)據(jù)庫的前世今生 35
2.3.1  GoldenDB數(shù)據(jù)庫的研發(fā)和運用歷程 36
2.3.2  GoldenDB數(shù)據(jù)庫邏輯架構(gòu) 37
2.3.3  GoldenDB數(shù)據(jù)庫部署架構(gòu) 38
2.3.4  GoldenDB數(shù)據(jù)庫關(guān)鍵創(chuàng)新技術(shù) 39
2.3.5  GoldenDB數(shù)據(jù)庫事務(wù)的ACID特性 41
2.4  GoldenDB數(shù)據(jù)庫與CAP理論 43
2.4.1  什么是CAP理論 43
2.4.2  GoldenDB保證一致性 44
2.4.3  GoldenDB程度保證可用性 45
2.4.4  GoldenDB保證分區(qū)容錯性 45
2.5  GoldenDB數(shù)據(jù)庫應(yīng)用開發(fā)和運維實踐 46
2.5.1  分布式數(shù)據(jù)庫帶來的挑戰(zhàn) 46
2.5.2  應(yīng)用開發(fā)方面的應(yīng)對措施 47
2.5.3  生產(chǎn)運維方面的應(yīng)對措施 48
2.5.4  技術(shù)規(guī)范的制定和落實 49
小結(jié) 50
第3章  從小型機(jī)遷移到x86服務(wù)器 51
3.1  遷移項目概述 51
3.1.1  商業(yè)匯票系統(tǒng)下移背景與目標(biāo) 52
3.1.2  遷移計劃 52
3.1.3  數(shù)據(jù)遷移原理 53
3.1.4  遷移難點分析 54
3.2  小型機(jī)與x86服務(wù)器大比拼 54
3.2.1  計算資源對比分析 55
3.2.2  存儲資源對比分析 56
3.2.3  可擴(kuò)展性對比分析 57
3.2.4  可靠性對比分析 57
3.2.5  小型機(jī)與x86服務(wù)器計算資源實測對比分析 58
3.3  小型機(jī)下移x86服務(wù)器的資源轉(zhuǎn)換方案 59
3.3.1  x86服務(wù)器資源轉(zhuǎn)換原則 59
3.3.2  x86服務(wù)器資源轉(zhuǎn)換方案 59
3.3.3  商業(yè)匯票系統(tǒng)資源轉(zhuǎn)換結(jié)果 61
3.4  基礎(chǔ)軟件版本升級與架構(gòu)優(yōu)化 61
3.4.1  升級策略 62
3.4.2  不同版本差異性對比 63
3.4.3  軟件架構(gòu)優(yōu)化 65
3.4.4  商業(yè)匯票系統(tǒng)軟件升級和架構(gòu)優(yōu)化結(jié)果 66
3.5  小型機(jī)下移x86服務(wù)器系統(tǒng)測試方案 67
3.5.1  傳統(tǒng)測試方法 67
3.5.2  高仿真測試方法 68
3.5.3  性能測試評估原則 70
3.5.4  測試方法選擇策略 71
3.5.5  商業(yè)匯票系統(tǒng)測試方案選擇結(jié)果 72
3.6  小型機(jī)下移x86服務(wù)器實施 72
3.6.1  Java程序遷移 72
3.6.2  C/C 程序遷移 74
3.6.3  數(shù)據(jù)庫離線遷移 75
3.6.4  數(shù)據(jù)庫平滑遷移 82
3.6.5  數(shù)據(jù)庫遷移方案的選擇策略 91
3.6.6  商業(yè)匯票系統(tǒng)數(shù)據(jù)庫平滑遷移步驟 92
小結(jié) 101
第4章  集中式數(shù)據(jù)庫上線部署 102
4.1  部署需求 102
4.1.1  邏輯架構(gòu) 103
4.1.2  功能性需求 104
4.1.3  非功能性需求 105
4.1.4  容災(zāi)需求 106
4.1.5  某銀行網(wǎng)絡(luò)貸款系統(tǒng)部署需求結(jié)論 107
4.2  數(shù)據(jù)庫部署環(huán)境規(guī)劃 108
4.2.1  計算資源規(guī)劃 108
4.2.2  存儲資源規(guī)劃 109
4.2.3  網(wǎng)絡(luò)資源規(guī)劃 110
4.2.4  數(shù)據(jù)庫選型 111
4.2.5  災(zāi)備規(guī)劃 112
4.2.6  某銀行網(wǎng)絡(luò)貸款系統(tǒng)規(guī)劃結(jié)論 113
4.3  Db2數(shù)據(jù)庫部署 113
4.3.1  高可用架構(gòu)選擇 114
4.3.2  軟件安裝 115
4.3.3  用戶創(chuàng)建 116
4.3.4  實例創(chuàng)建 117
4.3.5  數(shù)據(jù)庫創(chuàng)建 117
4.3.6  按照規(guī)范配置參數(shù) 117
4.3.7  災(zāi)備方案實施 120
4.3.8  某銀行網(wǎng)絡(luò)貸款系統(tǒng)數(shù)據(jù)庫部署方案 123
4.4  MySQL數(shù)據(jù)庫部署 123
4.4.1  高可用架構(gòu)選擇 124
4.4.2  軟件安裝 127
4.4.3  用戶創(chuàng)建 127
4.4.4  數(shù)據(jù)庫創(chuàng)建 128
4.4.5  按照規(guī)范配置參數(shù) 129
4.4.6  災(zāi)備搭建 130
4.5  監(jiān)控、巡檢和應(yīng)急腳本部署 132
4.5.1  監(jiān)控腳本部署 132
4.5.2  巡檢腳本部署 133
4.5.3  應(yīng)急腳本部署 134
4.6  集中備份方案的制訂與實施 134
4.6.1  備份方案 135
4.6.2  備份策略 136
4.6.3  備份實施 137
4.6.4  某銀行網(wǎng)絡(luò)貸款系統(tǒng)備份方案 137
小結(jié) 138
第5章  分布式數(shù)據(jù)庫上線部署 139
5.1  部署需求分析 140
5.1.1  某商業(yè)銀行對私業(yè)務(wù)平臺簡介 140
5.1.2  功能性需求 140
5.1.3  非功能性需求 141
5.1.4  災(zāi)備需求 142
5.1.5  部署需求分析結(jié)論 143
5.2  基礎(chǔ)軟硬件環(huán)境規(guī)劃 144
5.2.1  總體部署規(guī)劃 144
5.2.2  計算資源規(guī)劃 145
5.2.3  存儲資源規(guī)劃 147
5.2.4  網(wǎng)絡(luò)資源規(guī)劃 148
5.2.5  對私BP系統(tǒng)規(guī)劃結(jié)論 149
5.3  GoldenDB分布式數(shù)據(jù)庫部署 149
5.3.1  按照規(guī)范配置操作系統(tǒng) 150
5.3.2  安裝管理節(jié)點雙機(jī)軟件 151
5.3.3  安裝GoldenDB集群軟件 154
5.3.4  創(chuàng)建GoldenDB集群 158
5.3.5  向集群中添加GTM節(jié)點 159
5.3.6  向集群中添加數(shù)據(jù)分片 160
5.3.7  向集群中添加DBProxy節(jié)點 161
5.3.8  創(chuàng)建DBProxy連接實例 161
5.3.9  按照規(guī)范配置數(shù)據(jù)庫參數(shù) 164
5.3.10  數(shù)據(jù)遷移方案 167
5.4  監(jiān)控、巡檢和應(yīng)急腳本部署 170
5.4.1  監(jiān)控腳本部署 170
5.4.2  深度巡檢工具部署 171
5.4.3  自動化應(yīng)急腳本部署 173
5.5  集中備份方案的制訂與實施 174
5.5.1  備份方案 175
5.5.2  備份策略 175
5.5.3  備份實施 175
小結(jié) 177
第6章  商業(yè)銀行數(shù)據(jù)庫升級 178
6.1  商業(yè)銀行數(shù)據(jù)庫升級概述 178
6.1.1  為什么要升級數(shù)據(jù)庫 178
6.1.2  數(shù)據(jù)庫升級策略 179
6.2  規(guī)劃數(shù)據(jù)庫升級 180
6.2.1  數(shù)據(jù)庫升級前評估 180
6.2.2  規(guī)劃數(shù)據(jù)庫服務(wù)器升級 181
6.2.3  規(guī)劃數(shù)據(jù)庫客戶端升級 183
6.2.4  規(guī)劃數(shù)據(jù)庫應(yīng)用程序升級 184
6.3  測試方案的選擇 186
6.3.1  傳統(tǒng)測試方案 186
6.3.2  高仿真測試方案 187
6.3.3  機(jī)器人流程自動化測試方案 188
6.3.4  各種測試方案對比 189
6.4  制訂數(shù)據(jù)庫升級方案 190
6.4.1  數(shù)據(jù)庫版本升級 190
6.4.2  數(shù)據(jù)庫升級回退方案 197
6.4.3  方案制訂方面的建議 200
6.5  數(shù)據(jù)庫升級實戰(zhàn)——某商業(yè)銀行理財平臺數(shù)據(jù)庫升級 202
6.5.1  理財平臺系統(tǒng)數(shù)據(jù)庫升級規(guī)劃 202
6.5.2  使用原地升級方案升級理財平臺數(shù)據(jù)庫 204
6.5.3  使用原地回退方案對理財平臺數(shù)據(jù)庫逆向升級 212
6.5.4  使用備份恢復(fù)升級方案升級理財平臺數(shù)據(jù)庫 215
6.5.5  使用備份恢復(fù)回退方案對理財平臺數(shù)據(jù)庫逆向升級 221
小結(jié) 222
第7章  Db2常用工具和診斷案例 223
7.1  碎片整理工具 223
7.1.1  碎片整理工具reorg 223
7.1.2  案例分享 225
7.2  統(tǒng)計信息收集 226
7.2.1  統(tǒng)計信息收集runstats 227
7.2.2  案例分享 228
7.3  重新綁定 228
7.3.1  重新綁定——rebind 228
7.3.2  案例分享 229
7.4  常規(guī)數(shù)據(jù)移動工具 234
7.4.1  導(dǎo)出數(shù)據(jù)export 234
7.4.2  導(dǎo)入數(shù)據(jù)import 235
7.4.3  ingest——性能和可用性間平衡的使者 238
7.4.4  導(dǎo)出導(dǎo)入數(shù)據(jù)db2move 242
7.4.5  特殊對象的移動——序列和IDENTITY字段 244
7.4.6  案例分享——遷移帶有IDENTITY字段的表 246
7.5  海量數(shù)據(jù)移動工具load 248
7.5.1  load——導(dǎo)入大數(shù)據(jù)的核武器 248
7.5.2  LOAD FROM CURSOR輕松移動數(shù)據(jù) 258
7.5.3  案例分享——load失敗導(dǎo)致數(shù)據(jù)庫目錄文件系統(tǒng)滿 258
7.5.4  案例分享——load性能問題診斷 259
7.6  移形換位工具——db2relocatedb 261
7.6.1  工具說明 261
7.6.2  案例分享 262
7.7  常用運維工具的調(diào)速 263
7.7.1  調(diào)速參數(shù) 264
7.7.2  案例分享 265
小結(jié) 266
第8章  MySQL數(shù)據(jù)庫故障診斷 267
8.1  MySQL故障診斷方法 268
8.1.1  MySQL基礎(chǔ)知識 268
8.1.2  MySQL故障診斷思路 271
8.2  MySQL常用診斷工具 272
8.2.1  操作系統(tǒng)診斷命令和工具 272
8.2.2  數(shù)據(jù)庫診斷命令和工具 275
8.2.3  命令和工具使用建議 283
8.3  問題診斷實戰(zhàn)案例集一——單機(jī)數(shù)據(jù)庫故障診斷 283
8.3.1  一次數(shù)據(jù)庫異常宕機(jī)問題診斷 284
8.3.2  一次mysqldump備份異常問題診斷 289
8.3.3  一次binlog無法清理問題診斷 293
8.3.4  一次ibtmp1臨時文件巨大問題診斷 296
8.3.5  一次數(shù)據(jù)庫文件系統(tǒng)權(quán)限異常問題診斷 299
8.4  問題診斷實戰(zhàn)案例集二——主從復(fù)制故障診斷 300
8.4.1  一次從庫表記錄不存在問題診斷 301
8.4.2  一次從庫事務(wù)執(zhí)行失敗問題診斷 303
8.4.3  一次從庫無法創(chuàng)建連接問題診斷 306
8.4.4  一次從庫無法清理表記錄問題診斷 307
8.4.5  一次主從復(fù)制延遲問題診斷 311
小結(jié) 316
第9章  分布式數(shù)據(jù)庫故障診斷與性能優(yōu)化 317
9.1  故障診斷與優(yōu)化方法 317
9.1.1  GoldenDB分布式數(shù)據(jù)庫特點 317
9.1.2  基于平臺工具診斷和優(yōu)化 318
9.1.3  自動化應(yīng)急處置 319
9.2  平臺工具介紹 319
9.2.1  交易監(jiān)控平臺 319
9.2.2  日志分析平臺 320
9.2.3  普羅米修斯監(jiān)控平臺 321
9.2.4  dbtool工具 323
9.2.5  深度巡檢工具 325
9.3  某銀行核心系統(tǒng)數(shù)據(jù)傾斜問題診斷 328
9.3.1  故障概述 328
9.3.2  分析過程 329
9.3.3  結(jié)論和建議 331
9.4  某銀行分布式數(shù)據(jù)庫元數(shù)據(jù)庫恢復(fù)案例 333
9.4.1  故障概述 333
9.4.2  分析過程 333
9.4.3  結(jié)論和建議 335
9.5  某銀行理財平臺CPU繁忙調(diào)優(yōu) 335
9.5.1  故障概述 335
9.5.2  分析過程 335
9.5.3  結(jié)論和建議 340
9.6  某銀行網(wǎng)銀系統(tǒng)內(nèi)存調(diào)優(yōu) 341
9.6.1  故障概述 341
9.6.2  分析過程 341
9.6.3  結(jié)論和建議 344
9.7  某銀行電商管家系統(tǒng)響應(yīng)慢調(diào)優(yōu) 345
9.7.1  故障概述 345
9.7.2  分析過程 345
9.7.3  結(jié)論和建議 346
9.8  分布式數(shù)據(jù)庫切換與數(shù)據(jù)緊急恢復(fù) 346
9.8.1  故障切換與計劃性切換 346
9.8.2  緊急數(shù)據(jù)恢復(fù) 350
9.9  故障診斷和性能優(yōu)化建議 353
9.9.1  技術(shù)規(guī)范應(yīng)前置到設(shè)計開發(fā)階段 353
9.9.2  高效SQL語句開發(fā)建議 354
9.9.3  平臺工具運用建議 355
9.9.4  應(yīng)急處置建議 356
小結(jié) 356
第?10?章  Db2數(shù)據(jù)庫性能優(yōu)化 357
10.1  理解Db2優(yōu)化器 358
10.1.1  SQL語句的編譯過程 358
10.1.2  Db2優(yōu)化器的核心作用 359
10.1.3  SQL語句優(yōu)化過程 360
10.2  SQL優(yōu)化關(guān)鍵：分析訪問計劃 360
10.2.1  解釋工具 360
10.2.2  解讀訪問計劃 364
10.2.3  表掃描與索引掃描 371
10.2.4  嵌套循環(huán)連接、歸并連接和哈希連接 374
10.2.5  基數(shù)估計和統(tǒng)計信息 380
10.3  性能問題診斷過程 388
10.3.1  分析思路 389
10.3.2  捕獲低效SQL語句 389
10.3.3  分析低效SQL語句 389
10.3.4  優(yōu)化低效SQL語句 390
10.4  實戰(zhàn)案例集錦 390
10.4.1  案例1：理財平臺系統(tǒng)案例——高消耗應(yīng)用態(tài)CPU問題 390
10.4.2  案例2：電子渠道系統(tǒng)案例——SQL語句運行時間超長問題 398
10.4.3  案例3：自動調(diào)度平臺系統(tǒng)案例——存儲過程運行時間超長問題 402
10.5  編寫高效SQL語句 407
10.5.1  盡量避免排序 407
10.5.2  OR/IN或OR/UNION ALL等價轉(zhuǎn)換 407
10.5.3  不要檢索多余的數(shù)據(jù) 408
10.5.4  模糊查詢優(yōu)化 408
10.5.5  避免在連接謂詞中使用復(fù)雜表達(dá)式 408
10.5.6  將復(fù)雜表達(dá)式放在常量上 409
10.5.7  使用Db2提供的日期類型 409
10.5.8  謹(jǐn)慎對待隱式類型轉(zhuǎn)換 410
10.5.9  外連接的順序 411
10.5.10  IN和EXISTS子查詢 412
10.5.11  OFNR和FFNR子句 417
10.5.12  動態(tài)SQL VS. 靜態(tài)SQL 417
10.5.13  事務(wù)結(jié)束后及時COMMIT 418
小結(jié) 419
第?11?章  MySQL數(shù)據(jù)庫性能優(yōu)化 420
11.1  MySQL性能優(yōu)化方法論 420
11.1.1  MySQL邏輯架構(gòu)基礎(chǔ)知識 421
11.1.2  MySQL優(yōu)化方法簡介 421
11.1.3  MySQL優(yōu)化實踐 421
11.2  MySQL優(yōu)化基礎(chǔ)知識 423
11.2.1  聚集索引和二級索引 423
11.2.2  主鍵索引和索引 425
11.2.3  多列索引 426
11.2.4  前綴索引 426
11.2.5  索引使用策略 427
11.2.6  索引條件下推 428
11.2.7  多范圍讀 429
11.2.8  特定場景優(yōu)化策略 431
11.3  收集性能數(shù)據(jù) 432
11.3.1  收集操作系統(tǒng)性能數(shù)據(jù) 433
11.3.2  收集數(shù)據(jù)庫性能數(shù)據(jù) 433
11.3.3  性能數(shù)據(jù)收集建議 439
11.4  捕獲問題SQL語句 439
11.4.1  使用快照命令捕獲問題SQL語句 439
11.4.2  通過pt-query-digest定位問題SQL語句 440
11.5  分析問題SQL語句執(zhí)行計劃 444
11.5.1  Explain輸出字段說明 446
11.5.2  語句標(biāo)識 447
11.5.3  查詢類型（select_type） 449
11.5.4  訪問類型（type） 451
11.5.5  索引長度（key_len） 453
11.5.6  額外信息（Extra） 454
11.5.7  Explain重點關(guān)注項 455
11.5.8  不同版本下Explain的注意事項 456
11.6  MySQL性能優(yōu)化實戰(zhàn)集錦 456
11.6.1  案例1：一次客服語音系統(tǒng)數(shù)據(jù)庫服務(wù)器CPU負(fù)載高的優(yōu)化案例 457
11.6.2  案例2：一次業(yè)務(wù)檔案系統(tǒng)數(shù)據(jù)庫緩慢批處理優(yōu)化案例 460
11.6.3  案例3：一次員工渠道系統(tǒng)用戶登錄緩慢優(yōu)化案例 465
11.7  MySQL性能優(yōu)化實踐——配置參數(shù)優(yōu)化 471
11.7.1  硬件配置優(yōu)化建議 472
11.7.2  操作系統(tǒng)配置優(yōu)化建議 472
11.7.3  數(shù)據(jù)庫配置優(yōu)化建議 473
小結(jié) 474
第?12?章  商業(yè)銀行數(shù)據(jù)庫管理思考 475
12.1  商業(yè)銀行數(shù)據(jù)庫管理演化階段 475
12.1.1  奴隸社會——手工運維階段 476
12.1.2  封建社會——工具化階段 477
12.1.3  資本主義社會——云化管理階段 478
12.1.4  共產(chǎn)主義社會——智能化階段 480
12.2  新系統(tǒng)上線方面的思考 480
12.2.1  流程的優(yōu)化 481
12.2.2  安裝自動化 483
12.2.3  高效服務(wù)化部署 484
12.3  數(shù)據(jù)庫事件管理思考 485
12.3.1  事件管理優(yōu)化 485
12.3.2  事件自動化統(tǒng)計與分析 486
12.4  問題處理方面的思考 487
12.4.1  深挖問題根本原因 488
12.4.2  問題總結(jié)與沉淀 489
12.5  數(shù)據(jù)庫變更方面的思考 490
12.5.1  數(shù)據(jù)庫變更的標(biāo)準(zhǔn)化 490
12.5.2  數(shù)據(jù)庫變更的自動化 491
12.6  數(shù)據(jù)庫應(yīng)急方面的思考 492
12.6.1  數(shù)據(jù)庫應(yīng)急預(yù)案的制訂 492
12.6.2  一鍵式數(shù)據(jù)庫應(yīng)急處置平臺 493
12.6.3  數(shù)據(jù)庫自愈方面的思考 494
12.7  數(shù)據(jù)庫安全方面的思考 496
12.7.1  安全的流程化管控 496
12.7.2  打造堅不可摧的數(shù)據(jù)庫安全體系 498
12.8  開發(fā)運維一體化（DevOps）的思考 499
12.8.1  什么是開發(fā)運維一體化 500
12.8.2  構(gòu)建部落式團(tuán)隊 501
12.8.3  智能化運維（AIOps）的思考 502
12.8.4  數(shù)據(jù)庫管理員（DBA）的轉(zhuǎn)型 502
小結(jié) 503
參考文獻(xiàn) 504
縮略語 505
后記——捕“魚” 509