大規(guī)模數(shù)據(jù)管理

目錄
序 1
前言 3
第1 章 數(shù)據(jù)管理的變革 . 11
1.1 數(shù)據(jù)管理12
1.2 分析正在分割數(shù)據(jù)景觀 .15
1.3 軟件交付的速度正在發(fā)生變化 17
1.4 網(wǎng)絡(luò)變得更加快捷 18
1.5 隱私和安全性是重中之重 19
1.6 運(yùn)營(yíng)和事物系統(tǒng)需要被整合 20
1.7 數(shù)據(jù)商業(yè)化需要生態(tài)系統(tǒng)到生態(tài)系統(tǒng)的架構(gòu) 20
1.8 企業(yè)受困于過(guò)時(shí)的數(shù)據(jù)架構(gòu) 21
1.8.1 企業(yè)數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能 21
1.8.2 數(shù)據(jù)湖 24
1.8.3 中心化視角 26
1.9 小結(jié) .27
第2 章 初窺可拓展架構(gòu)：大規(guī)模數(shù)據(jù)管理 .29
2.1 普遍認(rèn)可的起點(diǎn) 30
2.1.1 每一個(gè)應(yīng)用程序都有一個(gè)應(yīng)用程序數(shù)據(jù)庫(kù) 30
2.1.2 應(yīng)用程序都是特定的而且有獨(dú)特的上下文 30
2.1.3 黃金數(shù)據(jù)源 31
2.1.4 無(wú)法擺脫的數(shù)據(jù)集成困境 31
2.1.5 應(yīng)用程序既是數(shù)據(jù)提供者也是數(shù)據(jù)消費(fèi)者 32
2.2 關(guān)鍵的理論考量 33
2.2.1 面向?qū)ο蟮木幊淘瓌t.33
2.2.2 領(lǐng)域驅(qū)動(dòng)設(shè)計(jì) 35
2.2.3 業(yè)務(wù)架構(gòu) .38
2.3 通信和集成模式 45
2.3.1 點(diǎn)對(duì)點(diǎn) 46
2.3.2 孤島 46
2.3.3 輪輻模型 .47
2.4 可擴(kuò)展架構(gòu) 48
2.4.1 黃金數(shù)據(jù)源和域數(shù)據(jù)存儲(chǔ) 49
2.4.2 數(shù)據(jù)交付契約和數(shù)據(jù)共享協(xié)議 .51
2.4.3 擺脫孤島方案 52
2.4.4 企業(yè)規(guī)模的領(lǐng)域驅(qū)動(dòng)設(shè)計(jì) 53
2.4.5 讀優(yōu)化的數(shù)據(jù) 56
2.4.6 從整體的視角看數(shù)據(jù)層 58
2.4.7 元數(shù)據(jù)和目標(biāo)運(yùn)營(yíng)模式 61
2.5 小結(jié) .63
第3 章 管理海量數(shù)據(jù)：只讀數(shù)據(jù)存儲(chǔ)架構(gòu) .65
3.1 RDS 架構(gòu)簡(jiǎn)介 65
3.2 命令和查詢職責(zé)分離 66
3.2.1 什么是CQRS 66
3.2.2 規(guī)模化的CQRS 68
3.3 只讀數(shù)據(jù)存儲(chǔ)組件和服務(wù) 73
3.3.1 元數(shù)據(jù) 74
3.3.2 數(shù)據(jù)質(zhì)量 .75
3.3.3 RDS 層級(jí) 77
3.3.4 數(shù)據(jù)攝取 .78
3.3.5 集成商業(yè)化現(xiàn)成解決方案 81
3.3.6 從外部API 和SaaS 提取數(shù)據(jù) 82
3.3.7 歷史數(shù)據(jù)服務(wù) 82
3.3.8 設(shè)計(jì)的變化 86
3.3.9 數(shù)據(jù)復(fù)制 .88
3.3.10 訪問(wèn)層 .89
3.3.11 文件操作服務(wù) 90
3.3.12 交付通知服務(wù) .91
3.3.13 匿名服務(wù) 91
3.3.14 分布式編排92
3.4 智能消費(fèi)服務(wù) .93
3.5 按需填充RDS 96
3.6 直接使用RDS 的考量 97
3.7 小結(jié) .98
第4 章 API 架構(gòu)的服務(wù)和API 管理 99
4.1 API 架構(gòu)簡(jiǎn)介 99
4.2 什么是面向服務(wù)的架構(gòu) 100
4.2.1 企業(yè)應(yīng)用集成 104
4.2.2 服務(wù)編排 106
4.2.3 服務(wù)編舞 110
4.2.4 公共服務(wù)和私有服務(wù) 111
4.2.5 服務(wù)模型和規(guī)范數(shù)據(jù)模型 111
4.2.6 SOA 與企業(yè)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)的相似之處 . 112
4.3 SOA 的現(xiàn)代觀點(diǎn) 114
4.3.1 API 網(wǎng)關(guān) 114
4.3.2 責(zé)任模式 116
4.3.3 企業(yè)服務(wù)總線的新職責(zé) . 118
4.3.4 服務(wù)合約 119
4.3.5 服務(wù)發(fā)現(xiàn) 119
4.4 微服務(wù) .120
4.4.1 API 網(wǎng)關(guān)在微服務(wù)中的作用 122
4.4.2 函數(shù) .122
4.4.3 服務(wù)網(wǎng)格 124
4.4.4 微服務(wù)的邊界 .125
4.4.5 在API 參考架構(gòu)內(nèi)的微服務(wù) 126
4.5 生態(tài)系統(tǒng)通信 127
4.6 基于API 的通信渠道 129
4.6.1 GraphQL 130
4.6.2 為前端服務(wù)的后端 131
4.7 元數(shù)據(jù) .131
4.8 利用RDS 進(jìn)行實(shí)時(shí)和密集讀取 .133
4.9 小結(jié) 134
第5 章 事件和響應(yīng)管理：流式架構(gòu) . 137
5.1 流式架構(gòu)簡(jiǎn)介 137
5.2 異步事件模型與眾不同 138
5.3 事件驅(qū)動(dòng)架構(gòu)是什么樣的 .139
5.3.1 調(diào)停者拓?fù)?.140
5.3.2 代理者拓?fù)?.141
5.3.3 事件處理風(fēng)格 .142
5.4 Apache Kafka 簡(jiǎn)易入門 143
5.4.1 分布式事件數(shù)據(jù) 145
5.4.2 Apache Kafka 的功能 .147
5.5 流式架構(gòu).148
5.5.1 事件生產(chǎn)者 .148
5.5.2 事件消費(fèi)者 .151
5.5.3 事件平臺(tái) 153
5.5.4 事件溯源和命令溯源154
5.5.5 治理模型 157
5.5.6 業(yè)務(wù)流 158
5.5.7 流式數(shù)據(jù)消費(fèi)模式 161
5.5.8 事件攜帶狀態(tài)轉(zhuǎn)移 163
5.5.9 扮演RDS 的角色 .164
5.5.10 使用流式處理來(lái)填充RDS 164
5.5.11 用來(lái)指導(dǎo)領(lǐng)域的控制措施和政策 165
5.6 作為運(yùn)營(yíng)支撐的流式處理 .166
5.7 保證與一致性 167
5.7.1 一致性水平 .167
5.7.2 “至少一次、恰好一次和至多一次”的處理 167
5.7.3 消息順序 168
5.7.4 死信隊(duì)列 168
5.7.5 流式處理的互操作性169
5.8 用于治理和自助服務(wù)模型的元數(shù)據(jù)170
5.9 小結(jié) 171
第6 章 將知識(shí)串聯(lián)起來(lái) 173
6.1 架構(gòu)回顧.173
6.1.1 RDS 架構(gòu) .174
6.1.2 API 架構(gòu) 174
6.1.3 流式架構(gòu) 175
6.1.4 強(qiáng)化模式 175
6.2 企業(yè)互操作性標(biāo)準(zhǔn) .177
6.2.1 穩(wěn)定的數(shù)據(jù)端點(diǎn) .178
6.2.2 數(shù)據(jù)交付契約 .181
6.2.3 可訪問(wèn)和可尋址的數(shù)據(jù) .182
6.2.4 跨網(wǎng)絡(luò)原則 .182
6.3 企業(yè)數(shù)據(jù)標(biāo)準(zhǔn) 188
6.3.1 消費(fèi)優(yōu)化原則 .189
6.3.2 元數(shù)據(jù)的可發(fā)現(xiàn)性 192
6.3.3 語(yǔ)義一致性 .196
6.3.4 提供相應(yīng)的元數(shù)據(jù) 200
6.3.5 數(shù)據(jù)來(lái)源與移動(dòng) 200
6.4 參考架構(gòu).203
6.5 小結(jié) 204
第7 章 可持續(xù)的數(shù)據(jù)治理與數(shù)據(jù)安全 207
7.1 數(shù)據(jù)治理.207
7.1.1 組織：數(shù)據(jù)治理的角色 .209
7.1.2 流程：數(shù)據(jù)治理的活動(dòng) .212
7.1.3 人員：信任與道德、社會(huì)和經(jīng)濟(jì)的考量 214
7.1.4 技術(shù)：黃金數(shù)據(jù)源，所有權(quán)和應(yīng)用程序管理 214
7.1.5 數(shù)據(jù)：黃金數(shù)據(jù)源，黃金源數(shù)據(jù)集和分類 .216
7.2 數(shù)據(jù)安全.224
7.2.1 時(shí)下的孤島方法 225
7.2.2 架構(gòu)的統(tǒng)一數(shù)據(jù)安全225
7.2.3 身份提供者 .227
7.2.4 安全參考架構(gòu)和數(shù)據(jù)上下文方法 .228
7.2.5 安全處理流程 .230
7.3 實(shí)踐指南.234
7.3.1 RDS 架構(gòu) .234
7.3.2 API 架構(gòu) 236
7.3.3 流式架構(gòu) 240
7.3.4 智能學(xué)習(xí)引擎 .241
7.4 小結(jié) 242
第8 章 從數(shù)據(jù)獲取價(jià)值 243
8.1 消費(fèi)模式.244
8.1.1 直接使用只讀數(shù)據(jù)存儲(chǔ) .244
8.1.2 領(lǐng)域數(shù)據(jù)存儲(chǔ) .245
8.2 目標(biāo)運(yùn)營(yíng)模式 247
8.3 作為目標(biāo)用戶群體的數(shù)據(jù)專業(yè)人員248
8.4 業(yè)務(wù)需求.250
8.5 非功能性需求 250
8.6 創(chuàng)建數(shù)據(jù)管道和數(shù)據(jù)模型 .252
8.7 分發(fā)集成數(shù)據(jù) 259
8.8 商業(yè)智能能力 260
8.9 自助服務(wù)能力 262
8.10 分析能力 265
8.10.1 自動(dòng)化部署的標(biāo)準(zhǔn)基礎(chǔ)設(shè)施 266
8.10.2 無(wú)狀態(tài)模型266
8.10.3 預(yù)設(shè)和配置好的工作臺(tái) 266
8.10.4 模型集成模式的標(biāo)準(zhǔn)化 267
8.10.5 自動(dòng)化 .268
8.10.6 模型元數(shù)據(jù)268
8.11 高級(jí)分析參考架構(gòu) 270
8.12 小結(jié) 273
第9 章 掌握企業(yè)數(shù)據(jù)資產(chǎn) 275
9.1 揭秘主數(shù)據(jù)管理 .276
9.2 主數(shù)據(jù)管理風(fēng)格 .276
9.3 主數(shù)據(jù)管理參考架構(gòu) 278
9.3.1 設(shè)計(jì)主數(shù)據(jù)管理解決方案 279
9.3.2 MDM 的分發(fā) 281
9.3.3 主標(biāo)識(shí)號(hào) 281
9.3.4 參考數(shù)據(jù)與主數(shù)據(jù) 282
9.4 確定企業(yè)數(shù)據(jù)的范圍 283
9.5 MDM 和數(shù)據(jù)質(zhì)量即服務(wù) 286
9.6 精選數(shù)據(jù).286
9.6.1 元數(shù)據(jù)交換 .287
9.6.2 集成視圖 288
9.6.3 可復(fù)用組件和集成邏輯 .288
9.6.4 數(shù)據(jù)重新發(fā)布 .289
9.7 與數(shù)據(jù)治理的關(guān)系 .290
9.8 小結(jié) 290
第10 章 通過(guò)元數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)民主化 293
10.1 元數(shù)據(jù)管理 .294
10.2 企業(yè)元數(shù)據(jù)模型 295
10.3 企業(yè)知識(shí)圖譜 303
10.4 元數(shù)據(jù)管理的架構(gòu)方法 307
10.4.1 元數(shù)據(jù)互操作性 .308
10.4.2 元數(shù)據(jù)存儲(chǔ)庫(kù) 310
10.5 能提供快速訪問(wèn)授權(quán)數(shù)據(jù)的市場(chǎng) 313
10.6 小結(jié) 316
第11 章 結(jié)論 317
11.1 交付模式 318
11.1.1 完全去中心化方案 319
11.1.2 部分去中心化方案 320
11.1.3 構(gòu)建團(tuán)隊(duì) 320
11.1.4 內(nèi)部開源策略 321
11.2 文化 322
11.3 技術(shù)選擇 323
11.4 傳統(tǒng)企業(yè)架構(gòu)的沒(méi)落 .324
11.4.1 藍(lán)圖和圖表 324
11.4.2 現(xiàn)代技能 325
11.4.3 控制和管理 325
11.5 最后的話 326
術(shù)語(yǔ) . 327