數(shù)據(jù)資源規(guī)劃與管理實踐

第1篇　數(shù)據(jù)工程基礎
第1章 數(shù)據(jù)工程概述 3
1.1　數(shù)據(jù)工程相關概念 3
1.1.1　數(shù)據(jù)的定義和生命周期 3
1.1.2　數(shù)據(jù)、信息、知識和智慧 4
1.1.3　數(shù)據(jù)工程的定義和內(nèi)涵 5
1.2　數(shù)據(jù)工程的體系建設 6
1.2.1　總體架構 6
1.2.2　數(shù)據(jù)工程的體系維 7
1.2.3　數(shù)據(jù)工程的標準維 9
1.2.4　數(shù)據(jù)工程的技術維 10
1.3　數(shù)據(jù)工程建設現(xiàn)狀與發(fā)展 11
1.3.1　我國數(shù)據(jù)工程建設的現(xiàn)狀與發(fā)展 11
1.3.2　美軍數(shù)據(jù)工程建設的發(fā)展歷程 14
1.4　小結 18
習題 18
第2章 數(shù)據(jù)標準 19
2.1　概述 19
2.1.1　標準和標準化的基本概念 19
2.1.2　數(shù)據(jù)標準化概述 21
2.1.3　數(shù)據(jù)標準體系 22
2.2　元數(shù)據(jù)標準化 24
2.2.1　元數(shù)據(jù)基本概念 24
2.2.2　典型元數(shù)據(jù)標準 27
2.2.3　元數(shù)據(jù)標準的分類與管理 30
2.2.4　元數(shù)據(jù)標準參考框架 32
2.3　數(shù)據(jù)元標準化 35
2.3.1　數(shù)據(jù)元概述 35
2.3.2　數(shù)據(jù)元的基本屬性 39
2.3.3　數(shù)據(jù)元的命名和定義 41
2.3.4　數(shù)據(jù)元的表示格式和值域 43
2.3.5　數(shù)據(jù)元間的關系 46
2.4　數(shù)據(jù)分類與編碼 47
2.4.1　數(shù)據(jù)分類的基本原則和方法 47
2.4.2　數(shù)據(jù)編碼的基本原則和方法 49
2.5　小結 53
習題 54
第3章 數(shù)據(jù)模型 55
3.1　數(shù)據(jù)模型基本概念 55
3.1.1　概念模型 55
3.1.2　邏輯模型 56
3.1.3　物理模型 58
3.2　數(shù)據(jù)建模標記符號 59
3.2.1　實體?聯(lián)系圖標記符號 59
3.2.2　IDEF1x標記符號 60
3.2.3　信息工程標記符號 63
3.2.4　UML數(shù)據(jù)模型標記符號 65
3.2.5　標記符號的補充說明 66
3.3　數(shù)據(jù)模型描述方法 67
3.3.1　概念模型描述方法 67
3.3.2　邏輯模型描述方法 68
3.3.3　物理模型描述方法 70
3.3.4　數(shù)據(jù)字典描述方法 70
3.4　小結 71
習題 71
第2篇 數(shù)據(jù)資源規(guī)劃
第4章 數(shù)據(jù)資源規(guī)劃理論 75
4.1　數(shù)據(jù)資源規(guī)劃的由來 75
4.1.1 失敗的案例 75
4.1.2 應用積壓嚴重 76
4.1.3 應用開發(fā)效率低 76
4.1.4 系統(tǒng)維護的困難 76
4.2　數(shù)據(jù)資源規(guī)劃的概念和作用 77
4.2.1　數(shù)據(jù)資源規(guī)劃概念的提出 77
4.2.2　數(shù)據(jù)資源規(guī)劃的定義 78
4.2.3　數(shù)據(jù)資源規(guī)劃的核心思想 79
4.2.4　數(shù)據(jù)資源規(guī)劃的作用 79
4.3　數(shù)據(jù)資源規(guī)劃的理論基礎 79
4.3.1　信息生命周期管理理論 80
4.3.2　信息工程和戰(zhàn)略數(shù)據(jù)資源規(guī)劃理論 81
4.3.3　信息資源管理和數(shù)據(jù)資源管理標準化理論 84
4.4　小結 86
習題 86
第5章 數(shù)據(jù)資源規(guī)劃方法 87
5.1　基于穩(wěn)定信息過程的數(shù)據(jù)資源規(guī)劃方法 87
5.1.1　方法概述 87
5.1.2　具體步驟 88
5.2　基于穩(wěn)定信息結構的數(shù)據(jù)資源規(guī)劃方法 92
5.2.1　方法概述 92
5.2.2　具體步驟 92
5.3　基于指標能力的數(shù)據(jù)資源規(guī)劃方法 94
5.3.1　方法概述 94
5.3.2　具體步驟 95
5.4　數(shù)據(jù)資源規(guī)劃方法比較 96
5.5　小結 96
習題 97
第6章 數(shù)據(jù)資源規(guī)劃的需求分析 98
6.1　需求分析基本概念 98
6.2　需求獲取方法 99
6.2.1　訪談 99
6.2.2　快速原型系統(tǒng)法 99
6.2.3　簡易的應用規(guī)格說明技術 100
6.2.4　數(shù)據(jù)流圖法 101
6.3　需求分析工具——數(shù)據(jù)流圖 102
6.3.1　數(shù)據(jù)流圖的符號 102
6.3.2　數(shù)據(jù)流圖設計步驟 103
6.3.3　數(shù)據(jù)字典 106
6.4　用戶視圖分析技術 108
6.4.1　用戶視圖概念 108
6.4.2　數(shù)據(jù)結構規(guī)范化 110
6.4.3　用戶視圖整理模式 114
6.5　小結 116
習題 116
第7章 數(shù)據(jù)資源規(guī)劃的模型構建 118
7.1　數(shù)據(jù)模型構建的類型 118
7.1.1 層次模型和網(wǎng)狀模型 118
7.1.2 關系模型 118
7.1.3 多維數(shù)據(jù)模型 119
7.1.4 DataVault數(shù)據(jù)模型 119
7.1.5 Anchor模型 119
7.1.6 基于本體的數(shù)據(jù)模型 119
7.2　關系模型構建技術 120
7.2.1　關系模型的基本概念 120
7.2.2　關系模型的構建步驟 121
7.3　維度模型構建技術 123
7.3.1　維度模型的基本概念 123
7.3.2　維度模型構建的基本步驟 123
7.4　基于本體的數(shù)據(jù)模型構建技術 125
7.4.1　本體的基本概念 125
7.4.2　本體的構建原則與步驟 126
7.4.3　基于本體的數(shù)據(jù)模型構建 127
7.5　小結 128
習題 128
第8章 數(shù)據(jù)資源規(guī)劃實踐和工具 129
8.1　數(shù)據(jù)資源規(guī)劃實踐案例 129
8.1.1 確定職能域 129
8.1.2 職能域業(yè)務分析，并確定其業(yè)務活動 129
8.1.3 職能域數(shù)據(jù)分析 132
8.1.4 建立領域的數(shù)據(jù)資源管理基礎標準 134
8.2　數(shù)據(jù)資源規(guī)劃工具IRP 2000 139
8.3　新版數(shù)據(jù)資源規(guī)劃工具 143
8.4　小結 146
習題 146
第3篇 數(shù)據(jù)資源管理
第9章 數(shù)據(jù)治理 149
9.1　數(shù)據(jù)治理概述 149
9.1.1　數(shù)據(jù)治理的基本概念 149
9.1.2　相關概念辨析 150
9.1.3　數(shù)據(jù)治理要素 152
9.2　數(shù)據(jù)治理實施方法 153
9.2.1　定義業(yè)務問題 153
9.2.2　獲取高層支持 154
9.2.3　評估成熟度 154
9.2.4　創(chuàng)建路線圖 154
9.2.5　建立組織藍圖 154
9.2.6　創(chuàng)建數(shù)據(jù)字典 154
9.2.7　理解數(shù)據(jù) 154
9.2.8　創(chuàng)建元數(shù)據(jù)倉庫 155
9.2.9　定義度量標準 155
9.2.10　主數(shù)據(jù)治理 155
9.2.11　治理分析 155
9.2.12　安全與隱私管理 155
9.2.13　信息生命周期管理 156
9.2.14　測量結果 156
9.3　大數(shù)據(jù)治理概述 156
9.3.1　大數(shù)據(jù)治理的基本概念 156
9.3.2　大數(shù)據(jù)治理的技術框架 159
9.4　小結 168
習題 168
第10章 數(shù)據(jù)質(zhì)量管理 169
10.1　數(shù)據(jù)質(zhì)量概述 169
10.1.1　數(shù)據(jù)質(zhì)量定義 169
10.1.2　數(shù)據(jù)質(zhì)量問題來源 169
10.1.3　數(shù)據(jù)質(zhì)量問題分類 170
10.1.4　數(shù)據(jù)質(zhì)量衡量維度 171
10.2　數(shù)據(jù)清洗 171
10.2.1　數(shù)據(jù)清洗定義 172
10.2.2　數(shù)據(jù)清洗方法 172
10.2.3　缺失數(shù)據(jù)處理 172
10.2.4　重復數(shù)據(jù)處理 176
10.2.5　異常數(shù)據(jù)處理 181
10.2.6　邏輯錯誤數(shù)據(jù)處理 182
10.2.7　數(shù)據(jù)清洗流程 183
10.3　數(shù)據(jù)質(zhì)量工具 185
10.3.1　SAS/DataFlux 公司產(chǎn)品 185
10.3.2　Informatica公司產(chǎn)品 185
10.3.3　IBM公司產(chǎn)品 186
10.3.4　Oracle公司產(chǎn)品 186
10.3.5　Talend公司產(chǎn)品 187
10.3.6　Data Cleaner 187
10.4　小結 188
習題 188
第11章 數(shù)據(jù)集成 189
11.1　數(shù)據(jù)集成概述 189
11.1.1 數(shù)據(jù)集成的概念 189
11.1.2 數(shù)據(jù)集成的挑戰(zhàn) 190
11.2　數(shù)據(jù)集成主要方法 191
11.2.1　虛擬視圖方法 191
11.2.2　物化方法 192
11.2.3　混合型集成方法 194
11.3　數(shù)據(jù)集成開發(fā)生命周期 194
11.4　數(shù)據(jù)集成技術 195
11.4.1　ETL技術 195
11.4.2　實時數(shù)據(jù)集成技術 197
11.4.3　數(shù)據(jù)虛擬化技術 198
11.5　數(shù)據(jù)集成產(chǎn)品介紹 199
11.5.1　Kettle工具 199
11.5.2　DataX工具 200
11.5.3　Informatica PowerCenter工具 201
11.6　小結 204
習題 204
第12章 數(shù)據(jù)中臺 205
12.1　數(shù)據(jù)中臺概述 205
12.1.1　數(shù)據(jù)中臺的概念 206
12.1.2　數(shù)據(jù)中臺的發(fā)展 206
12.1.3　數(shù)據(jù)中臺的功能 207
12.2　數(shù)據(jù)中臺的架構 207
12.2.1　數(shù)據(jù)采集與集成 208
12.2.2　數(shù)據(jù)加工 209
12.2.3　數(shù)據(jù)資產(chǎn)體系構建 209
12.2.4　數(shù)據(jù)資產(chǎn)管理 210
12.2.5　數(shù)據(jù)服務 211
12.3　數(shù)據(jù)中臺的建設 212
12.3.1　需求調(diào)研 212
12.3.2　需求分析 212
12.3.3　數(shù)據(jù)中臺架構設計 212
12.3.4　實施數(shù)據(jù)中臺建設 214
12.3.5　運行維護數(shù)據(jù)中臺 214
12.4　數(shù)據(jù)中臺的支撐技術 214
12.4.1　數(shù)據(jù)采集技術 214
12.4.2　數(shù)據(jù)存儲技術 215
12.4.3　數(shù)據(jù)挖掘技術 216
12.4.4　大數(shù)據(jù)計算技術 217
12.4.5　數(shù)據(jù)服務技術 217
12.5　典型數(shù)據(jù)中臺的介紹 218
12.5.1　阿里云上數(shù)據(jù)中臺 218
12.5.2　網(wǎng)易數(shù)據(jù)中臺 219
12.6　小結 220
習題 220
參考文獻 221