數據倉庫和數據挖掘

第1章  緒論    1
1.1  企業(yè)用戶關心的新問題    1
1.2  解決問題的一項新技術——數據倉庫    2
1.3  數據倉庫的商業(yè)應用    3
1.4  數據倉庫與信息管理    4
1.5  信息管理的新問題催生數據挖掘    6
1.6  數據挖掘與信息管理    7
1.7  數據倉庫與數據挖掘    9
1.8  數據倉庫與非結構化數據的管理    10
1.9  數據倉庫與傳統數據庫長期共存    11
第2章  數據倉庫概述    13
2.1  從傳統數據庫到數據倉庫    13
2.1.1  傳統數據庫的不足    13
2.1.2  數據倉庫與傳統數據庫的區(qū)別    16
2.2  數據倉庫的基本概念    17
2.2.1  外部數據源    18
2.2.2  數據抽取    18
2.2.3  抽取存儲區(qū)    18
2.2.4  數據清洗    18
2.2.5  數據轉換    19
2.2.6  元數據    20
2.2.7  數據集市    21
2.3  數據倉庫的體系結構    22
2.3.1  數據倉庫系統的三個層次    22
2.3.2  數據倉庫的構造模式    24
2.4  數據倉庫的特點    25
2.4.1  面向主題    26
2.4.2  數據的集成性    27
2.4.3  數據的非易失性    28
2.4.4  數據的時變性    28
2.5  數據倉庫的數據組織    28
2.5.1  數據倉庫的數據綜合    29
2.5.2  數據倉庫中的時間分割    30
2.5.3  數據倉庫中的數據組織    32
第3章  數據倉庫中的模型    34
3.1  數據倉庫中數據模型概述    34
3.2  數據倉庫的概念模型    36
3.2.1  企業(yè)模型的建立    36
3.2.2  數據模型的規(guī)范    37
3.2.3  常見的概念模型    40
3.3  邏輯模型與物理模型    41
3.3.1  邏輯數據模型的特點    42
3.3.2  物理模型的設計要點    43
3.3.3  事實表的設計    44
3.3.4  維度表的設計    45
3.3.5  物理模型的設計對數據倉庫性能的影響    46
3.4  元數據模型    47
3.4.1  元數據的類型    48
3.4.2  元數據的作用    49
3.4.3  元數據的收集與維護    50
3.4.4  元數據的使用    52
3.5  數據倉庫的粒度模型    53
3.5.1  粒度的劃分    54
3.5.2  粒度級別的確定    54
第4章  OLAP技術    56
4.1  OLAP概述    56
4.1.1  OLAP的發(fā)展歷程與特點    56
4.1.2  OLAP的基本概念    57
4.1.3  OLAP分析的基本操作    60
4.1.4  OLAP與OLTP的比較    63
4.2  OLAP的評價標準    64
4.2.1  評價OLAP的十二條準則    64
4.2.2  對OLAP評價標準的補充    67
4.3  基于多維數據庫的OLAP    67
4.3.1  多維數據庫    67
4.3.2  MDDB數據中的時間序列    69
4.3.3  MDDB的數據存儲與讀取    70
4.4  基于RDBMS的OLAP    71
4.4.1  多維數據在RDBMS中的記錄    72
4.4.2  星形結構的存儲實現    73
4.4.3  MOLAP與ROLAP的比較    75
4.5  OLAP的前端展現    77
4.5.1  OLAP系統的結構    77
4.5.2  OLAP結果的展現方法    79
第5章  數據倉庫的開發(fā)實例    81
5.1  SQL Server簡介    81
5.1.1  SQL Server所提供的數據倉庫功能    81
5.1.2  SQL Server的安裝    81
5.1.3  Analysis Service窗口的打開與使用    85
5.2  SQL Server中創(chuàng)建數據倉庫的準備工作    86
5.2.1  SQL Server中數據庫與表的創(chuàng)建    86
5.2.2  DTS的設置與使用    88
5.2.3  分析數據庫的建立與數據源的連接    91
5.3  維度的創(chuàng)建    93
5.3.1  創(chuàng)建“客戶”維度    94
5.3.2  創(chuàng)建“時間”維度    97
5.3.3  其他維度的創(chuàng)建    98
5.4  多維數據集的創(chuàng)建與處理    99
5.4.1  多維數據集的創(chuàng)建    99
5.4.2  多維數據集的處理    101
5.5  多維數據集數據瀏覽與OLAP的實施    105
5.5.1  多維數據集中數據的瀏覽    105
5.5.2  多維數據集中維度的操作與OLAP功能的實現    106
5.6  數據倉庫中的數據挖掘    108
5.6.1  SQL Server中數據挖掘的特性    108
5.6.2  決策樹挖掘技術的使用    109
5.6.3  Microsoft聚集挖掘技術的應用    113
第6章  數據挖掘概述    115
6.1  數據挖掘基本概念    115
6.1.1  數據挖掘的由來    115
6.1.2  數據挖掘的技術定義    116
6.1.3  數據挖掘的商業(yè)定義    117
6.1.4  數據挖掘的對象    118
6.2  數據挖掘基本功能    119
6.2.1  概念描述    119
6.2.2  關聯分析    120
6.2.3  分類    120
6.2.4  聚類    121
6.2.5  孤立點分析    121
6.2.6  時序演變分析    121
6.2.7  信息摘要    122
6.2.8  信息抽取    122
6.2.9  元數據挖掘    122
6.3  數據挖掘過程    123
6.3.1  Fayyad過程模型    123
6.3.2  CRISP-DM過程模型    125
6.3.3  數據挖掘過程工作量    129
6.3.4  建立數據挖掘環(huán)境    130
6.4  數據挖掘方法    132
6.4.1  決策樹    132
6.4.2  神經網絡    133
6.4.3  粗糙集    134
6.4.4  遺傳算法    135
6.4.5  概率論與數理統計    137
6.4.6  模糊集    137
6.4.7  關聯分析    138
6.5  數據挖掘系統發(fā)展階段    138
第7章  數據庫挖掘    140
7.1  概念描述    140
7.1.1  概念描述的生成過程    140
7.1.2  概念分層與數據泛化    141
7.1.3  概念分層方法    142
7.1.4  數據泛化方法    144
7.1.5  泛化的表示    147
7.1.6  屬性相關分析    148
7.1.7  區(qū)別性描述    149
7.2  關聯規(guī)則    149
7.2.1  關聯規(guī)則相關概念    149
7.2.2  關聯規(guī)則分類    151
7.2.3  單維布爾關聯規(guī)則    151
7.2.4  多層關聯規(guī)則    155
7.2.5  多維關聯規(guī)則    156
7.2.6  基于約束的挖掘    159
7.3  分類    161
7.3.1  分類過程與方法    161
7.3.2  決策樹分類    162
7.3.3  貝葉斯分類    165
7.3.4  神經網絡方法    167
7.4  聚類分析    169
7.4.1  聚類分析概述    169
7.4.2  聚類處理的數據結構    171
7.4.3  聚類處理的數據類型    171
7.4.4  聚類方法分類    174
7.4.5  典型聚類方法    175
7.4.6  孤立點分析    182
7.5  關聯規(guī)則興趣度    183
7.5.1  興趣度的作用    183
7.5.2  客觀性興趣度    183
7.5.3  主觀性興趣度    184
7.5.4  兩種標準的綜合    185
第8章  文本挖掘    187
8.1  文本挖掘概述    187
8.1.1  文本挖掘的主要技術    187
8.1.2  文本挖掘的一般過程    188
8.1.3  文本挖掘的主要應用    189
8.1.4  文本挖掘對信息檢索的影響    189
8.2  文本的預處理    190
8.2.1  文本表示    190
8.2.2  自動分詞    191
8.2.3  文本標引    194
8.2.4  文本相似度計算    197
8.2.5  詞頻矩陣降維    198
8.2.6  去除重復文本    199
8.2.7  文本過濾    200
8.3  文本分類    201
8.3.1  文本分類應用    201
8.3.2  文本分類方法    202
8.3.3  分類效果評價    204
8.4  文本聚類    205
8.4.1  劃分聚類法    205
8.4.2  層次聚類法    206
8.4.3  神經網絡聚類法    207
8.4.4  遺傳算法聚類法    208
8.4.5  網頁聚類    208
8.5  自動摘要    209
8.5.1  自動摘要應用    209
8.5.2  自動摘要方法    210
8.5.3  中文自動摘要系統    212
第9章  Web挖掘    214
9.1  概述    214
9.1.1  Web挖掘概念    214
9.1.2  幾個相關概念    216
9.1.3  Web挖掘數據源    219
9.1.4  Web挖掘過程    221
9.1.5  Web挖掘的挑戰(zhàn)    223
9.2  Web挖掘任務分類    225
9.2.1  Web內容挖掘    226
9.2.2  Web結構挖掘    228
9.2.3  Web使用挖掘    231
9.3  Web挖掘技術分類    234
9.3.1  統計分析    234
9.3.2  關聯規(guī)則    235
9.3.3  序列模式    236
9.3.4  聚類與分類    237
9.4  Web挖掘的應用    237
9.4.1  在搜索引擎中的應用    238
9.4.2  在網站設計中的應用    239
9.4.3  在電子商務中的應用    240
9.4.4  電子商務網站的Web挖掘實施過程    241
第10章  數據挖掘應用    247
10.1  數據挖掘應用案例    247
10.1.1  生物醫(yī)學    248
10.1.2  市場業(yè)    249
10.1.3  科學研究    250
10.1.4  競技運動    252
10.1.5  商業(yè)銀行    252
10.1.6  商務應用    253
10.2  數據挖掘產品    254
10.2.1  產品分類    255
10.2.2  產品介紹    256
10.2.3  產品評價    258
10.2.4  產品選擇    260
第11章  數據挖掘與競爭情報系統    262
11.1  競爭情報系統概述    262
11.1.1  競爭情報系統概念    262
11.1.2  數據挖掘應用現狀    263
11.2  競爭情報流程    265
11.2.1  數據挖掘應用    265
11.2.2  數據準備    266
11.2.3  關系信息的挖掘    267
11.2.4  指標值的自動抽取    269
11.3  競爭對手分析    272
11.3.1  主要競爭產品的確定    272
11.3.2  選擇核心競爭對手的依據    273
11.3.3  潛在競爭對手的類型    274
11.3.4  核心競爭對手的確定    276
11.3.5  挖掘潛在競爭對手    278
11.4  客戶分析    278
11.4.1  客戶關系管理    279
11.4.2  客戶數據收集    281
11.4.3  客戶獲取    282
11.4.4  客戶保持    284
11.4.5  交叉銷售    285
11.4.6  客戶細分    286
參考文獻    289