并行離群數據挖掘及應用

目錄


第1章緒論

1.1大數據挖掘及應用

1.1.1數據挖掘技術

1.1.2數據挖掘的發(fā)展趨勢和研究前沿

1.1.3大數據及其應用

1.1.4集群系統(tǒng)與并行計算

1.1.5Spark并行計算模型

1.1.6大數據挖掘技術的應用

1.2離群數據挖掘及研究動態(tài)

1.2.1離群數據挖掘

1.2.2分類數據離群挖掘

1.2.3混合屬性數據離群挖掘

1.2.4離群數據并行挖掘及性能優(yōu)化

1.2.5離群數據挖掘的應用

1.3本章小結


第2章基于加權特征分組的高維分類數據離群挖掘

2.1引言

2.2相關工作

2.2.1離群檢測

2.2.2高維數據離群檢測

2.2.3分類數據離群檢測

2.3離群檢測前期準備

2.3.1分類數據和問題陳述

2.3.2計算特征的相關性

2.3.3特征分組算法

2.4離群值檢測算法WATCH

2.4.1特征加權

2.4.2離群得分

2.4.3離群檢測算法

2.4.4時間復雜度分析

2.5實驗分析

2.5.1數據集

2.5.2特征分組評估

2.5.3特征分組結果分析

2.5.4離群點檢測的精度

2.5.5離群檢測效率

2.5.6可解釋性

2.6本章小結


第3章基于Spark的分類數據并行離群挖掘

3.1引言

3.2基本概念

3.2.1高維分類數據特征組

3.2.2MapReduce和Spark RDD

3.3特征分組

3.3.1特征分組的基本概念

3.3.2基于Spark的特征分組的并行實現(xiàn)

3.4基于Spark的POS算法

3.4.1基于Spark的POS算法的工作流程

3.4.2基于Spark的特征分組

3.4.3并行離群挖掘

3.5POS的性能調優(yōu)

3.5.1RDD緩存

3.5.2參數調優(yōu)

3.6實驗分析

3.6.1數據集

3.6.2偽分布環(huán)境下的挖掘性能

3.6.3RDD緩存的影響

3.6.4特征組的數量對算法的影響

3.6.5算法的可擴展性

3.6.6算法的可伸縮性

3.7本章小結


第4章基于互信息的混合屬性加權離群挖掘算法

4.1引言

4.2相關工作

4.3基于互信息的混合屬性相關性度量及加權機制

4.3.1互信息計算

4.3.2混合屬性加權機制

4.4基于互信息的混合屬性加權離群檢測算法

4.4.1數值空間離群得分

4.4.2分類空間離群得分

4.4.3混合屬性加權離群檢測算法

4.5實驗結果與分析

4.5.1混合屬性數據離群檢測分析

4.5.2數值型數據離群檢測分析

4.5.3分類型數據離群檢測分析

4.6本章小結


第5章基于Spark的并行互信息計算及其性能優(yōu)化

5.1引言

5.2相關工作

5.2.1互信息及其并行化

5.2.2性能優(yōu)化

5.3并行互信息計算及性能優(yōu)化

5.3.1列變換

5.3.2數據傾斜

5.4MiCS算法的具體實現(xiàn)

5.4.1列變換及虛擬劃分策略

5.4.2互信息計算

5.5實驗與分析

5.5.1應用背景

5.5.2數據集

5.5.3列變換對MiCS的影響

5.5.4虛擬分區(qū)對MiCS的影響

5.6本章小結


第6章冷軋輥制造過程離群數據挖掘原型系統(tǒng)

6.1引言

6.2系統(tǒng)需求與總體設計

6.2.1冷軋輥制造過程的復雜性

6.2.2冷軋輥的失效分析

6.2.3影響冷軋輥生產過程質量的因素

6.2.4系統(tǒng)的軟件體系結構及功能

6.3數據收集及預處理

6.3.1數據收集

6.3.2數據預處理

6.4冷軋輥制造過程離群檢測及質量分析

6.5本章小結


第7章總結與展望

7.1總結

7.2展望