并行離群數(shù)據(jù)挖掘及應(yīng)用

目錄


第1章緒論

1.1大數(shù)據(jù)挖掘及應(yīng)用

1.1.1數(shù)據(jù)挖掘技術(shù)

1.1.2數(shù)據(jù)挖掘的發(fā)展趨勢和研究前沿

1.1.3大數(shù)據(jù)及其應(yīng)用

1.1.4集群系統(tǒng)與并行計(jì)算

1.1.5Spark并行計(jì)算模型

1.1.6大數(shù)據(jù)挖掘技術(shù)的應(yīng)用

1.2離群數(shù)據(jù)挖掘及研究動態(tài)

1.2.1離群數(shù)據(jù)挖掘

1.2.2分類數(shù)據(jù)離群挖掘

1.2.3混合屬性數(shù)據(jù)離群挖掘

1.2.4離群數(shù)據(jù)并行挖掘及性能優(yōu)化

1.2.5離群數(shù)據(jù)挖掘的應(yīng)用

1.3本章小結(jié)


第2章基于加權(quán)特征分組的高維分類數(shù)據(jù)離群挖掘

2.1引言

2.2相關(guān)工作

2.2.1離群檢測

2.2.2高維數(shù)據(jù)離群檢測

2.2.3分類數(shù)據(jù)離群檢測

2.3離群檢測前期準(zhǔn)備

2.3.1分類數(shù)據(jù)和問題陳述

2.3.2計(jì)算特征的相關(guān)性

2.3.3特征分組算法

2.4離群值檢測算法WATCH

2.4.1特征加權(quán)

2.4.2離群得分

2.4.3離群檢測算法

2.4.4時(shí)間復(fù)雜度分析

2.5實(shí)驗(yàn)分析

2.5.1數(shù)據(jù)集

2.5.2特征分組評估

2.5.3特征分組結(jié)果分析

2.5.4離群點(diǎn)檢測的精度

2.5.5離群檢測效率

2.5.6可解釋性

2.6本章小結(jié)


第3章基于Spark的分類數(shù)據(jù)并行離群挖掘

3.1引言

3.2基本概念

3.2.1高維分類數(shù)據(jù)特征組

3.2.2MapReduce和Spark RDD

3.3特征分組

3.3.1特征分組的基本概念

3.3.2基于Spark的特征分組的并行實(shí)現(xiàn)

3.4基于Spark的POS算法

3.4.1基于Spark的POS算法的工作流程

3.4.2基于Spark的特征分組

3.4.3并行離群挖掘

3.5POS的性能調(diào)優(yōu)

3.5.1RDD緩存

3.5.2參數(shù)調(diào)優(yōu)

3.6實(shí)驗(yàn)分析

3.6.1數(shù)據(jù)集

3.6.2偽分布環(huán)境下的挖掘性能

3.6.3RDD緩存的影響

3.6.4特征組的數(shù)量對算法的影響

3.6.5算法的可擴(kuò)展性

3.6.6算法的可伸縮性

3.7本章小結(jié)


第4章基于互信息的混合屬性加權(quán)離群挖掘算法

4.1引言

4.2相關(guān)工作

4.3基于互信息的混合屬性相關(guān)性度量及加權(quán)機(jī)制

4.3.1互信息計(jì)算

4.3.2混合屬性加權(quán)機(jī)制

4.4基于互信息的混合屬性加權(quán)離群檢測算法

4.4.1數(shù)值空間離群得分

4.4.2分類空間離群得分

4.4.3混合屬性加權(quán)離群檢測算法

4.5實(shí)驗(yàn)結(jié)果與分析

4.5.1混合屬性數(shù)據(jù)離群檢測分析

4.5.2數(shù)值型數(shù)據(jù)離群檢測分析

4.5.3分類型數(shù)據(jù)離群檢測分析

4.6本章小結(jié)


第5章基于Spark的并行互信息計(jì)算及其性能優(yōu)化

5.1引言

5.2相關(guān)工作

5.2.1互信息及其并行化

5.2.2性能優(yōu)化

5.3并行互信息計(jì)算及性能優(yōu)化

5.3.1列變換

5.3.2數(shù)據(jù)傾斜

5.4MiCS算法的具體實(shí)現(xiàn)

5.4.1列變換及虛擬劃分策略

5.4.2互信息計(jì)算

5.5實(shí)驗(yàn)與分析

5.5.1應(yīng)用背景

5.5.2數(shù)據(jù)集

5.5.3列變換對MiCS的影響

5.5.4虛擬分區(qū)對MiCS的影響

5.6本章小結(jié)


第6章冷軋輥制造過程離群數(shù)據(jù)挖掘原型系統(tǒng)

6.1引言

6.2系統(tǒng)需求與總體設(shè)計(jì)

6.2.1冷軋輥制造過程的復(fù)雜性

6.2.2冷軋輥的失效分析

6.2.3影響冷軋輥生產(chǎn)過程質(zhì)量的因素

6.2.4系統(tǒng)的軟件體系結(jié)構(gòu)及功能

6.3數(shù)據(jù)收集及預(yù)處理

6.3.1數(shù)據(jù)收集

6.3.2數(shù)據(jù)預(yù)處理

6.4冷軋輥制造過程離群檢測及質(zhì)量分析

6.5本章小結(jié)


第7章總結(jié)與展望

7.1總結(jié)

7.2展望