面向大數(shù)據(jù)的高效能垃圾文本分類

第1章 大數(shù)據(jù)與垃圾信息
1.1 大數(shù)據(jù)時代的垃圾信息
1.1.1 大數(shù)據(jù)和垃圾信息爆發(fā)
1.1.2 垃圾信息過濾研究項(xiàng)目
1.1.3 垃圾信息過濾研究意義
1.2 垃圾信息范疇
1.2.1 垃圾電子郵件
1.2.2 垃圾手機(jī)短信
1.2.3 廣義垃圾信息
1.2.4 文本垃圾信息
1.3 文本垃圾信息態(tài)勢
1.3.1 國際垃圾郵件態(tài)勢
1.3.2 我國垃圾郵件態(tài)勢
1.3.3 我國垃圾手機(jī)短信態(tài)勢
1.4 研究動機(jī)與內(nèi)容
1.4.1 科學(xué)問題與挑戰(zhàn)
1.4.2 研究內(nèi)容與結(jié)構(gòu)
1.4.3 研究成果
本章小結(jié)
第2章 垃圾信息過濾方法概述
2.1 基于協(xié)議的垃圾信息過濾
2.1.1 基于SMTP的方法
2.1.2 基于IP的方法
2.2 基于內(nèi)容的垃圾信息過濾
2.2.1 基于規(guī)則的方法
2.2.2 基于統(tǒng)計的方法
2.2.3 神經(jīng)網(wǎng)絡(luò)方法
2.2.4 集成學(xué)習(xí)方法
2.3 垃圾信息過濾性能評價方法
2.3.1 當(dāng)前性能評價方法
2.3.2 ROC曲線評價方法
2.3.3 整體性能評價方法
本章小結(jié)
第3章 信息文檔的文本統(tǒng)計特性
3.1 信息文檔的正文特性
3.1.1 電子郵件和手機(jī)短信語料
3.1.2 正文文本長度特性
3.1.3 正文和TokeN重復(fù)特性
3.2 信息文檔的結(jié)構(gòu)特性
3.2.1 信息文檔格式
3.2.2 域間文本特征
3.3 Token頻率分布的冪律特性
3.3.1 冪律
3.3.2 郵件文檔和郵件域文檔
3.3.3 短信文檔和短信域文檔
本章小結(jié)
第4章 面向垃圾信息過濾的多域?qū)W習(xí)文本分類
4.1 問題描述與框架
4.1.1 形式化描述
4.1.2 多域?qū)W習(xí)框架
4.2 分割策略
4.2.1 自然域文檔分割策略
4.2.2 特定屬性域文檔分割策略
4.3 組合策略
4.3.1 均權(quán)組合策略
4.3.2 支持向量模型權(quán)組合策略
4.3.3 域分類器歷史性能權(quán)組合策略I.
4.3.4 域文檔信息量權(quán)組合策略
4.3.5 復(fù)合權(quán)組合策略
4.4 實(shí)驗(yàn)結(jié)果
4.4.1 TREC07P上的bogo實(shí)驗(yàn)
4.4.2 TREC07P上的tftS3F實(shí)驗(yàn)
4.4.3 CSMS-P上的bogo實(shí)驗(yàn)
4.4.4 CSMS-P上的tftS3F實(shí)驗(yàn)
本章小結(jié)
第5章 面向垃圾信息過濾的時空高效文本分類
5.1 基于Token頻率索引的文本分類算法
5.1.1 統(tǒng)計原理
5.1.2 Token頻率索引
5.1.3 算法描述
5.2 算法復(fù)雜度分析
5.2.1 時間復(fù)雜度
5.2.2 空間復(fù)雜度
5.3 基于多類別Token頻率索引的文本分類算法
5.3.1 Token頻率統(tǒng)計特性
5.3.2 多類別Token頻率索引
5.3.3 算法描述
5.4 實(shí)驗(yàn)結(jié)果
5.4.1 TREC07P上的ffibtc實(shí)驗(yàn)
5.4.2 CSMS-P上的ffibtc實(shí)驗(yàn)
5.4.3 TanCorp-12上的mtfibtc實(shí)驗(yàn)
本章小結(jié)
第6章 面向垃圾信息過濾的主動學(xué)習(xí)文本分類
6.1 問題描述與框架
6.1.1 形式化描述
6.1.2 主動多域?qū)W習(xí)框架
6.2 主動學(xué)習(xí)策略
6.2.1 時序優(yōu)先主動學(xué)習(xí)策略
6.2.2 先驗(yàn)區(qū)間主動學(xué)習(xí)策略
6.2.3 基于方差的非確定采樣主動學(xué)習(xí)策略
6.3 實(shí)驗(yàn)結(jié)果
6.3.1 TREC07P上的10000反饋tfibtc.cs5實(shí)驗(yàn)
6.3.2 TREC07P上的1000反饋ffibtc.cs5實(shí)驗(yàn)
6.3.3 CSMS-P上的10000反饋tfibtc.cs5實(shí)驗(yàn)
6.3.4 CSMS-P上的1000反饋tfibtc.cs5實(shí)驗(yàn)
本章小結(jié)
第7章 面向大數(shù)據(jù)的高效能垃圾文本過濾系統(tǒng)
7.1 研究結(jié)論
7.1.1 多域?qū)W習(xí)框架的有效性
7.1.2 NFD和ASFD分割策略的有效性
7.1.3 復(fù)合權(quán)組合策略的最優(yōu)性
7.1.4 基于TFI的文本分類算法的時空高效性
7.1.5 基于方差的非確定采樣主動學(xué)習(xí)策略的有效性
7.2 高效能垃圾文本過濾系統(tǒng)設(shè)計
7.2.1 多Cluster垃圾文本過濾系統(tǒng)
7.2.2 多語種大數(shù)據(jù)深度輿情系統(tǒng)
7.2.3 個性化垃圾郵件過濾系統(tǒng)
本章小結(jié)
參考文獻(xiàn)