集成學(xué)習(xí)：基礎(chǔ)與算法

第1章 緒 論 1
1.1 基本概念 1
1.2 常用學(xué)習(xí)算法 3
1.2.1 線(xiàn)性判別分析 3
1.2.2 決策樹(shù) 4
1.2.3 神經(jīng)網(wǎng)絡(luò) 6
1.2.4 樸素貝葉斯 8
1.2.5 k-近鄰 9
1.2.6 支持向量機(jī)和核方法 9
1.3 評(píng)估和對(duì)比 12
1.4 集成學(xué)習(xí)方法 14
1.5 集成學(xué)習(xí)方法的應(yīng)用 16
1.6 拓展閱讀 19

第2章 Boosting 21
2.1 Boosting 過(guò)程 21
2.2 AdaBoost 算法 22
2.3 說(shuō)明性舉例 26
2.4 理論探討 29
2.4.1 基本分析 29
2.4.2 間隔解釋 30
2.4.3 統(tǒng)計(jì)視角 32
2.5 多分類(lèi)問(wèn)題 35
2.6 容噪能力 37
2.7 拓展閱讀 40

第3章 Bagging 43
3.1 兩種集成范式 43
3.2 Bagging 算法 44
3.3 說(shuō)明性舉例 45
3.4 理論探討 48
3.5 隨機(jī)樹(shù)集成 52
3.5.1 隨機(jī)森林 52
3.5.2 隨機(jī)化譜 55
3.5.3 隨機(jī)森林用于密度估計(jì) 56
3.5.4 隨機(jī)森林用于異常檢測(cè) 58
3.6 拓展閱讀 60

第4章 結(jié)合方法 61
4.1 結(jié)合帶來(lái)的益處 61
4.2 均值法 62
4.2.1 簡(jiǎn)單平均法 62
4.2.2 加權(quán)平均法 63
4.3 投票法 65
4.3.1 絕對(duì)多數(shù)投票法 65
4.3.2 相對(duì)多數(shù)投票法 66
4.3.3 加權(quán)投票法 67
4.3.4 軟投票法 68
4.3.5 理論探討 70
4.4 學(xué)習(xí)結(jié)合法 76
4.4.1 Stacking 76
4.4.2 無(wú)限集成 78
4.5 其他結(jié)合方法 79
4.5.1 代數(shù)法 80
4.5.2 行為知識(shí)空間法 81
4.5.3 決策模板法 81
4.6 相關(guān)方法 82
4.6.1 糾錯(cuò)輸出編碼法 82
4.6.2 動(dòng)態(tài)分類(lèi)器選擇法 85
4.6.3 混合專(zhuān)家模型 86
4.7 拓展閱讀 87

第5章 多樣性 91
5.1 集成多樣性 91
5.2 誤差分解 92
5.2.1 誤差-分歧分解 92
5.2.2 偏差-方差-協(xié)方差分解 94
5.3 多樣性度量 96
5.3.1 成對(duì)度量 96
5.3.2 非成對(duì)度量 97
5.3.3 小結(jié)和可視化 100
5.3.4 多樣性度量的局限 101
5.4 信息論多樣性 102
5.4.1 信息論和集成 102
5.4.2 交互信息多樣性 103
5.4.3 多信息多樣性 104
5.4.4 估計(jì)方法 105
5.5 多樣性增強(qiáng) 106
5.6 拓展閱讀 108

第6章 集成修剪 109
6.1 何謂集成修剪 109
6.2 多比全好 110
6.3 修剪方法分類(lèi) 113
6.4 基于排序的修剪 114
6.5 基于聚類(lèi)的修剪 117
6.6 基于優(yōu)化的修剪 117
6.6.1 啟發(fā)式優(yōu)化修剪 118
6.6.2 數(shù)學(xué)規(guī)劃修剪 118
6.6.3 概率修剪 121
6.7 拓展閱讀 122

第7章 聚類(lèi)集成 125
7.1 聚類(lèi) 125
7.1.1 聚類(lèi)方法 125
7.1.2 聚類(lèi)評(píng)估 127
7.1.3 為什么要做聚類(lèi)集成 129
7.2 聚類(lèi)集成方法分類(lèi) 130
7.3 基于相似度的方法 132
7.4 基于圖的方法 133
7.5 基于重標(biāo)記的方法 136
7.6 基于變換的方法 140
7.7 拓展閱讀 143

第8章 進(jìn)階議題 145
8.1 半監(jiān)督學(xué)習(xí) 145
8.1.1 未標(biāo)記數(shù)據(jù)的效用 145
8.1.2 半監(jiān)督學(xué)習(xí)的集成學(xué)習(xí)方法 146
8.2 主動(dòng)學(xué)習(xí) 151
8.2.1 人為介入的效用 151
8.2.2 基于集成的主動(dòng)學(xué)習(xí) 152
8.3 代價(jià)敏感學(xué)習(xí) 153
8.3.1 不均等代價(jià)下的學(xué)習(xí) 153
8.3.2 代價(jià)敏感學(xué)習(xí)的集成方法 154
8.4 類(lèi)別不平衡學(xué)習(xí) 158
8.4.1 類(lèi)別不平衡 158
8.4.2 類(lèi)別不平衡學(xué)習(xí)的性能評(píng)估 160
8.4.3 類(lèi)別不平衡學(xué)習(xí)的集成方法 163
8.5 提升可解釋性 166
8.5.1 集成約簡(jiǎn) 166
8.5.2 規(guī)則抽取 167
8.5.3 可視化 168
8.6 未來(lái)的研究方向 169
8.7 拓展閱讀 171
參考文獻(xiàn) 173
索引 203