統(tǒng)計學習理論基礎(chǔ)

譯者序
前言
第1章引言：分類、學習、
特征及應用
1.1范圍
1.2為什么需要機器學習？
1.3一些應用
1.3.1圖像識別
1.3.2語音識別
1.3.3醫(yī)學診斷
1.3.4統(tǒng)計套利
1.4測量、特征和特征向量
1.5概率的需要
1.6監(jiān)督學習
1.7小結(jié)
1.8附錄：歸納法
1.9問題
1.10參考文獻
第2章概率
2.1一些基本事件的概率
2.2復合事件的概率
2.3條件概率
2.4不放回抽取
2.5一個經(jīng)典的生日問題
2.6隨機變量
2.7期望值
2.8方差
2.9小結(jié)
2.10附錄：概率詮釋
2.11問題
2.12參考文獻
第3章概率密度
3.1一個二維實例
3.2在\\[0,1\\]區(qū)間的隨機數(shù)
3.3密度函數(shù)
3.4高維空間中的概率密度
3.5聯(lián)合密度和條件密度
3.6期望和方差
3.7大數(shù)定律
3.8小結(jié)
3.9附錄:可測性
3.10問題
3.11參考文獻
第4章模式識別問題
4.1一個簡單例子
4.2決策規(guī)則
4.3成功基準
4.4最佳分類器：貝葉斯決策
規(guī)則
4.5連續(xù)特征和密度
4.6小結(jié)
4.7附錄：不可數(shù)概念
4.8問題
4.9參考文獻
第5章最優(yōu)貝葉斯決策規(guī)則
5.1貝葉斯定理
5.2貝葉斯決策規(guī)則
5.3最優(yōu)及其評論
5.4一個例子
5.5基于密度函數(shù)的貝葉斯定理
及決策規(guī)則
5.6小結(jié)
5.7附錄：條件概率的定義
5.8問題
5.9參考文獻
第6章從實例中學習
6.1概率分布知識的欠缺
6.2訓練數(shù)據(jù)
6.3對訓練數(shù)據(jù)的假設(shè)
6.4蠻力學習方法
6.5維數(shù)災難、歸納偏置以及
無免費午餐原理
6.6小結(jié)
6.7附錄:學習的類型
6.8問題
6.9參考文獻
第7章最近鄰規(guī)則
7.1最近鄰規(guī)則
7.2最近鄰規(guī)則的性能
7.3直覺判斷與性能證明框架
7.4使用更多鄰域
7.5小結(jié)
7.6附錄:當人們使用最近鄰域
進行推理時的一些問題
7.6.1誰是單身漢?
7.6.2法律推理
7.6.3道德推理
7.7問題
7.8參考文獻
第8章核規(guī)則
8.1動機
8.2最近鄰規(guī)則的變體
8.3核規(guī)則
8.4核規(guī)則的通用一致性
8.5勢函數(shù)
8.6更多的通用核
8.7小結(jié)
8.8附錄：核、相似性和特征
8.9問題
8.10參考文獻
第9章神經(jīng)網(wǎng)絡(luò):感知器
9.1多層前饋網(wǎng)絡(luò)
9.2神經(jīng)網(wǎng)絡(luò)用于學習和分類
9.3感知器
9.3.1閾值
9.4感知器學習規(guī)則
9.5感知器的表達能力
9.6小結(jié)
9.7附錄：思想模型
9.8問題
9.9參考文獻
第10章多層神經(jīng)網(wǎng)絡(luò)
10.1多層網(wǎng)絡(luò)的表征能力
10.2學習及S形輸出
10.3訓練誤差和權(quán)值空間
10.4基于梯度下降的誤差最小化
10.5反向傳播
10.6反向傳播方程的推導
10.6.1單神經(jīng)元情況下的推導
10.6.2多層網(wǎng)絡(luò)情況下的推導
10.7小結(jié)
10.8附錄:梯度下降與反射平衡
推理
10.9問題
10.10參考文獻
第11章可能近似正確（PAC）
學習
11.1決策規(guī)則分類
11.2來自一個類中的最優(yōu)規(guī)則
11.3可能近似正確準則
11.4PAC學習
11.5小結(jié)
11.6附錄：識別不可辨元
11.7問題
11.8參考文獻
第12章VC維
12.1近似誤差和估計誤差
12.2打散
12.3VC維
12.4學習結(jié)果
12.5舉例
12.6神經(jīng)網(wǎng)絡(luò)應用
12.7小結(jié)
12.8附錄:VC維與波普爾
（Popper）維度
12.9問題
12.10參考文獻
第13章無限VC維
13.1類層次及修正的PAC準則
13.2失配與復雜性間的平衡
13.3學習結(jié)果
13.4歸納偏置與簡單性
13.5小結(jié)
13.6附錄：均勻收斂與泛
致性
13.7問題
13.8參考文獻
第14章函數(shù)估計問題
14.1估計
14.2成功準則
14.3最優(yōu)估計：回歸函數(shù)
14.4函數(shù)估計中的學習
14.5小結(jié)
14.6附錄：均值回歸
14.7問題
14.8參考文獻
第15章學習函數(shù)估計
15.1函數(shù)估計與回歸問題回顧
15.2最近鄰規(guī)則
15.3核方法
15.4神經(jīng)網(wǎng)絡(luò)學習
15.5基于確定函數(shù)類的估計
15.6打散、偽維數(shù)與學習
15.7結(jié)論
15.8附錄：估計中的準確度、
精度、偏差及方差
15.9問題
15.10參考文獻
第16章簡明性
16.1科學中的簡明性
16.1.1對簡明性的明確倡導
16.1.2這個世界簡單嗎?
16.1.3對簡明性的錯誤訴求
16.1.4對簡明性的隱性訴求
16.2排序假設(shè)
16.2.1兩種簡明性排序法
16.3兩個實例
16.3.1曲線擬合
16.3.2枚舉歸納
16.4簡明性即表征簡明性
16.4.1要確定表征系統(tǒng)嗎?
16.4.2參數(shù)越少越簡單嗎?
16.5簡明性的實用理論
16.6簡明性和全局不確定性
16.7小結(jié)
16.8附錄:基礎(chǔ)科學和統(tǒng)計學習
理論
16.9問題
16.10參考文獻
第17章支持向量機
17.1特征向量的映射
17.2間隔最大化
17.3優(yōu)化與支持向量
17.4實現(xiàn)及其與核方法的關(guān)聯(lián)
17.5優(yōu)化問題的細節(jié)
17.5.1改寫分離條件
17.5.2間隔方程
17.5.3用于不可分實例的松弛
變量
17.5.4優(yōu)化問題的重構(gòu)和求解
17.6小結(jié)
17.7附錄:計算
17.8問題
17.9參考文獻
第18章集成學習
18.1弱學習規(guī)則
18.2分類器組合
18.3訓練樣本的分布
18.4自適應集成學習算法
（AdaBoost）
18.5訓練數(shù)據(jù)的性能
18.6泛化性能
18.7小結(jié)
18.8附錄：集成方法
18.9問題
18.10參考文獻