統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)

譯序
第二版前言
第一版前言
0 引論：學(xué)習(xí)問(wèn)題研究的四個(gè)階段
0. 1 Rosenblatt的感知器 60年代
0. 1. 1 感知器模型
0. 1. 2 對(duì)學(xué)習(xí)過(guò)程分析的開(kāi)始
0. 1. 3 對(duì)學(xué)習(xí)過(guò)程的應(yīng)用分析與理論分析
0. 2 學(xué)習(xí)理論基礎(chǔ)的創(chuàng)立 60-70年代
0. 2. 1 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的理論
0. 2. 2 解決不適定問(wèn)題的理論
0. 2. 3 密度估計(jì)的非參數(shù)方法
0. 2. 4 算法復(fù)雜度的思想
0. 3 神經(jīng)網(wǎng)絡(luò) 80年代
0. 3. 1 神經(jīng)網(wǎng)絡(luò)的思想
0. 3. 2 理論分析目標(biāo)的簡(jiǎn)化
0. 4 回到起點(diǎn) 90年代
第一章 學(xué)習(xí)問(wèn)題的表示
1. 1 函數(shù)估計(jì)模型
1. 2 風(fēng)險(xiǎn)最小化問(wèn)題
1. 3 三種主要的學(xué)習(xí)問(wèn)題
1. 3. 1 模式識(shí)別
1. 3. 2 回歸估計(jì)
1. 3. 3 密度估計(jì) Fisher-Wald表示
1. 4 學(xué)習(xí)問(wèn)題的一般表示
1. 5 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化歸納原則
1. 6 學(xué)習(xí)理論的四個(gè)部分非正式推導(dǎo)和評(píng)述--1
1. 7 解決學(xué)習(xí)問(wèn)題的傳統(tǒng)模式
1. 7. 1 密度估計(jì)問(wèn)題 最大似然方法
1. 7. 2 模式識(shí)別 判別分析 問(wèn)題
1. 7. 3 回歸估計(jì)模型
1. 7. 4 最大似然法的局限
1. 8 密度估計(jì)的非參數(shù)方法
1. 8. 1 Parzen窗
1. 8. 2 密度估計(jì)的問(wèn)題是不適定的
1. 9 用有限數(shù)量信息解決問(wèn)題的基本原則
1. 10 基于經(jīng)驗(yàn)數(shù)據(jù)的風(fēng)險(xiǎn)最小化模型
1. 10. 1 模式識(shí)別
1. 10. 2 回歸估計(jì)
1. 10. 3 密度估計(jì)
1. 11 隨機(jī)逼近推理
第二章 學(xué)習(xí)過(guò)程的一致性
2. 1 傳統(tǒng)的一致性定義和非平凡一致性概念
2. 2 學(xué)習(xí)理論的關(guān)鍵定理
2. 3 一致雙邊收斂的充分必要條件
2. 3. 1 關(guān)于大數(shù)定律及其推廣
2. 3. 2 指示函數(shù)集的熵
2. 3. 3 實(shí)函數(shù)集的熵
2. 3. 4 一致雙邊收斂的條件
2. 4 一致單邊收斂的充分必要條件
2. 5 不可證偽性理論
2. 6 關(guān)于不可證偽性的定理
2. 6. 1 完全 Popper 不可證偽的情況
2. 6. 2 關(guān)于部分不可證偽的定理
2. 6. 3 關(guān)于潛在不可證偽的定理
2. 7 學(xué)習(xí)理論的三個(gè)里程碑非正式推導(dǎo)和評(píng)述--2
2. 8 概率論和統(tǒng)計(jì)學(xué)的基本問(wèn)題
2. 9 估計(jì)概率測(cè)度的兩種方式
2. 10 概率測(cè)度的強(qiáng)方式估計(jì)與密度估計(jì)問(wèn)題
2. 11 Glivenko-Cantelli定理及其推廣
2. 12 歸納的數(shù)學(xué)理論
第三章 學(xué)習(xí)過(guò)程收斂速度的界
3. 1 基本不等式
3. 2 對(duì)實(shí)函數(shù)集的推廣
3. 3 主要的與分布無(wú)關(guān)的界
3. 4 學(xué)習(xí)機(jī)器推廣能力的界
3. 5 生長(zhǎng)函數(shù)的結(jié)構(gòu)
3. 6 函數(shù)集的VC維
3. 7 構(gòu)造性的與分布無(wú)關(guān)的界
3. 8 構(gòu)造嚴(yán)格的 依賴(lài)于分布的 界的問(wèn)題非正式推導(dǎo)和評(píng)述--3
3. 9 Kolmogorov-Smirnov分布
3. 10 在常數(shù)上的競(jìng)賽
3. 11 經(jīng)驗(yàn)過(guò)程的界
第四章 控制學(xué)習(xí)過(guò)程的推廣能力
4. 1 結(jié)構(gòu)風(fēng)險(xiǎn)最小化歸納原則
4. 2 收斂速度的漸近分析
4. 3 學(xué)習(xí)理論中的函數(shù)逼近問(wèn)題
4. 4 神經(jīng)網(wǎng)絡(luò)的子集結(jié)構(gòu)舉例
4. 5 局部函數(shù)估計(jì)的問(wèn)題
4. 6 最小描述長(zhǎng)度與SRM原則
4. 6. 1 MDL原則
4. 6. 2 對(duì)于MDL原則的界
4. 6. 3 SRM和MDL原則
4. 6. 4 MDL原則的一個(gè)弱點(diǎn)非正式推導(dǎo)和評(píng)述--4
4. 7 解決不適定問(wèn)題的方法
4. 8 隨機(jī)不適定問(wèn)題和密度估計(jì)問(wèn)題
4. 9 回歸的多項(xiàng)式逼近問(wèn)題
4. 10 容量控制的問(wèn)題
4. 10. 1 選擇多項(xiàng)式的階數(shù)
4. 10. 2 選擇最優(yōu)的稀疏代數(shù)多項(xiàng)式
4. 10. 3 三角多項(xiàng)式集合上的結(jié)構(gòu)
4. 10. 4 特征選擇的問(wèn)題
4. 11 容量控制的問(wèn)題與貝葉斯推理
4. 11. 1 學(xué)習(xí)理論中的貝葉斯方法
4. 11. 2 貝葉斯方法與容量控制方法的討論
第五章 模式識(shí)別的方法
5. 1 為什么學(xué)習(xí)機(jī)器能夠推廣
5. 2 指示函數(shù)的sigmoid逼近
5. 3 神經(jīng)網(wǎng)絡(luò)
5. 3. 1 后向傳播方法
5. 3. 2 后向傳播算法
5. 3. 3 用于回歸估計(jì)問(wèn)題的神經(jīng)網(wǎng)絡(luò)
5. 3. 4 關(guān)于后向傳播方法的討論
5. 4 最優(yōu)分類(lèi)超平面
5. 4. 1 最優(yōu)超平面
5. 4. 2 △-間隔分類(lèi)超平面
5. 5 構(gòu)造最優(yōu)超平面
5. 6 支持向量機(jī)
5. 6. 1 高維空間中的推廣
5. 6. 2 內(nèi)積的回旋
5. 6. 3 構(gòu)造SV機(jī)
5. 6. 4 SV機(jī)的例子
5. 7 SV機(jī)的實(shí)驗(yàn)
5. 7. 1 平面上的實(shí)驗(yàn)
5. 7. 2 手寫(xiě)數(shù)字識(shí)別
5. 7. 3 一些重要的細(xì)節(jié)
5. 8 關(guān)于SV機(jī)的討論
5. 9 SVM與Logistic回歸
5. 9. 1 Logistic回歸
5. 9. 2 SVM的風(fēng)險(xiǎn)函數(shù)
5. 9. 3 Logistic回歸的SVM逼近
5. 10 SVM的組合
5. 10. 1 AdaBoost方法
5. 10. 2 SVM的組合非正式推導(dǎo)和評(píng)述--5
5. 11 工程技巧與正式的推理
5. 12 統(tǒng)計(jì)模型的高明所在
5. 13 從數(shù)字識(shí)別實(shí)驗(yàn)中我們學(xué)到了什么
5. 13. 1 結(jié)構(gòu)類(lèi)型與容量控制精度的影響
5. 13. 2 SRM原則和特征構(gòu)造問(wèn)題
5. 13. 3 支持向量集合是否是數(shù)據(jù)的一個(gè)魯棒的特性
第六章
函數(shù)估計(jì)的方法
6. 1 不敏感損失函數(shù)
6. 2 用于回歸函數(shù)估計(jì)的SVM
6. 2. 1 采用回旋內(nèi)積的SV機(jī)
6. 2. 2 對(duì)非線性損失函數(shù)的解
6. 2. 3 線性?xún)?yōu)化方法
6. 3 構(gòu)造估計(jì)實(shí)值函數(shù)的核
6. 3. 1 生成正交多項(xiàng)式展開(kāi)的核
6. 3. 2 構(gòu)造多維核
6. 4 生成樣條的核
6. 4. 1 d階有限結(jié)點(diǎn)的樣條
6. 4. 2 生成有無(wú)窮多結(jié)點(diǎn)的樣條的核
6. 5 生成傅里葉展開(kāi)的核
6. 6 用于函數(shù)逼近和回歸估計(jì)的支持向量ANOVA分解 SVAD
6. 7 求解線性算子方程的SVM
6. 8 用SVM進(jìn)行函數(shù)逼近
6. 9 用于回歸估計(jì)的SVM
6. 9. 1 數(shù)據(jù)平滑的問(wèn)題
6. 9. 2 線性回歸函數(shù)估計(jì)
6. 9. 3 非線性回歸函數(shù)估計(jì)非正式推導(dǎo)和評(píng)述--6
6. 10 回歸估計(jì)問(wèn)題中的損失函數(shù)
6. 11 魯棒估計(jì)的損失函數(shù)
6. 12 支持向量回歸機(jī)器
第七章 統(tǒng)計(jì)學(xué)習(xí)理論中的直接方法
7. 1 密度. 條件概率和條件密度的估計(jì)問(wèn)題
7. 1. 1 密度估計(jì)的問(wèn)題：直接表示
7. 1. 2 條件概率估計(jì)問(wèn)題
7. 1. 3 條件密度估計(jì)問(wèn)題
7. 2 求解近似確定的積分方程的問(wèn)題
7. 3 Glivenko-Cantelli定理
7. 4 不適定問(wèn)題
7. 5 解決不適定問(wèn)題的三種方法
7. 6 不適定問(wèn)題理論的主要論斷
7. 6. 1 確定性不適定問(wèn)題
7. 6. 2 隨機(jī)不適定問(wèn)題
7. 7 密度估計(jì)的非參數(shù)方法
7. 7. 1 密度估計(jì)問(wèn)題解的一致性
7. 7. 2 Parzen估計(jì)
7. 8 密度估計(jì)問(wèn)題的SVM解
7. 8. 1 SVM密度估計(jì)方法：總結(jié)
7. 8. 2 Parzen和SVM方法的比較
7. 9 條件概率估計(jì)
7. 9. 1 近似定義的算子
7. 9. 2 條件概率估計(jì)的SVM方法
7. 9. 3 SVM條件概率估計(jì)：總結(jié)
7. 10 條件密度和回歸的估計(jì)
7. 11 評(píng)注
7. 11. 1 評(píng)注1. 我們可以利用未知密度的一個(gè)好估計(jì)
7. 11. 2 評(píng)注2. 我們可以利用有標(biāo)號(hào)的 訓(xùn)練 數(shù)據(jù), 也可以利用無(wú)標(biāo)號(hào)的 測(cè)試 數(shù)據(jù)
7. 11. 3 評(píng)注3. 得到不適定問(wèn)題的稀疏解的方法非正式推導(dǎo)和評(píng)述--7
7. 12 科學(xué)理論的三個(gè)要素
7. 12. 1 密度估計(jì)的問(wèn)題
7. 12. 2 不適定問(wèn)題的理論
7. 13 隨機(jī)不適定問(wèn)題
第八章 鄰域風(fēng)險(xiǎn)最小化原則與SVM
8. 1 鄰域風(fēng)險(xiǎn)最小化原則
8. 1. 1 硬鄰域函數(shù)
8. 1. 2 軟鄰域函數(shù)
8. 2 用于模式識(shí)別問(wèn)題的VRM方法
8. 3 鄰域核的例子
8. 3. 1 硬鄰域函數(shù)
8. 3. 2 軟鄰域函數(shù)
8. 4 非對(duì)稱(chēng)鄰域
8. 5 對(duì)于估計(jì)實(shí)值函數(shù)的推廣
8. 6 密度和條件密度估計(jì)
8. 6. 1 估計(jì)密度函數(shù)
8. 6. 2 估計(jì)條件概率函數(shù)
8. 6. 3 估計(jì)條件密度函數(shù)
8. 6. 4 估計(jì)回歸函數(shù)非正式推導(dǎo)和評(píng)述--8
第九章 結(jié)論：什么是學(xué)習(xí)理論中重要的
9. 1 在問(wèn)題的表示中什么是重要的
9. 2 在學(xué)習(xí)過(guò)程一致性理論中什么是重要的
9. 3 在界的理論中什么是重要的
9. 4 在控制學(xué)習(xí)機(jī)器推廣能力的理論中什么是重要的
9. 5 在構(gòu)造學(xué)習(xí)算法的理論中什么是重要的
9. 6 什么是最重要的
參考文獻(xiàn)及評(píng)述
對(duì)參考文獻(xiàn)的評(píng)述
參考文獻(xiàn)
索引