決策用強化與系統(tǒng)性機器學習

譯者序
原書前言
原書致謝
關于作者
第1章強化與系統(tǒng)性機器學習1
1.1簡介1
1.2監(jiān)督學習、無監(jiān)督學習、半監(jiān)督學習和強化學習1
1.3傳統(tǒng)機器學習方法和機器學習發(fā)展歷史3
1.4什么是機器學習？6
1.5機器學習問題6
1.5.1學習的目標6
1.6學習模式7
1.7機器學習技術和范例9
1.8什么是強化學習？11
1.9強化函數(shù)和環(huán)境函數(shù)12
1.10強化學習的需求13
1.11強化學習和機器智能14
1.12什么是系統(tǒng)學習？14
1.13什么是系統(tǒng)性機器學習？15
1.14系統(tǒng)性機器學習的重點15
1.15強化性機器學習和系統(tǒng)性機器學習16
1.16車輛檢測問題的案例研究16
1.17小結16
參考文獻17
第2章全系統(tǒng)原理、系統(tǒng)性和多視角的機器學習18
2.1簡介18
2.1.1什么是系統(tǒng)性學習？19
2.1.2歷史20
2.2什么是系統(tǒng)性機器學習？21
2.2.1基于事件的學習21
2.3廣義系統(tǒng)性機器學習框架23
2.3.1系統(tǒng)定義24
2.4多視角決策和多視角學習26
2.4.1基于完整信息的表示32
2.4.2基于部分信息的表示32
2.4.3單視角決策方案圖32
2.4.4雙重視角決策方案圖32
2.4.5多視角決策方案圖32
2.4.6定性信念網(wǎng)絡和影響圖33
2.5動態(tài)和交互式?jīng)Q策33
2.5.1交互決策圖33
2.5.2決策圖和影響圖中時間的角色34
2.5.3系統(tǒng)性視角的建立34
2.5.4信息整合35
2.5.5建立典型決策方案圖35
2.5.6受限信息35
2.5.7多決策者系統(tǒng)在系統(tǒng)性學習中的角色35
2.6系統(tǒng)性學習框架39
2.6.1數(shù)學模型39
2.6.2系統(tǒng)性學習的方法39
2.6.3自適應系統(tǒng)性學習40
2.6.4系統(tǒng)性學習框架41
2.7系統(tǒng)分析41
2.8案例學習：在酒店行業(yè)中需要系統(tǒng)性學習43
2.9小結44
參考文獻44
第3章強化學習45
3.1簡介45
3.2學習決策者48
3.3回報和獎勵的計算50
3.3.1方案和連續(xù)任務50
3.4強化學習和自適應控制51
3.5動態(tài)系統(tǒng)54
3.5.1離散事件動態(tài)系統(tǒng)54
3.6強化學習和控制55
3.7馬爾科夫性質(zhì)和決策過程55
3.8價值函數(shù)56
3.8.1行動和價值56
3.9學習最優(yōu)策略（有模型和無模型法）57
3.10動態(tài)規(guī)劃57
3.10.1動態(tài)系統(tǒng)性質(zhì)57
3.11自適應動態(tài)規(guī)則58
3.11.1時間差分學習59
3.11.2Q學習60
3.11.3統(tǒng)一的視圖60
3.12范例——拳擊訓練器的強化學習61
3.13小結61
參考文獻61
第4章系統(tǒng)性機器學習和模型62
4.1簡介62
4.2系統(tǒng)學習的框架63
4.2.1影響空間64
4.2.2交互作用為中心的模型69
4.2.3以結果為中心的模型69
4.3捕捉系統(tǒng)視圖70
4.4系統(tǒng)交互的數(shù)學表達73
4.5影響函數(shù)74
4.6決策影響分析74
4.6.1時空界限75
4.7小結80
第5章推理和信息集成82
5.1簡介82
5.2推理機制和需要83
5.2.1情景推理85
5.2.2推理確定影響85
5.3情景和推理的集成88
5.4統(tǒng)計推理和歸納91
5.4.1直接推理91
5.4.2間接推理91
5.4.3信息推理91
5.4.4歸納92
5.5純似然方法92
5.6貝葉斯范例推理93
5.6.1貝葉斯定理93
5.7基于時域推理93
5.8推理建立系統(tǒng)觀點94
5.8.1信息集成94
5.9小結96
參考文獻97
第6章自適應學習98
6.1簡介98
6.2自適應學習和自適應系統(tǒng)98
6.3什么是自適應機器學習101
6.4基于方案的適應性和學習方法101
6.4.1動態(tài)適應性和情景感知的學習102
6.5系統(tǒng)學習和自適應學習104
6.5.1多學習器的使用105
6.5.2系統(tǒng)自適應機器學習108
6.5.3自適應應用的設計110
6.5.4自適應學習的需要和適應的原因111
6.5.5適應類型112
6.5.6自適應框架114
6.6競爭學習和自適應學習115
6.6.1適應性函數(shù)116
6.6.2決策網(wǎng)絡118
6.6.3自適應學習方案119
6.7范例120
6.7.1案例研究：基于自適應學習的文本120
6.7.2自適應學習的文檔挖掘121
6.8小結122
參考文獻122
第7章多視角和全局系統(tǒng)性的學習123
7.1簡介123
7.2多視角方案構建124
7.3多視角決策和多視角學習126
7.3.1視角結合126
7.3.2影響圖和部分方案決策表示圖127
7.3.3表示決策方案圖（RDSD）130
7.3.4范例：部分方案決策表示圖（PDSRD）表示的不同視角獲取的城市信息131
7.4全局系統(tǒng)性學習和多視角途徑134
7.4.1分散信息整合135
7.4.2多視角和全局系統(tǒng)知識表示135
7.4.3什么是多視角方案？135
7.4.4特定方案136
7.5基于多視角途徑的案例研究136
7.5.1交通控制器用多視角途徑137
7.5.2情感檢測用多視角途徑模型138
7.6多視角方法的局限性143
7.7小結143
參考文獻144
第8章增量學習和知識表示145
8.1簡介145
8.2為什么增量學習？146
8.3學習已經(jīng)學會的147
8.3.1絕對增量學習148
8.3.2選擇增量學習149
8.4監(jiān)督增量學習157
8.5增量無監(jiān)督學習和增量聚類158
8.5.1增量聚類：任務160
8.5.2增量聚類：方法161
8.5.3閾值161
8.6半監(jiān)督增量學習162
8.7增量與系統(tǒng)性學習163
8.8增量接近值和學習方法164
8.8.1增量學習方法1165
8.8.2增量學習方法2166
8.8.3計算C值增量166
8.9學習與決策模型169
8.10增量分類技術169
8.11案例分析：增量文檔分類170
8.12小結171
第9章知識增長：機器學習的視角173
9.1簡介173
9.2短暫的歷史和相關工作174
9.3知識增長和知識啟發(fā)178
9.3.1策略使用進行知識啟發(fā)178
9.3.2基于目標的知識啟發(fā)179
9.3.3基于過程的知識啟發(fā)179
9.4生命周期180
9.4.1知識水平181
9.4.2直接知識181
9.4.3間接知識182
9.4.4程序知識182
9.4.5問題182
9.4.6決策182
9.4.7知識生命周期183
9.5增量知識表達184
9.6案例學習和遺忘學習186
9.7知識的擴充：技術和方法187
9.7.1知識增量技術187
9.7.2知識增量方法188
9.7.3提取知識的機制189
9.8啟發(fā)式學習190
9.9系統(tǒng)性機器學習和知識獲取190
9.9.1全方位知識獲取191
9.9.2系統(tǒng)知識管理和先進的機器學習192
9.10在復雜環(huán)境下的知識增量193
9.11案例研究193
9.11.1銀行案例研究193
9.11.2軟件開發(fā)公司194
9.11.3雜貨集市/零售集市195
9.12小結195
參考文獻196
第10章構建學習系統(tǒng)197
10.1簡介197
10.2系統(tǒng)性學習系統(tǒng)197
10.2.1學習單元199
10.2.2知識庫200
10.2.3性能單元200
10.2.4反饋單元200
10.2.5允許測量的系統(tǒng)200
10.3算法選擇201
10.3.1k近鄰（kNN）201
10.3.2支持向量機（SVM）202
10.3.3質(zhì)心法202
10.4知識表示203
10.4.1實用方案和案例研究203
10.5學習系統(tǒng)的設計204
10.6讓系統(tǒng)表現(xiàn)得更智能204
10.7案例學習205
10.8整體知識框架和強化學習的應用205
10.8.1智能算法的選擇207
10.9智能決策——部署和知識采集以及重用208
10.10基于案例的學習：人體情感檢測系統(tǒng)209
10.11復雜決策問題的整體視角211
10.12知識表示和資源查找213
10.13組件215
10.13.1范例215
10.14學習系統(tǒng)和智能系統(tǒng)的未來216
10.15小結217
附錄218
附錄A統(tǒng)計學習方法218
A.1概率218
A.1.1互斥事件218
A.1.2獨立事件218
A.2貝葉斯分類219
A.2.1樸素貝葉斯分類220
A.2.2貝葉斯分類器的優(yōu)點和缺點221
A.3回歸221
A.3.1線性222
A.3.2非線性222
A.3.3回歸的其他方法222
A.4粗糙集223
A.4.1不可分辨關系223
A.4.2集近似224
A.4.3邊界區(qū)域224
A.4.4粗糙集和清晰集224
A.4.5約簡224
A.4.6可有可無和不可缺少的屬性224
A.5支持向量機224
參考文獻225
附錄B馬爾科夫過程225
B.1馬爾科夫過程225
B.1.1案例226
B.1.2解決步驟226
B.1.3長期227
B.1.4馬爾科夫過程示例228
B.2半馬爾科夫過程231
B.2.1建議231
B.2.2驗證232
B.2.3推論232