強化學習

目錄
前言 .1
第1 章 強化學習概述 .13
1.1 為什么現(xiàn)在就需要強化學習？ . 14
1.2 機器學習 15
1.3 強化學習 17
1.3.1 什么時候使用強化學習 19
1.3.2 強化學習的應用場景 20
1.4 強化學習的種類 22
1.4.1 免模型學習或有模型學習 . 22
1.4.2 智能體如何使用并更新它們的策略 23
1.4.3 離散或連續(xù)的行為 . 25
1.4.4 優(yōu)化方法. 25
1.4.5 策略評估和改進 . 26
1.5 強化學習的基本概念 . 27
1.5.1 歷史上第一個強化學習算法 . 28
1.5.2 強化學習和機器學習是一種東西嗎？ . 31
1.5.3 獎勵和反饋 32
1.6 強化學習的發(fā)展簡史 . 35
1.7 本章總結(jié) 37
1.8 擴展閱讀 38
1.9 參考文獻 38
第2 章 馬爾可夫決策過程，動態(tài)規(guī)劃，蒙特卡洛方法 44
2.1 多臂老虎機測試 44
2.1.1 獎勵工程. 45
2.1.2 策略評估：價值函數(shù) 45
2.1.3 策略改進：選擇最佳動作 48
2.1.4 模擬環(huán)境. 50
2.1.5 運行實驗. 50
2.1.6 ε - 貪婪算法的改進. 52
2.2 馬爾可夫決策過程 . 54
2.2.1 庫存控制. 56
2.2.2 庫存控制仿真 . 60
2.3 策略與價值函數(shù) 62
2.3.1 打折的獎勵 62
2.3.2 用狀態(tài)?C 價值函數(shù)預測獎勵 64
2.3.3 用動作值函數(shù)預測獎勵 . 67
2.3.4 最優(yōu)策略. 69
2.4 蒙特卡洛策略生成 70
2.5 動態(tài)規(guī)劃的值迭代 72
2.5.1 值迭代的過程 74
2.5.2 數(shù)值迭代結(jié)果 76
2.6 總結(jié) 78
2.7 擴展閱讀 79
2.8 參考文獻 79
第3 章 時序差分學習，Q 學習和n 步算法 80
3.1 時序差分學習的相關(guān)公式 81
3.1.1 Q 學習 . 83
3.1.2 SARSA 85
3.1.3 Q 學習與SARSA 方法的對比 . 87
3.1.4 案例解析：自動擴展應用程序容器以降低成本 . 90
3.2 行業(yè)實例：廣告中的實時競價 . 92
3.2.1 MDP 的定義 . 92
3.2.2 實時競價案例的環(huán)境 93
3.2.3 進一步改進 94
3.3 Q 學習的相關(guān)擴展 96
3.3.1 雙重Q 學習 96
3.3.2 延遲Q 學習 97
3.3.3 各類版本的Q 學習之間的對比 98
3.3.4 對抗學習. 98
3.4 n 步算法 99
3.5 有效跟蹤 104
3.6 有效跟蹤算法的擴展 107
3.6.1 沃特金斯的Q(λ) 107
3.6.2 沃特金斯Q(λ) 的模糊擦除 . 108
3.6.3 快速Q(mào) 學習 108
3.6.4 積累式有效跟蹤與取代式有效跟蹤 108
3.7 總結(jié) . 109
3.8 擴展閱讀 110
3.9 參考文獻 110
第4 章 深度Q 網(wǎng)絡(luò) . 112
4.1 深度學習的體系結(jié)構(gòu) 113
4.1.1 基礎(chǔ)知識 113
4.1.2 深度學習架構(gòu) 114
4.1.3 深度學習庫 . 115
4.1.4 深度強化學習 117
4.2 深度Q 學習 . 117
4.2.1 經(jīng)驗重放 118
4.2.2 克隆Q 網(wǎng)絡(luò) 118
4.2.3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 119
4.2.4 DQN 的實現(xiàn) 119
4.2.5 實際案例：倒立擺環(huán)境中的DQN 120
4.2.6 案例研究：減少建筑物的能源使用 125
4.3 彩虹DQN 126
4.3.1 分配強化學習 126
4.3.2 優(yōu)先經(jīng)驗重放 129
4.3.3 噪聲網(wǎng)絡(luò) 129
4.3.4 決斗網(wǎng)絡(luò) 129
4.4 實際案例：雅達利的彩虹DQN 130
4.4.1 結(jié)果 131
4.4.2 討論 132
4.5 其他DQN 改進 134
4.5.1 改進探索過程 135
4.5.2 改進獎勵過程 136
4.5.3 從離線數(shù)據(jù)中進行學習 137
4.6 總結(jié) . 139
4.7 擴展閱讀 140
4.8 參考文獻 140
第5 章 梯度策略 144
5.1 直接學習策略的優(yōu)勢 144
5.2 如何計算策略的梯度 145
5.3 策略梯度理論 . 146
5.4 策略函數(shù) 149
5.4 1 線性策略 149
5.4.2 其他策略 151
5.5 基本實現(xiàn) 152
5.5.1 蒙特卡洛算法（強化算法） 152
5.5.2 帶基線的強化算法 153
5.5.3 梯度方差的減小 157
5.5.4 n 步演員評論家和優(yōu)勢演員評論家（A2C） . 159
5.5.5 基于資格跡的演員評論家算法 . 164
5.5.6 基本策略梯度算法的比較 165
5.6 行業(yè)研究：為客戶自動提供產(chǎn)品 . 166
5.6.1 行業(yè)實例：Gym 環(huán)境中的購物車實驗 . 167
5.6.2 預設(shè)期望 168
5.6.3 購物車實驗環(huán)境的結(jié)果展示 169
5.7 總結(jié) . 173
5.8 擴展閱讀 174
5.9 參考文獻 174
第6 章 超越策略梯度 176
6.1 離線算法 177
6.1.1 重要性抽樣 177
6.1.2 行為和目標策略 179
6.1.3 離線 Q 學習 180
6.1.4 梯度時差學習 180
6.1.5 Greedy-GQ 算法 181
6.1.6 離線演員評論家算法 . 182
6.2 決定性策略梯度 183
6.2.1 決定性策略梯度 183
6.2.2 深度確定性策略梯度 . 185
6.2.3 雙延遲DDPG 189
6.2.4 案例研究：利用到用戶評論的推薦算法 193
6.2.5 改進DPG. 194
6.3 信賴域方法 195
6.3.1 Kullback-Leibler 散度 197
6.3.2 自然策略梯度與信任區(qū)域策略優(yōu)化 198
6.3.3 近端策略優(yōu)化 201
6.4 實際案例：在現(xiàn)實生活中使用伺服器 206
6.4.1 實驗設(shè)置 . 206
6.4.2 強化學習算法實現(xiàn) 207
6.4.3 增加算法的復雜度 210
6.4.4 模擬中的超參數(shù)調(diào)優(yōu) . 211
6.4.5 產(chǎn)生的策略 212
6.5 其他策略梯度算法 214
6.5.1 回溯（λ） 214
6.5.2 有經(jīng)驗重放的演員評論家（ACER） 214
6.5.3 使用Kronecker 因子信任區(qū)域的演員評論家算法（ACKTR） 215
6.5.4 更多相關(guān)方法 216
6.6 策略梯度算法的擴展 216
6.7 總結(jié) . 217
6.7.1 應該使用哪種算法？ . 217
6.7.2 關(guān)于異步方法的注意事項 218
6.8 擴展閱讀 218
6.9 參考文獻 219
第7 章 用熵方法學習所有可能的策略 225
7.1 什么是熵？ 225
7.2 最大熵強化學習 226
7.3 弱演員評論家算法 227
7.3.1 SAC 的實現(xiàn)細節(jié)與離散動作空間 228
7.3.2 自動調(diào)整溫度 229
7.3.3 案例研究：有助于減少交通擁堵的自動化交通管理系統(tǒng) 229
7.4 最大熵方法的推廣 231
7.4.1 熵的其他度量（以及策略集） . 231
7.4.2 基于雙重Q 學習上限的優(yōu)化探索 231
7.4.3 通過歷史經(jīng)驗重放改進結(jié)果 232
7.4.4 軟策略梯度 . 232
7.4.5 軟Q 學習（及其擴展） 232
7.4.6 路徑一致性學習 233
7.5 性能比較：SAC 與PPO 233
7.6 熵是如何激勵智能體進行探索的？ . 235
7.7 行業(yè)實例：通過遙控車學習自動駕駛 240
7.7.1 問題描述 241
7.7.2 減少訓練時間 241
7.7.3 夸張的動作 . 244
7.7.4 超參數(shù)探索 . 246
7.7.5 最終策略 246
7.7.6 進一步改進 . 247
7.8 本章總結(jié) 248
7.8.1 策略梯度與軟Q 學習的等價性 249
7.8.2 這對今后的發(fā)展意味著什么？ . 249
7.8.3 這對目前來說意味著什么？ 249
7.9 參考文獻 250
第8 章 改進智能體的學習方式 253
8.1 關(guān)于MDP 的思考 . 254
8.1.1 部分可觀察馬爾可夫決策過程 . 254
8.1.2 案例研究：POMDP 在自動駕駛汽車中的應用 256
8.1.3 上下文馬爾可夫決策過程 . 257
8.1.4 動作不斷變化的MDPs 257
8.1.5 正則化MDP 258
8.2 層次強化學習 . 259
8.2.1 初級層次強化學習 . 259
8.2.2 具有內(nèi)在獎勵的層次強化學習（HIRO） 260
8.2.3 學習技巧和無監(jiān)督學習 262
8.2.4 在HRL 中使用技能 263
8.2.5 HRL 研究結(jié)論 264
8.3 多智能體強化學習 265
8.3.1 MARL 的框架 265
8.3.2 集中式或分布式 267
8.3.3 單智能體算法 268
8.3.4 案例研究：單智能體分散學習在無人機中的應用 . 269
8.3.5 集中學習，分散執(zhí)行 . 270
8.3.6 分散的學習 . 272
8.3.7 其他的組合 . 273
8.3.8 MARL 的挑戰(zhàn) 274
8.3.9 MARL 的結(jié)論 275
8.4 專家的指導 276
8.4.1 克隆行為 276
8.4.2 模擬強化學習 276
8.4.3 反向強化學習 277
8.4.4 課程學習 279
8.5 其他案例 281
8.5.1 元學習 281
8.5.2 遷移學習 281
8.6 總結(jié) . 282
8.7 擴展閱讀 283
8.8 參考文獻 285
第9 章 強化學習實踐 293
9.1 強化學習的生命周期 293
9.2 問題定義：一個真正的強化學習項目到底包括什么？ . 299
9.2.1 強化學習問題是連續(xù)性問題 299
9.2.2 強化學習問題是戰(zhàn)略性問題 300
9.2.3 強化學習中的基礎(chǔ)指標 302
9.2.4 學習類型 304
9.3 強化學習工程和改進 309
9.3.1 項目過程 309
9.3.2 環(huán)境工程 310
9.3.3 狀態(tài)工程或狀態(tài)表示學習 313
9.3.4 策略工程 316
9.3.5 將策略映射到操作空間 322
9.3.6 探索 326
9.3.7 獎勵工程 333
9.4 總結(jié) . 337
9.5 擴展閱讀 338
9.6 參考文獻 339
第10 章 強化學習的生產(chǎn)部署 348
10.1 實現(xiàn)階段 . 349
10.1.1 框架 . 349
10.1.2 大規(guī)模強化學習 353
10.1.3 評價 . 361
10.2 部署 370
10.2.1 目標 . 371
10.2.2 體系架構(gòu) 374
10.2.3 輔助工具 376
10.2.4 安全、保障和道德 382
10.3 總結(jié) 389
10.4 擴展閱讀 . 390
10.5 參考文獻 . 392
第11 章 結(jié)論與展望 . 400
11.1 提示和技巧 400
11.1.1 框架問題 400
11.1.2 你的數(shù)據(jù) 402
11.1.3 訓練 . 403
11.1.4 評價 . 404
11.1.5 部署 . 404
11.2 調(diào)試 405
11.2.1 ${ALGORITHM_NAME} 不能解決${ENVIRONMENT}! 406
11.2.2 監(jiān)測調(diào)試 407
11.3 強化學習的未來 408
11.3.1 強化學習市場機會 409
11.3.2 強化學習的研究方向 410
11.4 結(jié)束語 416
11.4.1 未來下一步 417
11.4.2 現(xiàn)在輪到你了！ . 418
11.5 擴展閱讀 . 418
11.6 參考文獻 . 419
附錄A 兩種動作的Logistic 策略梯度 423
附錄B Softmax 的策略梯度 . 427