智能車輛強(qiáng)化學(xué)習(xí)與決策控制技術(shù)

第1章 智能車輛系統(tǒng)概述………………………………………………………001
1.1 智能車輛介紹…………………………………………………………003
1.1.1 智能車輛架構(gòu) …………………………………………………003
1.1.2 智能車輛發(fā)展摘記 ……………………………………………006
1.2 智能車輛的基本組成部分……………………………………………017
1.2.1 環(huán)境感知與場(chǎng)景理解模塊…………………………………017
1.2.2 決策控制模塊 …………………………………………………021
第2章 強(qiáng)化學(xué)習(xí)基礎(chǔ)……………………………………………………………025
2.1 強(qiáng)化學(xué)習(xí)概述 …………………………………………………………027
2.1.1 強(qiáng)化學(xué)習(xí)的特點(diǎn) ……………………………………………………028
2.1.2 強(qiáng)化學(xué)習(xí)的發(fā)展歷史 …………………………………………028
2.2 馬爾可夫決策過(guò)程 ……………………………………………………030
2.2.1 馬爾可夫過(guò)程 …………………………………………………031
2.2.2 馬爾可夫決策過(guò)程分析 ………………………………………033
2.2.3 貝爾曼方程 …………………………………………………………034
2.3 Q迭代與Q學(xué)習(xí)………………………………………………………038
2.3.1 Q迭代…………………………………………………………040
2.3.2 時(shí)序差分算法 …………………………………………………044
2.3.3Q學(xué)習(xí)………………………………………………………………045
2.4 函數(shù)逼近 ……………………………………………………………………049
2.4.1 函數(shù)逼近方法 …………………………………………………049
2.4.2 值函數(shù)逼近 ……………………………………………………051
2.5 深度強(qiáng)化學(xué)習(xí)…………………………………………………………055
2.5.1 深度強(qiáng)化學(xué)習(xí)原理 ……………………………………………055
2.5.2 深度Q網(wǎng)絡(luò)……………………………………………………057
第3章 基于經(jīng)典強(qiáng)化學(xué)習(xí)的決策控制技術(shù) ……………………………………061
3.1 CARLA仿真平臺(tái)介紹 …………………………………………………063
3.2 基于Q學(xué)習(xí)的決策控制……………………………………………064
3.2.1 縱向決策控制 …………………………………………………064
3.2.2 橫向決策控制 …………………………………………………067
3.2.3 路徑跟蹤 …………………………………………………………069
3.2.4 學(xué)習(xí)人類駕駛員………………………………………………071
3.3 基于NQL的速度控制 …………………………………………………074
3.3.1 NQL原理 ……………………………………………………………076
3.3.2 NQL模型構(gòu)建………………………………………………078
3.3.3 NQL方法測(cè)試 ……………………………………………………084
第4章 基于分層強(qiáng)化學(xué)習(xí)的決策控制技術(shù) ……………………………………108
4.1 分層強(qiáng)化學(xué)習(xí)方法及原理……………………………………………109
4.1.1 半馬爾可夫決策過(guò)程 …………………………………………109
4.1.2 分層強(qiáng)化學(xué)習(xí)原理概述………………………………………111
4.2 基于分層強(qiáng)化學(xué)習(xí)的自主超車決策方法 …………………………111
4.2.1 基于半馬爾可夫決策過(guò)程和運(yùn)動(dòng)基元的超車決策
模塊…113
4.2.2 基于馬爾可夫決策過(guò)程和社會(huì)偏好的超車決策模塊 …121
4.3 基于半馬爾可夫決策過(guò)程和運(yùn)動(dòng)基元的超車決策模塊仿真
實(shí)驗(yàn) …………………………………………………………………………124
4.3.1 離線運(yùn)動(dòng)基元提取結(jié)果………………………………………124
4.3.2 超車決策模塊實(shí)驗(yàn)結(jié)果及分析 …………………………125
4.4 基于馬爾可夫決策過(guò)程和社會(huì)偏好的超車決策模塊實(shí)車
實(shí)驗(yàn) …………………………………………………………………………………127
4.4.1 基于智能駕駛平臺(tái)的實(shí)車數(shù)據(jù)采集及預(yù)處理……………127
4.4.2 超車決策模塊實(shí)驗(yàn)……………………………………………137
第5章 基于深度強(qiáng)化學(xué)習(xí)的決策控制技術(shù) ……………………………………141
5.1 基于DQN的超車場(chǎng)景決策控制模型構(gòu)建………………………142
5.2 基于 DQN的超車決策實(shí)驗(yàn)……………………………………………143
5.3 基于DDPG交叉路口的縱向決策控制模型構(gòu)建 …………………145
5.3.1 DDPG算法原理…………………………………………………145
5.3.2 縱向決策問(wèn)題建模 ……………………………………………148
5.3.3 基元庫(kù)構(gòu)建與運(yùn)動(dòng)基元自主學(xué)習(xí)…………………………150
5.3.4 基于基元庫(kù)的最優(yōu)基元選擇 …………………………………154
5.4 交叉路口場(chǎng)景下的縱向決策控制仿真實(shí)驗(yàn)………………………157
5.4.1 交叉路口場(chǎng)景簡(jiǎn)述……………………………………………157
5.4.2 離線學(xué)習(xí)與測(cè)試……………………………………………………158
5.4.3 對(duì)比實(shí)驗(yàn)結(jié)果與分析 …………………………………………159
5.5 交叉路口場(chǎng)景下的縱向決策控制實(shí)車實(shí)驗(yàn) ………………………163
5.5.1 交叉路口下實(shí)車數(shù)據(jù)采集與處理…………………………163
5.5.2 實(shí)車數(shù)據(jù)驅(qū)動(dòng)的交叉路口實(shí)驗(yàn)場(chǎng)景…………………………163
5.6 對(duì)比實(shí)驗(yàn)結(jié)果與分析…………………………………………………166
5.6.1 子任務(wù)離線學(xué)習(xí)任務(wù) …………………………………………166
5.6.2 測(cè)試階段 ………………………………………………………………173
第6章 決策的遷移與泛化………………………………………………………177
6.1 遷移學(xué)習(xí)與認(rèn)知地圖…………………………………………………178
6.2 基于SR的決策遷移建模……………………………………………179
6.2.1 類人換道場(chǎng)景表征……………………………………………180
6.2.2 基于SR的分層強(qiáng)化學(xué)習(xí)換道決策 ………………………185
6.2.3 換道場(chǎng)景運(yùn)動(dòng)基元 ……………………………………………188
6.2.4 基于場(chǎng)景表征和運(yùn)動(dòng)基元的運(yùn)動(dòng)規(guī)劃……………………190
6.3 類人可遷移換道模型的可遷移超車實(shí)驗(yàn)測(cè)試……………………191
6.3.1 面向超車類人換道場(chǎng)景表征的離線構(gòu)建…………………191
6.3.2 自主換道超車實(shí)驗(yàn)與結(jié)果分析………………………………193
6.4 類人可遷移換道模型的類人實(shí)驗(yàn)測(cè)試 ……………………………196
6.4.1 不同風(fēng)格行為的類人換道場(chǎng)景表征 ………………………196
6.4.2 類人換道運(yùn)動(dòng)規(guī)劃實(shí)驗(yàn)結(jié)果及分析………………………198
6.4.3 類人換道決策實(shí)驗(yàn)結(jié)果及分析………………………………202
參考文獻(xiàn) ……………………………………………………………………………………206
術(shù)語(yǔ)表………………………………………………………………………………212
索引…………………………………………………………………………………………214