隨機(jī)學(xué)習(xí)與優(yōu)化：基于靈敏度的方法

1 引言
　1.1 學(xué)習(xí)和優(yōu)化概述
　　1.1.1 問(wèn)題描述
　　1.1.2 最優(yōu)策略
　　1.1.3 學(xué)習(xí)和優(yōu)化的基本局限
　　1.1.4 學(xué)習(xí)和優(yōu)化的基于靈敏度的觀(guān)點(diǎn)
　1.2 不同學(xué)科中問(wèn)題的描述
　　1.2.1 攝動(dòng)分析（PA）
　　1.2.2 馬爾可夫決策過(guò)程
　　1.2.3 強(qiáng)化學(xué)習(xí)
　　1.2.4 辨識(shí)和自適應(yīng)控制
　　1.2.5 基于事件的優(yōu)化和性能勢(shì)集結(jié)
　1.3 學(xué)習(xí)和優(yōu)化學(xué)科關(guān)系圖
　1.4 術(shù)語(yǔ)和符號(hào)
　習(xí)題
第1部分 學(xué)習(xí)與優(yōu)化的四門(mén)學(xué)科
　2 攝動(dòng)分析
　　2.1 馬爾可夫鏈的攝動(dòng)分析
　　　2.1.1 構(gòu)造攝動(dòng)樣本路徑
　　　2.1.2 攝動(dòng)實(shí)現(xiàn)因子和性能勢(shì)
　　　2.1.3 性能導(dǎo)數(shù)公式
　　　2.1.4 折扣報(bào)酬準(zhǔn)則的梯度
　　　2.1.5 高階導(dǎo)數(shù)和麥克勞林級(jí)數(shù)
　　2.2 馬爾可夫過(guò)程的性能靈敏度
　　2.3 半馬爾可夫過(guò)程的性能靈敏度
　　　2.3.1 半馬爾可夫過(guò)程的基礎(chǔ)知識(shí)
　　　2.3.2 性能靈敏度公式
　　2.4 排隊(duì)系統(tǒng)的攝動(dòng)分析
　　　2.4.1 構(gòu)造攝動(dòng)樣本路徑
　　　2.4.2 攝動(dòng)實(shí)現(xiàn)
　　　2.4.3 性能導(dǎo)數(shù)
　　　2.4.4 相關(guān)理論問(wèn)題的評(píng)注
　　2.5 其他方法
　　習(xí)題
　3 利用攝動(dòng)分析的學(xué)習(xí)與優(yōu)化
　　3.1 性能勢(shì)
　　　3.1.1 數(shù)值方法
　　　3.1.2 從樣本路徑學(xué)習(xí)性能勢(shì)
　　　3.1.3 耦合
　　3.2 性能梯度
　　　3.2.1 通過(guò)性能勢(shì)估計(jì)
　　　3.2.2 直接學(xué)習(xí)
　　3.3 利用攝動(dòng)分析的優(yōu)化
　　　3.3.1 梯度方法和隨機(jī)逼近
　　　3.3.2 利用長(zhǎng)樣本路徑的優(yōu)化
　　　3.3.3 應(yīng)用
　　習(xí)題
　4 馬爾可夫決策過(guò)程
　……
第2部分 基于事件的優(yōu)化——一種新方法
第3部分 附錄：數(shù)學(xué)基礎(chǔ)