公共安全決策技術(shù)與方法

第1章 馬爾可夫決策理論簡介
1.1 序列決策問題
1.2 馬爾可夫過程定義
1.3 馬爾可夫決策理論表示方法
1.4 馬爾可夫決策過程問題分類
第2章 有限階段問題
2.1 有限階段問題概述與逆推歸納法
2.2 動態(tài)規(guī)劃理論
2.3 相關(guān)例題與講解
第 3章 成本問題
3.1 成本問題的引入
3.2 貝爾曼方程與動態(tài)規(guī)劃算子
3.3 數(shù)值迭代算法與解的存在性
3.4 貝爾曼方程解的 性
3.5 策略迭代算法
3.6 平穩(wěn)策略 化
第4章 平均成本問題
4.1 問題描述與問題轉(zhuǎn)化
4.2 平均成本問題的 策略
4.3 與 成本問題的關(guān)系
第5章 Q學(xué)習(xí)
5.1 異步數(shù)值迭代與實(shí)時數(shù)值迭代
5.2 探索-利用權(quán)衡
5.3 Q函數(shù)與Q學(xué)習(xí)算法
5.4 Q學(xué)習(xí)算法的收斂性分析
5.5 Q學(xué)習(xí)的應(yīng)用實(shí)例
第6章 線性規(guī)劃方法
6.1 貝爾曼方程求解的線性規(guī)劃表述
6.2 線性規(guī)劃問題的對偶形式
6.3 近似線性規(guī)劃
6.4 應(yīng)用實(shí)例
第7章 隱馬爾可夫模型
7.1 隱馬爾可夫模型簡介
7.2 隱馬爾可夫模型動力學(xué)
7.3 前向算法
7.4 后向算法
7.5 維特比算法
第8章 部分可觀測馬爾可夫決策過程
8.1 HMM濾波
8.2 有限階段POMDP問題
8.3 POMDP的信念空間表述
8.4 機(jī)器 換的POMDP示例
8.5 有限觀測狀態(tài)的有限階段POMDP求解方法介紹
8.5.1 算法：逐步剪枝
8.5.2 Lovejoy次優(yōu)算法
第9章 應(yīng)用案例介紹
9.1 災(zāi)難中的人員疏散問題
9.2 基于馬爾可夫過程和SEIR模型的傳染病預(yù)測
9.2.1 模型分析
9.2.2 數(shù)據(jù)來源及參數(shù)