視覺SLAM十四講：從理論到實(shí)踐

第1 講預(yù)備知識(shí) 1
1.1 本書講什么1
1.2 如何使用本書3
1.2.1 組織方式3
1.2.2 代碼5
1.2.3 面向的讀者6
1.3 風(fēng)格約定6
1.4 致謝和聲明7
第2 講初識(shí)SLAM 9
2.1 引子：小蘿卜的例子11
2.2 經(jīng)典視覺SLAM 框架17
2.2.1 視覺里程計(jì)17
2.2.2 后端優(yōu)化19
2.2.3 回環(huán)檢測20
2.2.4 建圖21
2.3 SLAM 問題的數(shù)學(xué)表述22
2.4 實(shí)踐：編程基礎(chǔ) 25
2.4.1 安裝Linux 操作系統(tǒng)25
2.4.2 Hello SLAM27
2.4.3 使用cmake28
2.4.4 使用庫30
2.4.5 使用IDE32
第3 講三維空間剛體運(yùn)動(dòng)37
3.1 旋轉(zhuǎn)矩陣39
3.1.1 點(diǎn)和向量，坐標(biāo)系39
3.1.2 坐標(biāo)系間的歐氏變換40
3.1.3 變換矩陣與齊次坐標(biāo)42
3.2 實(shí)踐：Eigen 44
3.3 旋轉(zhuǎn)向量和歐拉角48
3.3.1 旋轉(zhuǎn)向量48
3.3.2 歐拉角50
3.4 四元數(shù)51
3.4.1 四元數(shù)的定義51
3.4.2 四元數(shù)的運(yùn)算53
3.4.3 用四元數(shù)表示旋轉(zhuǎn)55
3.4.4 四元數(shù)到旋轉(zhuǎn)矩陣的轉(zhuǎn)換55
3.5 * 相似、仿射、射影變換56
3.6 實(shí)踐：Eigen 幾何模塊57
3.7 可視化演示60
第4 講李群與李代數(shù)62
4.1 李群與李代數(shù)基礎(chǔ) 64
4.1.1 群64
4.1.2 李代數(shù)的引出65
4.1.3 李代數(shù)的定義 67
4.1.4 李代數(shù)so(3) 67
4.1.5 李代數(shù)se(3)68
4.2 指數(shù)與對數(shù)映射69
4.2.1 SO(3) 上的指數(shù)映射69
4.2.2 SE(3) 上的指數(shù)映射.70
4.3 李代數(shù)求導(dǎo)與擾動(dòng)模型72
4.3.1 BCH 公式與近似形式72
4.3.2 SO(3) 李代數(shù)上的求導(dǎo)73
4.3.3 李代數(shù)求導(dǎo)74
4.3.4 擾動(dòng)模型（左乘）75
4.3.5 SE(3) 上的李代數(shù)求導(dǎo)76
4.4 實(shí)踐：Sophus76
4.5 * 相似變換群與李代數(shù).79
4.6 小結(jié)81
第5 講相機(jī)與圖像82
5.1 相機(jī)模型 84
5.1.1 針孔相機(jī)模型84
5.1.2 畸變87
5.1.3 雙目相機(jī)模型 90
5.1.4 RGB-D 相機(jī)模型92
5.2 圖像93
5.3 實(shí)踐：圖像的存取與訪問95
5.3.1 安裝OpenCV95
5.3.2 操作OpenCV 圖像96
5.4 實(shí)踐：拼接點(diǎn)云99
第6 講非線性優(yōu)化104
6.1 狀態(tài)估計(jì)問題106
6.1.1 最大后驗(yàn)與最大似然106
6.1.2 最小二乘的引出 108
6.2 非線性最小二乘109
6.2.1 一階和二階梯度法110
6.2.2 高斯牛頓法111
6.2.3 列文伯格—馬夸爾特方法113
6.2.4 小結(jié)114
6.3 實(shí)踐：Ceres115
6.3.1 Ceres 簡介 116
6.3.2 安裝Ceres116
6.3.3 使用Ceres 擬合曲線 117
6.4 實(shí)踐：g2o121
6.4.1 圖優(yōu)化理論簡介121
6.4.2 g2o 的編譯與安裝122
6.4.3 使用g2o 擬合曲線123
6.5 小結(jié)128
第7 講視覺里程計(jì)1130
7.1 特征點(diǎn)法132
7.1.1 特征點(diǎn)132
7.1.2 ORB 特征134
7.1.3 特征匹配137
7.2 實(shí)踐：特征提取和匹配138
7.3 2D?2D: 對極幾何141
7.3.1 對極約束141
7.3.2 本質(zhì)矩陣143
7.3.3 單應(yīng)矩陣146
7.4 實(shí)踐：對極約束求解相機(jī)運(yùn)動(dòng)148
7.5 三角測量153
7.6 實(shí)踐：三角測量154
7.6.1 三角測量代碼154
7.6.2 討論156
7.7 3D?2D：PnP157
7.7.1 直接線性變換158
7.7.2 P3P159
7.7.3 Bundle Adjustment 161
7.8 實(shí)踐：求解PnP165
7.8.1 使用EPnP 求解位姿165
7.8.2 使用BA 優(yōu)化166
7.9 3D?3D：ICP172
7.9.1 SVD 方法173
7.9.2 非線性優(yōu)化方法 175
7.10 實(shí)踐：求解ICP176
7.10.1 SVD 方法176
7.10.2 非線性優(yōu)化方法178
7.11 小結(jié)180
第8 講視覺里程計(jì)2182
8.1 直接法的引出184
8.2 光流（Optical Flow）185
8.3 實(shí)踐：LK 光流187
8.3.1 使用TUM 公開數(shù)據(jù)集187
8.3.2 使用LK 光流188
8.4 直接法（Direct Method）192
8.4.1 直接法的推導(dǎo) 192
8.4.2 直接法的討論195
8.5 實(shí)踐：RGB-D 的直接法196
8.5.1 稀疏直接法196
8.5.2 定義直接法的邊197
8.5.3 使用直接法估計(jì)相機(jī)運(yùn)動(dòng) 199
8.5.4 半稠密直接法200
8.5.5 直接法的討論 202
8.5.6 直接法優(yōu)缺點(diǎn)總結(jié) 203
第9 講實(shí)踐：設(shè)計(jì)前端205
9.1 搭建VO 框架 206
9.1.1 確定程序框架207
9.1.2 確定基本數(shù)據(jù)結(jié)構(gòu)208
9.1.3 Camera 類210
9.1.4 Frame 類212
9.1.5 MapPoint 類 213
9.1.6 Map 類 213
9.1.7 Config 類 214
9.2 基本的VO：特征提取和匹配216
9.2.1 兩兩幀的視覺里程計(jì)216
9.2.2 討論224
9.3 改進(jìn)：優(yōu)化PnP 的結(jié)果 224
9.4 改進(jìn)：局部地圖 227
9.5 小結(jié)233
第10 講后端1 235
10.1 概述237
10.1.1 狀態(tài)估計(jì)的概率解釋237
10.1.2 線性系統(tǒng)和KF239
10.1.3 非線性系統(tǒng)和EKF242
10.1.4 EKF 的討論243
10.2 BA 與圖優(yōu)化245
10.2.1 投影模型和BA 代價(jià)函數(shù) 245
10.2.2 BA 的求解247
10.2.3 稀疏性和邊緣化248
10.2.4 魯棒核函數(shù)255
10.2.5 小結(jié)256
10.3 實(shí)踐：g2o257
10.3.1 BA 數(shù)據(jù)集257
10.3.2 g2o 求解BA258
10.3.3 求解262
10.4 實(shí)踐：Ceres 264
10.4.1 Ceres 求解BA 265
10.4.2 求解267
10.5 小結(jié)269
第11 講后端2 270
11.1 位姿圖（Pose Graph）271
11.1.1 Pose Graph 的意義271
11.1.2 Pose Graph 的優(yōu)化272
11.2 實(shí)踐：位姿圖優(yōu)化274
11.2.1 g2o 原生位姿圖 274
11.2.2 李代數(shù)上的位姿圖優(yōu)化278
11.2.3 小結(jié)284
11.3 * 因子圖優(yōu)化初步285
11.3.1 貝葉斯網(wǎng)絡(luò)285
11.3.2 因子圖286
11.3.3 增量特性288
11.4 * 實(shí)踐：gtsam 289
11.4.1 安裝gtsam 4.0289
11.4.2 位姿圖優(yōu)化290
第12 講回環(huán)檢測297
12.1 回環(huán)檢測概述299
12.1.1 回環(huán)檢測的意義299
12.1.2 方法 300
12.1.3 準(zhǔn)確率和召回率301
12.2 詞袋模型303
12.3 字典 305
12.3.1 字典的結(jié)構(gòu)305
12.3.2 實(shí)踐：創(chuàng)建字典306
12.4 相似度計(jì)算309
12.4.1 理論部分309
12.4.2 實(shí)踐：相似度的計(jì)算310
12.5 實(shí)驗(yàn)分析與評述314
12.5.1 增加字典規(guī)模314
12.5.2 相似性評分的處理316
12.5.3 關(guān)鍵幀的處理316
12.5.4 檢測之后的驗(yàn)證317
12.5.5 與機(jī)器學(xué)習(xí)的關(guān)系317
第13 講建圖319
13.1 概述320
13.2 單目稠密重建322
13.2.1 立體視覺322
13.2.2 極線搜索與塊匹配323
13.2.3 高斯分布的深度濾波器325
13.3 實(shí)踐：單目稠密重建328
13.4 實(shí)驗(yàn)分析與討論339
13.4.1 像素梯度的問題339
13.4.2 逆深度340
13.4.3 圖像間的變換 341
13.4.4 并行化：效率的問題342
13.4.5 其他的改進(jìn)343
13.5 RGB-D 稠密建圖343
13.5.1 實(shí)踐：點(diǎn)云地圖344
13.5.2 八叉樹地圖347
13.5.3 實(shí)踐：八叉樹地圖350
13.6 *TSDF 地圖和Fusion 系列352
13.7 小結(jié)356
第14 講SLAM：現(xiàn)在與未來357
14.1 當(dāng)前的開源方案358
14.1.1 MonoSLAM358
14.1.2 PTAM359
14.1.3 ORB-SLAM361
14.1.4 LSD-SLAM363
14.1.5 SVO 364
14.1.6 RTAB-MAP366
14.1.7 其他367
14.2 未來的SLAM 話題367
14.2.1 視覺+ 慣性導(dǎo)航SLAM367
14.2.2 語義SLAM369
14.2.3 SLAM 的未來 370
附錄A 高斯分布的性質(zhì)371
A.1 高斯分布371
A.2 高斯分布的運(yùn)算371
A.2.1 線性運(yùn)算371
A.2.2 乘積372
A.2.3 復(fù)合運(yùn)算372
A.3 復(fù)合的例子372
附錄B ROS 入門374
B.1 ROS 是什么374
B.2 ROS 的特點(diǎn)375
B.3 如何快速上手ROS375
參考文獻(xiàn)377