123,123

內(nèi)容簡(jiǎn)介

　　本書由智能汽車領(lǐng)域?qū)嵺`型專家聯(lián)合撰寫，帶你一次性學(xué)透BEV，實(shí)現(xiàn)快速落地與創(chuàng)新。在內(nèi)容設(shè)計(jì)上，本書以BEV主流技術(shù)與工程實(shí)踐為主線，系統(tǒng)分析介紹BEV算法的基本原理、關(guān)鍵技術(shù)和源碼級(jí)實(shí)現(xiàn)方法，助你掌握自動(dòng)駕駛感知系統(tǒng)的整體架構(gòu)和設(shè)計(jì)理念。本書共9章。第1章介紹BEV感知算法的核心概念和框架，強(qiáng)調(diào)其獨(dú)特優(yōu)勢(shì)及挑戰(zhàn)。第2章概述關(guān)鍵數(shù)據(jù)集，如KITTI、nuScenes和Waymo，并解釋了評(píng)估算法性能的指標(biāo)。第3章深入介紹特征提取技術(shù)，涵蓋圖像和激光雷達(dá)數(shù)據(jù)的提取方法。第4章探討視角轉(zhuǎn)換、注意力機(jī)制及Transformer在BEV感知算法中的應(yīng)用。第5章和第6章分別講解顯式和隱式視角轉(zhuǎn)換下的BEV感知算法，如BEVDet系列和BEVFormer等。第7章和第8章通過(guò)實(shí)例介紹BEV感知算法的實(shí)現(xiàn)過(guò)程。第9章討論大模型在自動(dòng)駕駛領(lǐng)域的應(yīng)用及面臨的挑戰(zhàn)。

作者簡(jiǎn)介

　　易顯維：易智數(shù)維的創(chuàng)始人、中國(guó)地質(zhì)大學(xué)碩士。10余年研發(fā)經(jīng)驗(yàn)，曾先后任職于建行數(shù)據(jù)中心、科大訊飛研究院以及百分點(diǎn)科技集團(tuán)認(rèn)知智能實(shí)驗(yàn)室。長(zhǎng)期為東風(fēng)集團(tuán)提供技術(shù)支持與方案咨詢，在實(shí)車感知算法與機(jī)器人視覺(jué)項(xiàng)目方面擁有豐富且寶貴的經(jīng)驗(yàn)。其研究方向涵蓋機(jī)器視覺(jué)、自然語(yǔ)言處理、結(jié)構(gòu)化數(shù)據(jù)挖掘等多個(gè)領(lǐng)域。曾在各種競(jìng)賽中獲獎(jiǎng)20余次。虞凡：東風(fēng)暢行公司首席出行官、西安交通大學(xué)計(jì)算機(jī)軟件科學(xué)技術(shù)博士。擁有10余年工作經(jīng)驗(yàn)，曾于清華大學(xué)軟件學(xué)院進(jìn)行博士后研究工作，現(xiàn)負(fù)責(zé)東風(fēng)暢行公司的Robotaxi商業(yè)探索、平臺(tái)軟件工程效率提升、網(wǎng)絡(luò)出行平臺(tái)算法設(shè)計(jì)等工作，也曾聯(lián)合創(chuàng)建網(wǎng)約車平臺(tái)公司。他發(fā)表高水平論文10余篇，獲得發(fā)明專利授權(quán)10余項(xiàng)，獲得武漢市車谷英才稱號(hào)。其研究方向包括軟件工程中的形式化方法和AI算法，專注于大數(shù)據(jù)分析、知識(shí)圖譜、網(wǎng)絡(luò)出行平臺(tái)和出行算法設(shè)計(jì)。

圖書目錄

前　言第1章　快速了解BEV感知
算法1　1.1　BEV感知算法解決的問(wèn)題1
　1.2　BEV感知算法的常見(jiàn)范式7
　1.3　BEV感知算法的分類9
1.3.1　基于單應(yīng)性的方法9
1.3.2　基于深度估計(jì)的方法10
1.3.3　基于多層感知器的
方法12
1.3.4　基于Transformer的
方法13
　1.4　BEV感知算法的不足14
　1.5　本章小結(jié)16第2章　BEV感知算法的
數(shù)據(jù)集17　2.1　KITTI數(shù)據(jù)集18
　2.2　nuScenes數(shù)據(jù)集25
　2.3　nuScenes數(shù)據(jù)集常用的評(píng)測(cè)
指標(biāo)及計(jì)算方法39
2.3.1　檢測(cè)任務(wù)評(píng)測(cè)指標(biāo)計(jì)算
公式40
2.3.2　跟蹤任務(wù)評(píng)測(cè)指標(biāo)計(jì)算
公式42
2.3.3　其他輔助指標(biāo)計(jì)算公式42
　2.4　Waymo數(shù)據(jù)集46
　2.5　不同數(shù)據(jù)集之間的對(duì)比47
　2.6　本章小結(jié)48第3章　BEV感知算法的特征
提取49　3.1　圖像模態(tài)49
3.1.1　相機(jī)的內(nèi)外參數(shù)49
3.1.2　圖像特征提取和ResNet
原理54
　3.2　激光雷達(dá)模態(tài)中點(diǎn)云目標(biāo)
檢測(cè)的代表算法55
3.2.1　PointPillar算法55
3.2.2　PV-RCNN算法58
　3.3　本章小結(jié)61第4章　BEV感知算法的基本
模塊62　4.1　視角轉(zhuǎn)換模塊62
4.1.1　自動(dòng)駕駛中的坐標(biāo)系63
4.1.2　坐標(biāo)系轉(zhuǎn)換與視角轉(zhuǎn)換
模塊65
4.1.3　LSS原理69
4.1.4　LSS代碼實(shí)現(xiàn)與模型
運(yùn)行71
　4.2　BEV感知算法中的注意力
機(jī)制82
4.2.1　通道注意力機(jī)制82
4.2.2　空間注意力機(jī)制83
4.2.3　混合注意力機(jī)制83
4.2.4　BEV感知算法中的時(shí)序
融合83
　4.3　本章小結(jié)86第5章　顯式視角轉(zhuǎn)換的BEV
感知算法87　5.1　基于LSS方法的顯式視角轉(zhuǎn)換的
BEV感知算法89
5.1.1　BEVDet89
5.1.2　BEVDet4D91
　5.2　BEVDet中的視角轉(zhuǎn)換過(guò)程91
　5.3　BEVDet4D中的時(shí)序?qū)R93
　5.4　本章小結(jié)94第6章　隱式視角轉(zhuǎn)換的BEV
感知算法95　6.1　傳統(tǒng)目標(biāo)檢測(cè)方法與DETR
類方法95
6.1.1　傳統(tǒng)目標(biāo)檢測(cè)方法的
局限性96
6.1.2　DETR類方法的優(yōu)點(diǎn)97
　6.2　主要的隱式視角轉(zhuǎn)換的BEV
感知算法98
6.2.1　BEVFormer98
6.2.2　DETR3D102
6.2.3　PETR103
　6.3　DETR3D計(jì)算過(guò)程106
6.3.1　圖像特征提取106
6.3.2　特征查詢模塊107
6.3.3　二分圖匹配108
6.3.4　DETR和DETR3D的
異同108
　6.4　隱式轉(zhuǎn)換DETR、DETR3D和
PETR的主要差別109
　6.5　本章小結(jié)110第7章　BEVFusion實(shí)踐111　7.1　原理詳解111
7.1.1　網(wǎng)絡(luò)架構(gòu)112
7.1.2　圖像支路113
7.1.3　點(diǎn)云支路114
7.1.4　融合模塊115
　7.2　代碼詳解116
7.2.1　nuScenes數(shù)據(jù)集
處理116
7.2.2　模型訓(xùn)練過(guò)程131
　7.3　環(huán)境搭建149
7.3.1　搭建PyTorch環(huán)境149
7.3.2　安裝 *BEVFusion150
7.3.3　編譯BEVFusion
環(huán)境151
7.3.4　訓(xùn)練和測(cè)試
BEVFusion152
　7.4　本章小結(jié)153第8章　BEVFormer實(shí)踐154　8.1　代碼詳解154
8.1.1　數(shù)據(jù)處理155
8.1.2　模型訓(xùn)練過(guò)程156
　8.2　環(huán)境搭建190
8.2.1　創(chuàng)建虛擬環(huán)境190
8.2.2　安裝*BEVFormer191
　8.3　模型部署192
　8.4　本章小結(jié)192第9章　大模型在自動(dòng)駕駛領(lǐng)域
的應(yīng)用193　9.1　端到端的自動(dòng)駕駛系統(tǒng)
UniAD194
9.1.1　UniAD的提出背景194
9.1.2　UniAD架構(gòu)196
　9.2　賦能自動(dòng)駕駛數(shù)據(jù)生產(chǎn)和
模型訓(xùn)練197
9.2.1　輔助標(biāo)注數(shù)據(jù)198
9.2.2　模型蒸餾給小模型
賦能200
9.2.3　將多個(gè)小模型合并成
大模型201
9.2.4　自動(dòng)駕駛的重建和數(shù)據(jù)
生成201
　9.3　視覺(jué)大模型的難點(diǎn)202
9.3.1　視覺(jué)大模型發(fā)展相對(duì)落后
的原因202
9.3.2　視覺(jué)大模型的技術(shù)挑戰(zhàn)與
實(shí)踐難點(diǎn)203
　9.4　本章小結(jié)204