天天看點：AI應(yīng)用大咖說：多相機的時空融合模型架構(gòu)算法優(yōu)化

隨著人工智能技術(shù)的廣泛應(yīng)用，智能駕駛系統(tǒng)正在成為汽車的標(biāo)配。而作為識別周邊環(huán)境的“火眼金睛”，“感知”模塊是智能駕駛系統(tǒng)安全、高效運行的核心，而視覺感知更是其中無比重要的一環(huán)。浪潮信息AI團隊長期關(guān)注AI算法在自動駕駛中的應(yīng)用，并致力于用軟硬件的算法和技術(shù)創(chuàng)新推動行業(yè)的進(jìn)步，做出創(chuàng)新性的成績。最近，浪潮信息在自動駕駛感知權(quán)威數(shù)據(jù)集 NuScenes 評測中，自研算法 DABNet4D 獲得 0. 624 的NDS精度，位列Camera-only榜單第一名。

近日，浪潮信息人工智能與高性能應(yīng)用軟件部自動駕駛AI研究員趙云博士，在題為《探索自動駕駛純視覺感知精度新突破 -- 多相機的時空融合模型架構(gòu)算法優(yōu)化》的自動駕駛線上研討會上，向我們揭開了這一自動駕駛感知算法的神秘面紗。

多相機多任務(wù)融合模型優(yōu)勢

(資料圖片)

自動駕駛汽車完成自動駕駛出行任務(wù)，離不開感知、決策、控制三大要素。其中感知系統(tǒng)是車輛和環(huán)境交互的紐帶，相當(dāng)于無人汽車的眼睛。根據(jù)所用的傳感器以及傳感器數(shù)量和種類等，自動駕駛感知算法可以簡單的分為單傳感器（單任務(wù)和多任務(wù)）模型、（同類和不同類）傳感器融合模型等四類，并各有其優(yōu)缺點。

自動駕駛感知的關(guān)鍵是3D目標(biāo)檢測任務(wù)，又分為基于相機、Lidar的3D目標(biāo)檢測，以及相機、Lidar、Radar融合等技術(shù)。盡管目前對于3D目標(biāo)檢測已經(jīng)有不少的研究，但是在實際應(yīng)用中仍然有許多的問題，其難點主要在于：

遮擋，遮擋分為兩種情況，目標(biāo)物體相互遮擋和目標(biāo)物體被背景遮擋

截斷，部分物體被圖片截斷，在圖片中只能顯示部分物體

小目標(biāo)，相對輸入圖片大小，目標(biāo)物體所占像素點極少

缺失深度信息，2D圖片相對于激光數(shù)據(jù)存在信息稠密、成本低的優(yōu)勢，但是也存在缺失深度信息的缺點

現(xiàn)有方式大都依賴于物體表面紋理或結(jié)構(gòu)特征，容易造成混淆。

目前，基于相機的方法與基于Lidar的方法準(zhǔn)確度差距正在縮小，而隨著Lidar成本降低，融合技術(shù)在成本和準(zhǔn)確度的平衡上存在優(yōu)勢。

基于多相機多任務(wù)融合模型的3D目標(biāo)檢測技術(shù)正是在成本優(yōu)勢與日益增長的準(zhǔn)確度兩相促進(jìn)下得到越來越多的認(rèn)可。目前，多相機多任務(wù)融合模型主要遵循特征提取、特征編碼、統(tǒng)一BEV、特征解碼和檢測頭五大部分。

其中，統(tǒng)一BEV 就是鳥瞰圖，亦即將圖像特征統(tǒng)一投射到BEV視角下，用以表示車周圍環(huán)境。“統(tǒng)一BEV”的工作可以分為兩大類，一種基于幾何視覺的變換，也就是基于相機的物理原理，優(yōu)勢在于模型確定，難度在深度估計；另一種是基于神經(jīng)網(wǎng)絡(luò)的變換。

浪潮DABNet4D算法三大創(chuàng)新突破

據(jù)趙云介紹，浪潮DABNet4D算法遵循上述框架，采用基于幾何視覺的變換方法，設(shè)計了端到端的模塊化整體架構(gòu)，通過將環(huán)視圖檢測統(tǒng)一到BEV空間，為后續(xù)的工作提供了很好的模板。

DABNet4D模型被劃分為四個部分，Image-view Encoder，View-transformer，BEV-Encoder，Detection Head。其中Image-view Encoder為圖像編碼模塊將原始圖像轉(zhuǎn)換為高層特征表示。 View-Transformer模塊負(fù)責(zé)將圖像特征轉(zhuǎn)換到BEV坐標(biāo)中，主要包括三個模塊：深度預(yù)測模塊、特征轉(zhuǎn)換模塊和多幀特征融合模塊。BEV-Encoder & Heads主要是對融合BEV特征進(jìn)行編碼；Heads用來完成最終的3D目標(biāo)檢測任務(wù)。

關(guān)鍵詞： 目標(biāo)檢測 浪潮信息 廣泛應(yīng)用 神經(jīng)網(wǎng)絡(luò) 周圍環(huán)境