1.HDMapNet

?整體的網(wǎng)絡(luò)架構(gòu)如圖所示，最終的Decoder輸出三個(gè)分支，一個(gè)語(yǔ)義分割，一個(gè)embedding嵌入分支，一個(gè)方向預(yù)測(cè)。然后通過(guò)后處理將這些信息處理成向量化的道路表示。

img2bev的方式之前有IPM，通過(guò)假設(shè)地面的高度都為0來(lái)完成轉(zhuǎn)換，但是因?yàn)榇嬖诘孛鎯A斜和車(chē)的顛簸，我們并不能保證車(chē)道線被正確投影到BEV上。而LSS的話，由于沒(méi)有顯式的深度作為監(jiān)督，所以效果也不是很好。這里我們采用VPN的方式，使用全連接網(wǎng)絡(luò)來(lái)學(xué)習(xí)如何進(jìn)行視角變換。

埋坑：這里的后處理是如何進(jìn)行一個(gè)向量化的道路表示？

2.MapTR

使用純相機(jī)來(lái)生成在線高精地圖，img2bev使用的地平線提出的GKT方法，對(duì)于BEV query，先通過(guò)內(nèi)外參得到其在圖像上的先驗(yàn)位置(可能對(duì)應(yīng)多張圖)，并提取附近w*h核區(qū)域的特征，然后和bev query做交叉注意力機(jī)制。

3.SuperFusion

采用多層級(jí)的圖像點(diǎn)云特征融合來(lái)做。

首先是數(shù)據(jù)層面的融合，先將點(diǎn)云投影到圖像，然后稀疏深度與圖像進(jìn)行concate，同時(shí)利用雙線性插值得到密集深度圖，對(duì)LSS的深度估計(jì)進(jìn)行監(jiān)督。

特征層面的融合，將點(diǎn)云的BEV特征作為Q去查詢圖像的特征，做cross-attention得到新的BEV特征，并通過(guò)一系列的卷積融合。得到點(diǎn)云BEV最終特征。

BEV層面的融合，將圖像特征通過(guò)LSS轉(zhuǎn)到BEV后，與點(diǎn)云BEV特征融合，但是由于內(nèi)外參以及深度估計(jì)誤差，所以直接concate會(huì)導(dǎo)致特征對(duì)不齊。所以它先concate然后學(xué)習(xí)一個(gè)flow field，根據(jù)據(jù)flow field對(duì)圖像BEV特征進(jìn)行重新計(jì)算(每個(gè)位置一個(gè)流動(dòng)方向，然后雙線性插值得到流動(dòng)后的特征來(lái)作為當(dāng)前圖像BEV特征)，然后再將兩者concate。

4.MachMap