文章1 PSMNet

• https://arxiv.org/pdf/1803.08669
• PSMNet文章博客
• PSMNet文章中牽涉到的一些知識(shí)，空洞卷積，SPPNet網(wǎng)絡(luò)，計(jì)算視差時(shí)用soft argmin代替argmin
• 文章中引入了空洞卷積和SPPNet網(wǎng)絡(luò)來融合多尺度的信息，又引入3D卷積來增加模型的表現(xiàn)能力，引入了soft argmin來擬合視差，在計(jì)算loss方面，從中間層就引出對(duì)視差的loss進(jìn)行加權(quán)得到總的loss

文章2 GCNet

• 論文https://arxiv.org/pdf/1703.04309
• GCNet文章博客，博客1
• 文章中引入了3D卷積，并引入了3D卷積的沙漏結(jié)構(gòu)，又首次提出了soft argmin代替argmin擬合視差，可以得到連續(xù)的視差值，消融實(shí)驗(yàn)證明了3D卷積結(jié)構(gòu)和soft argmin擬合視差的有效性

文章3 stereoNet

• 論文https://arxiv.org/pdf/1807.08865
• stereoNet博客
• stereoNet代碼
• 主要貢獻(xiàn)時(shí)為了實(shí)時(shí)性，通過降低在計(jì)算costvolume之間的feature的分辨率增加了實(shí)時(shí)性，而降低分辨率性能并沒有降低，但是出來初始的視差會(huì)因分辨率不高而沒有細(xì)節(jié)，接著后面讓左圖和初始視差圖concat作為輸入，進(jìn)行空洞卷積[conv+resblockx6+conv]，增加細(xì)節(jié)特征，輸出視差的殘差，視差+殘差作為新視差，該模塊迭代多次不斷優(yōu)化細(xì)節(jié)，每個(gè)階段都是inchannel=3+1,outchannel=1。最終的loss時(shí)soft L1 loss

文章4 AnyNet

• 論文https://arxiv.org/pdf/1810.11408
• AnyNet 博客，博客1
• 文章的主要貢獻(xiàn)在于靈活，可以在線根據(jù)需求輸出每個(gè)階段的視差，提取特征用的Unet，會(huì)輸出多個(gè)分辨率下的特征圖，視差/殘差估計(jì)用的Disparity Network，就是cost volume + 3D conv + disparity regression,輸出視差/殘差，如果只需要第一階段的視差就滿足要求，第2、3階段的殘差就不需要計(jì)算了，也就是本文的亮點(diǎn)，靈活，最后視差圖又經(jīng)過了一個(gè)SPNet來銳化視差圖

文章5?HSM-Net

• 論文https://arxiv.org/pdf/1912.06704
• HSM-Net 博客，博客1
• 提取特征階段利用類似Unet結(jié)構(gòu)，提取多尺度的特征信息，這其中在沙漏最細(xì)的最后一層，插入了SPP網(wǎng)絡(luò)，主要是增加感受野，SPP不同pooling的結(jié)果進(jìn)行了等權(quán)重0.25的相加作為這一層的最終特征，然后每種分辨率的特征圖都構(gòu)建cost volume，共4個(gè)分辨率的cost volume，分別送入volume解碼模塊，解碼模塊也是一些卷積操作，conv3d+SPP+upConv3d，其中SPP中的操作和上一階段特征提取的操作類似也是等權(quán)重0.25的加權(quán)，每個(gè)decoder都輸出兩個(gè)，一個(gè)叫做feature volume, 一個(gè)叫做cost volume，其中feature volume輸入到下一階段的docoder，而cost volume代表當(dāng)前階段的匹配誤差，要哪個(gè)階段的輸出，直接使用soft argmin計(jì)算得到視差
• 使用自動(dòng)駕駛仿真平臺(tái)生成一些合成數(shù)據(jù)

文章6 FADNet

• 論文?https://arxiv.org/pdf/2003.10758
• FADNet 博客，博客1
• FADNet是沿用了DispNet的結(jié)構(gòu)，在DispNet上進(jìn)行修改，將特征提取的conv2d層替換成dual-resblock，即殘差模塊以增加網(wǎng)絡(luò)深度，在cost volume時(shí)做了消融實(shí)驗(yàn)，證明D=20時(shí)效果最好，太大和太小會(huì)造成擬合不足或者過擬合。兩個(gè)網(wǎng)絡(luò)RB-NetC預(yù)測(cè)多尺度視差，RB-NetS預(yù)測(cè)多尺度視差的殘差，因?yàn)橛卸喑叨鹊囊暡铑A(yù)測(cè)，在訓(xùn)練時(shí)，引入了隨著訓(xùn)練步數(shù)的增加，逐漸增加大尺寸的預(yù)測(cè)視差權(quán)重，直到為1.0，達(dá)到從粗到細(xì)的目的，因?yàn)槭?Dconv所以比較好部署，速度也快

文章 7 AANet

• 論文?https://arxiv.org/pdf/2004.09548
• AANet 博客，更總結(jié)的博客1
• 文章中有個(gè)知識(shí)點(diǎn)叫做可變卷積 deformable conv，原理博客，代碼實(shí)現(xiàn)
• AANet主要有兩個(gè)貢獻(xiàn)點(diǎn)，一個(gè)是同尺度內(nèi)的自適應(yīng)的聚合模塊，其實(shí)使用deformable conv實(shí)現(xiàn)的，即可變卷積實(shí)現(xiàn)，主要為了解決視差不連續(xù)處的邊緣膨脹問題，自適應(yīng)的聚合就可以靈活的查找更有效的聚合點(diǎn)，本質(zhì)上可變卷積就是用一個(gè)單獨(dú)的conv學(xué)一個(gè)offset,加到傳統(tǒng)卷積的位置上，?另一個(gè)貢獻(xiàn)是不同尺度間的聚合模塊，是為了解決弱紋理區(qū)域匹配問題，小尺度的cost volume在弱紋理區(qū)域更具有分辨性，所以多尺度間融合是有必要的，其實(shí)就是上采樣和下采樣后累加起來，這兩個(gè)模塊組合起來乘坐AAmodels，我們使用了6次 AAmodels，視差采用soft argmin 擬合，loss采用平滑L1 loss

文章 8 RAFT-stereo

• 論文?http://arxiv.org/pdf/2109.07547
• RAFT-stereo 博客
• 文章中的知識(shí)點(diǎn)用于計(jì)算cost volume?torch.einsum，迭代模塊GRU，GRU視頻解釋，看不懂直接當(dāng)做一個(gè)模塊【像resblock】使用即可

自動(dòng)駕駛仿真器平臺(tái)

https://zhuanlan.zhihu.com/p/105492011

https://github.com/princeton-vl/infinigen?tab=readme-ov-file

https://arxiv.org/pdf/2312.00343
High-frequency Stereo Matching Network