YOLOv8最新改進(jìn)系列：融合DySample超輕量動態(tài)上采樣算子，低延遲、高性能，目前最新上采樣方法！！！遙遙領(lǐng)先！

DySample超輕量動態(tài)上采樣算子全文戳這！here!

詳細(xì)的改進(jìn)教程以及源碼，戳這！戳這！！戳這！！！B站：AI學(xué)術(shù)叫叫獸 源碼在相簿的鏈接中，動態(tài)中也有鏈接，感謝支持！祝科研遙遙領(lǐng)先！

---

arge Separable Kernel Attention: Rethinking the
Large Kernel Attention Design in CNN（提出原文戳這）

詳細(xì)的改進(jìn)教程以及源碼，戳這！戳這！！戳這！！！B站：AI學(xué)術(shù)叫叫獸 源碼在相簿的鏈接中，動態(tài)中也有鏈接，感謝支持！?？蒲羞b遙領(lǐng)先！
截止到發(fā)稿時，B站YOLOv9最新改進(jìn)系列的源碼包，已更新了11種的改進(jìn)！自己排列組合2-4種后，考慮位置不同后可排列組合上千種！！專注AI學(xué)術(shù)，關(guān)注B站博主：Ai學(xué)術(shù)叫叫獸er！

摘要

我們介紹DySample，一個超輕量和有效的動態(tài)上采樣器。雖然最近基于內(nèi)核的動態(tài)上采樣器(如CARAFE、FADE和SAPA)的性能提升令人印象深刻，但它們帶來了大量的工作負(fù)載，主要是由于耗時的動態(tài)卷積和用于生成動態(tài)內(nèi)核的額外子網(wǎng)絡(luò)。此外，對高特征指導(dǎo)的需求在某種程度上限制了它們的應(yīng)用場景。為了解決這些問題，我們繞過動態(tài)卷積并從點采樣的角度制定上采樣，這更節(jié)省資源，并且可以很容易地使用PyTorch中的標(biāo)準(zhǔn)內(nèi)置函數(shù)實現(xiàn)。我們首先展示了一個樸素的設(shè)計，然后演示了如何逐步加強(qiáng)其上采樣行為，以實現(xiàn)我們的新上采樣器DySample。與以前基于內(nèi)核的動態(tài)上采樣器相比，DySample不需要定制CUDA包，并且具有更少的參數(shù)、FLOPs、GPU內(nèi)存和延遲。除了輕量級的特點，DySample在五個密集預(yù)測任務(wù)上優(yōu)于其他上采樣器，包括語義分割、目標(biāo)檢測、實例分割、全視分割和單目深度估計。

1 簡介

特征上采樣是密集預(yù)測模型中逐漸恢復(fù)特征分辨率的關(guān)鍵因素。最常用的上采樣器是最近鄰（NN）和雙線性插值，它們遵循固定的規(guī)則來插值上采樣值。為了增加靈活性，在一些特定任務(wù)中引入了可學(xué)習(xí)的上采樣器，例如，實例分割中的去卷積[13]和圖像超分辨率中的像素混洗場景（高分辨率功能必須可用）。與早期的普通網(wǎng)絡(luò)不同，多尺度特征經(jīng)常用于現(xiàn)代架構(gòu)中;因此，作為上采樣器輸入的高分辨率特征可能不是必要的。例如，在特征金字塔網(wǎng)絡(luò)（FPN）[23]中，高分辨率特征將在上采樣后添加到低分辨率特征中。因此，我們認(rèn)為設(shè)計良好的單輸入動態(tài)上采樣器就足夠了。考慮到動態(tài)卷積引入的繁重工作量，我們繞過基于內(nèi)核的范例并返回到上采樣的本質(zhì)，即，點采樣，以重新制定上采樣過程。具體來說，我們假設(shè)輸入的功能是內(nèi)插到一個連續(xù)的雙線性插值，并產(chǎn)生內(nèi)容感知的采樣點重新采樣的連續(xù)地圖。從這個角度來看，我們首先提出了一個簡單的設(shè)計，其中逐點偏移由線性投影生成，并用于使用PyTorch中的網(wǎng)格采樣函數(shù)重新采樣點值。然后，我們展示了如何通過i）控制初始采樣位置，ii）調(diào)整偏移量的移動范圍，iii）將上采樣過程劃分為幾個獨立的組來逐步改進(jìn)它，并獲得我們的新上采樣器DySample。在每一步，我們解釋為什么需要調(diào)整，并進(jìn)行實驗，以驗證性能增益。與其他動態(tài)上采樣器相比，DySample i）不需要高分辨率的引導(dǎo)功能作為輸入，ii）也不需要PyTorch以外的任何額外CUDA包，特別是iii）具有更少的推理延遲，內(nèi)存占用，FLOP和參數(shù)數(shù)量，如圖1和圖8所示。例如，在以MaskFormer-SwinB [8]為基線的語義分割上，DySample比CARAFE的性能提高了46%，但只需要CARAFE的3%的參數(shù)和20%的FLOP。由于高度優(yōu)化的PyTorch內(nèi)置函數(shù)，DySample的推理時間也接近雙線性插值（6.2 ms vs. 1.6 ms，當(dāng)對256 × 120 × 120特征圖進(jìn)行上采樣時）。除了這些吸引人的輕量級特性外，DySample在五個密集預(yù)測任務(wù)（包括語義分割、對象檢測、實例分割、全景分割和單眼深度估計）上的性能優(yōu)于其他上采樣器。簡而言之，我們認(rèn)為DySample可以安全地取代現(xiàn)有密集預(yù)測模型中的NN/雙線性插值，不僅是有效性，而且是效率。

圖1.比較不同上采樣器的性能、推理速度和GFLOP。圓圈的大小表示GFLOP的成本。通過對尺寸為256×120×120的特征圖進(jìn)行×2上采樣來測試推理時間。使用SegFormer-B1 [40]在ADE 20 K數(shù)據(jù)集[42]上測試mIoU性能和其他GFLOP。

2 相關(guān)工作

我們回顧了深度學(xué)習(xí)中的密集預(yù)測任務(wù)、特征上采樣算子和動態(tài)采樣。密集預(yù)測任務(wù)。密集預(yù)測是指需要逐點標(biāo)簽預(yù)測的任務(wù)的分支，例如語義/實例/全景分割[2，39，40，8，7，13，11，16，19]，對象檢測[33，4，24，36]和單眼深度估計[38，18，3，21]。不同的任務(wù)往往表現(xiàn)出不同的特點和困難。例如，在語義分割中很難預(yù)測平滑的內(nèi)部區(qū)域和尖銳的邊緣，在實例感知任務(wù)中也很難區(qū)分不同的對象。在深度估計中，具有相同語義含義的像素可能具有相當(dāng)不同的深度，反之亦然。人們經(jīng)常需要為不同的任務(wù)定制不同的架構(gòu)。雖然模型結(jié)構(gòu)各不相同，但上采樣算子是密集預(yù)測模型中的重要組成部分。由于主干通常輸出多尺度特征，因此低分辨率特征需要上采樣到更高的分辨率。因此，一個輕量級的，有效的上采樣器將有利于許多密集的預(yù)測模型。我們將展示我們新的上采樣器設(shè)計為SegFormer [40]和MaskFormer [8]帶來了一致的性能提升，用于語義分割，用于對象檢測的Faster R-CNN [33]，例如分割的Mask R-CNN [13]，用于全景分割的Panoptic FPN [16]，以及用于單目深度估計的DepthFormer [21]，同時引入可忽略不計的工作量。功能上采樣。常用的特征上采樣器是NN和雙線性插值。它們應(yīng)用固定的規(guī)則來插值低分辨率特征，忽略了特征圖中的語義含義。SegNet [2]在語義分割中采用了最大解池來保留邊緣信息，但噪聲和零填充的引入破壞了平滑區(qū)域的語義一致性。與卷積類似，一些可學(xué)習(xí)的上采樣器在上采樣中引入了可學(xué)習(xí)的參數(shù)。例如，反卷積以卷積的相反方式對特征進(jìn)行上采樣。Pixel Shuffle [34]使用卷積提前增加通道數(shù)，然后重塑特征圖以提高分辨率。最近，一些動態(tài)上采樣算子進(jìn)行內(nèi)容感知上采樣。CARAFE [37]使用子網(wǎng)絡(luò)來生成內(nèi)容感知的動態(tài)卷積核來重新組裝輸入特征。FADE [29]提出將高分辨率和低分辨率特征聯(lián)合收割機(jī)來生成動態(tài)內(nèi)核，以便使用高分辨率結(jié)構(gòu)。SAPA [30]進(jìn)一步引入了點關(guān)聯(lián)的概念，并計算高分辨率和低分辨率特征之間的相似性感知內(nèi)核。作為模型插件，這些動態(tài)上采樣器增加了比預(yù)期更多的復(fù)雜性，特別是對于需要高分辨率特征輸入的FADE和SAPA。因此，我們的目標(biāo)是提供一個簡單，快速，低成本和通用的上采樣器，同時保留動態(tài)上采樣的有效性特征圖，作為標(biāo)準(zhǔn)網(wǎng)格采樣的替代。Dai等人。[9]和Zhu等人。[43]提出了可變形卷積網(wǎng)絡(luò)，其中標(biāo)準(zhǔn)卷積中的矩形窗口采樣被移位點采樣取代。Deformable DETR [44]遵循這種方式，對與某個查詢相關(guān)的關(guān)鍵點進(jìn)行采樣，以進(jìn)行可變形注意。當(dāng)圖像被下采樣到低分辨率時，也會發(fā)生類似的做法，用于內(nèi)容感知的圖像增強(qiáng)，也稱為縫刻[1]。例如，在一個示例中，Zhang等人。[41]提出學(xué)習(xí)使用顯著性指導(dǎo)對圖像進(jìn)行下采樣，以保留原始圖像的更多信息，Jin等人。[15]還設(shè)置了一個可學(xué)習(xí)的變形模塊來對圖像進(jìn)行下采樣。與目前基于核的上采樣器不同，我們將上采樣的本質(zhì)解釋為點重采樣。因此，在特征上采樣中，我們傾向于遵循與上述工作相同的精神，并使用簡單的設(shè)計來實現(xiàn)強(qiáng)大而高效的動態(tài)上采樣器。

3.學(xué)習(xí)采樣和上采樣

詳細(xì)的方法介紹看全文即可，鏈接在文首！

4 結(jié)論

我們提出了DySample，一個快速，有效，通用的動態(tài)上采樣器。與一般的基于核函數(shù)的動態(tài)上采樣不同，DySample是從點采樣的角度進(jìn)行設(shè)計的。我們從一個簡單的設(shè)計開始，并展示如何從我們對上采樣的深刻見解中逐步提高其性能。與其他動態(tài)上采樣器相比，DySample不僅報告了最佳性能，而且擺脫了定制的CUDA包，消耗了最少的計算資源，在延遲，訓(xùn)練內(nèi)存，訓(xùn)練時間，GFLOPs和參數(shù)數(shù)量方面表現(xiàn)出優(yōu)越性。對于未來的工作，我們計劃將DySample應(yīng)用于低級別任務(wù)，并研究上采樣和下采樣的聯(lián)合建模。

9 修改步驟！

4.1 修改YAML文件

詳細(xì)的改進(jìn)教程以及源碼，戳這！戳這！！戳這！！！B站：AI學(xué)術(shù)叫叫獸 源碼在相簿的鏈接中，動態(tài)中也有鏈接，感謝支持！?？蒲羞b遙領(lǐng)先！

4.2 新建.py

詳細(xì)的改進(jìn)教程以及源碼，戳這！戳這！！戳這！！！B站：AI學(xué)術(shù)叫叫獸er 源碼在相簿的鏈接中，動態(tài)中也有鏈接，感謝支持！?？蒲羞b遙領(lǐng)先！

4.3 修改tasks.py

詳細(xì)的改進(jìn)教程以及源碼，戳這！戳這！！戳這！！！B站：AI學(xué)術(shù)叫叫獸er 源碼在相簿的鏈接中，動態(tài)中也有鏈接，感謝支持！?？蒲羞b遙領(lǐng)先！

三、驗證是否成功即可

執(zhí)行命令

python train.py

改完收工！
關(guān)注B站：Ai學(xué)術(shù)叫叫獸er
從此走上科研快速路
遙遙領(lǐng)先同行！！！！

詳細(xì)的改進(jìn)教程以及源碼，戳這！戳這！！戳這！！！B站：AI學(xué)術(shù)叫叫獸er 源碼在相簿的鏈接中，動態(tài)中也有鏈接，感謝支持！?？蒲羞b遙領(lǐng)先！