yolo，暗光目標(biāo)檢測
論文：PE-YOLO

1. 簡介

卷積神經(jīng)網(wǎng)絡(luò)（CNNs）在近年來如何推動了物體檢測的發(fā)展。許多檢測器已經(jīng)被提出，而且在許多基準(zhǔn)數(shù)據(jù)集上的性能正在不斷提高。然而，大多數(shù)現(xiàn)有的檢測器都是在正常條件下對高質(zhì)量圖像進(jìn)行研究。在真實(shí)環(huán)境中，經(jīng)常會出現(xiàn)許多糟糕的光照條件，如夜晚、暗光和曝光過度，這些條件會降低圖像的質(zhì)量，影響檢測器的性能。

前人的解決方案：…略

本文采用了金字塔增強(qiáng)網(wǎng)絡(luò)（PENet）和YOLOv3。首先，PENet使用拉普拉斯金字塔將圖像分解為四個不同分辨率的組件。然后，我們提出了一個細(xì)節(jié)處理模塊（DPM）來增強(qiáng)圖像的細(xì)節(jié)，該模塊由上下文分支和邊緣分支組成。此外，我們還提出了一個低頻增強(qiáng)濾波器（LEF）來捕獲低頻語義并防止高頻噪聲。PE-YOLO采用端到端的聯(lián)合訓(xùn)練方法，并且只使用正常的檢測損失來簡化訓(xùn)練過程。我們在低光照物體檢測數(shù)據(jù)集ExDark上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明，與其他暗物體檢測器和低光照增強(qiáng)模型相比，PE-YOLO取得了先進(jìn)的結(jié)果，在mAP上達(dá)到78.0%，在FPS上達(dá)到53.6%，可以適應(yīng)不同的低光照條件下的物體檢測。

2. 相關(guān)工作

2.1 目標(biāo)檢測

略

2.2 低照圖像增強(qiáng)

低光照增強(qiáng)任務(wù)的目標(biāo)是通過恢復(fù)圖像細(xì)節(jié)和糾正色彩失真來提高人類的視覺感知，并為如物體檢測等高級視覺任務(wù)提供高質(zhì)量的圖像。張等人提出了一種名為Kind的模型，它可以通過不同照度的配對圖像進(jìn)行訓(xùn)練，無需地面真實(shí)值。郭等人提出了Zero DCE，它將低光照增強(qiáng)任務(wù)轉(zhuǎn)化為特定圖像的曲線估計問題。呂等人提出了一種多分支低光照增強(qiáng)網(wǎng)絡(luò)（MBLLEN），該網(wǎng)絡(luò)在不同級別提取特征并通過多分支融合生成輸出圖像。崔等人提出了一種名為Illumination Adaptive Transformer (IAT)的模型，通過動態(tài)查詢學(xué)習(xí)來構(gòu)建端到端的Transformer。在低光照增強(qiáng)模型恢復(fù)圖像細(xì)節(jié)后，檢測器的效果得到了改善。然而，大多數(shù)低光照增強(qiáng)模型都很復(fù)雜，并且對檢測器的實(shí)時性能有很大影響。

2.3 惡劣條件下的目標(biāo)檢測

IA-YOLO，該模型通過自適應(yīng)增強(qiáng)每個圖像來提高檢測性能。他們提出了一個可微分的圖像處理（DIP）模塊，用于處理惡劣天氣，并使用了一個小型的卷積神經(jīng)網(wǎng)絡(luò)（CNN-PP）來調(diào)整DIP的參數(shù)。在IA-YOLO的基礎(chǔ)上，Kalwar等人提出了GDIP-YOLO。GDIP提出了一個門控機(jī)制，允許多個DIP并行操作。秦等人提出了檢測驅(qū)動增強(qiáng)網(wǎng)絡(luò)（DENet），用于在惡劣天氣條件下進(jìn)行物體檢測。崔等人提出了一種用于暗物體檢測的多任務(wù)自動編碼變換（MAET），探索了照明轉(zhuǎn)換背后的潛在空間。

3. 網(wǎng)絡(luò)

首先，我們使用高斯金字塔將圖像I分解為不同分辨率的子圖像。然后，我們提出了一個細(xì)節(jié)處理模塊（DPM）和一個低頻增強(qiáng)濾波器（LEF）來增強(qiáng)每個尺度的組件。在拉普拉斯金字塔中，每一層都是通過減去上一層的高斯金字塔后上采樣得到的。當(dāng)重構(gòu)圖像時，我們只需要執(zhí)行（2）的逆操作即可恢復(fù)原始的高分辨率圖像。這種方法允許我們在保持圖像質(zhì)量的同時，降低圖像的復(fù)雜性和計算需求。

拉普拉斯金字塔在底部時更關(guān)注細(xì)節(jié)信息，而高層時更關(guān)注全局信息。所以提出了細(xì)節(jié)增強(qiáng)模塊和低頻增強(qiáng)模塊

3.1 細(xì)節(jié)增強(qiáng)模塊

分為上下文模塊和邊緣細(xì)節(jié)模塊

3.2 低頻增強(qiáng)模塊

低頻組件包含了圖像中的大部分語義信息，它們是檢測器預(yù)測的關(guān)鍵信息。為了豐富重構(gòu)圖像的語義，我們提出了低頻增強(qiáng)濾波器（LEF）來捕獲組件中的低頻信息。我們首先通過卷積層將組件f轉(zhuǎn)換為f。我們使用動態(tài)低通濾波器來捕獲低頻信息，并使用平均池化進(jìn)行特征過濾，只允許低于截止頻率的信息通過。不同語義的低頻閾值是不同的?？紤]到Inception的多尺度結(jié)構(gòu)，我們使用了大小為1×1、2×2、3×3、6×6的自適應(yīng)平均池化

4. 實(shí)驗(yàn)

數(shù)據(jù)：ExDark，7363張圖像，10種不同的照度條件
訓(xùn)練：608x608，SGD, Batch=8, 30epoch,12個類

首先，將PE-YOLO與其他低光照增強(qiáng)模型進(jìn)行了比較。由于低光照增強(qiáng)模型缺乏檢測能力，他們將使用與PE-YOLO相同的檢測器對所有增強(qiáng)后的圖像進(jìn)行實(shí)驗(yàn)。他們將mAP的IoU閾值設(shè)定為0.5，并展示了性能比較結(jié)果。結(jié)果發(fā)現(xiàn)，直接在YOLOv3之前使用低光照增強(qiáng)模型并不能顯著提高檢測性能

2，3，4應(yīng)該都只是圖像增強(qiáng)的方法。

雖然增強(qiáng)了圖像但是檢測指標(biāo)并不是最好的

和其他暗光檢測器的對比
結(jié)果顯示，PE-YOLO在物體檢測中更為準(zhǔn)確。與DENet和使用LOL數(shù)據(jù)集預(yù)訓(xùn)練的IAT-YOLO相比，PE-YOLO在mAP上分別提高了0.7%和0.2%，并且PE-YOLO在FPS上也幾乎是最高的。這些數(shù)據(jù)表明，PE-YOLO更適合在暗環(huán)境中進(jìn)行物體檢測。

網(wǎng)絡(luò)結(jié)構(gòu)對比實(shí)驗(yàn)
2個增強(qiáng)模塊的有效性