當前位置：首頁 > news >正文

廣州網(wǎng)站建設易點寧波seo關鍵詞優(yōu)化

news 2025/7/4 17:22:09

廣州網(wǎng)站建設易點,寧波seo關鍵詞優(yōu)化,閔行區(qū)疫情最新消息,做網(wǎng)站需要具備哪些條件0. 摘要 0.1. 問題提出 1.超分辨率(SR)是一個不適定逆問題，可行解眾多。 2.超分辨率(SR)算法在可行解中尋找一個在保真度和感知質(zhì)量之間取得平衡的“良好”解。 3.現(xiàn)有的方法重建高頻細節(jié)時會產(chǎn)生偽影和幻覺，模型區(qū)分圖像細節(jié)與偽影仍是難題。 0.2. …

0. 摘要

0.1. 問題提出

1.超分辨率(SR)是一個不適定逆問題，可行解眾多。

2.超分辨率(SR)算法在可行解中尋找一個在保真度和感知質(zhì)量之間取得平衡的“良好”解。

3.現(xiàn)有的方法重建高頻細節(jié)時會產(chǎn)生偽影和幻覺，模型區(qū)分圖像細節(jié)與偽影仍是難題。

0.2. 方法介紹

0.2.1. 損失函數(shù)改進

本文表明，使用基于小波域損失函數(shù)的生成對抗網(wǎng)絡(GAN)超分辨率模型進行訓練，可以更好地學習到真正的高頻細節(jié)與偽影的特征，相比之下，RGB 域或傅里葉空間的損失函數(shù)則不然。

損失函數(shù)

損失函數(shù)	定義	具體說明
RGB 域	在 RGB（紅、綠、藍）顏色空間中定義的損失函數(shù)。 RGB 顏色空間是最常見的用于表示彩色圖像的模型，其中每個像素由紅、綠、藍三個通道的值來描述。	包含L2損失函數(shù)（均方誤差，MSE）、L1損失函數(shù)（平均絕對誤差，MAE）、感知損失
傅里葉空間	在傅里葉變換后的頻域中定義的損失函數(shù)。傅里葉變換將圖像從空域（即 RGB 像素空間）轉換到頻域，其中低頻部分表示圖像的大致輪廓等基本信息，高頻部分表示圖像的細節(jié)信息。	在頻率域中，圖像的低頻部分主要包含了圖像的輪廓和基本形狀等信息，高頻部分則包含了圖像的細節(jié)信息。通過在傅里葉空間定義損失函數(shù)，可以更好地控制重建圖像的頻率成分。公式為 $L_{Fourier}=\frac{1}{M}\sum_{j=1}^{M}\|\|F(y)_{j}-F(\hat{y})_{j}\|\|$ $F(y)_{j}$ 和 $F(\hat{y})_{j}$ 分別是原始圖像 $y$ 和重建圖像 $\hat{y}$ 的傅里葉變換，其中 $M$ 是頻率域中的采樣點數(shù)。
小波域	在小波變換后的小波域中定義的損失函數(shù)。小波變換可以將圖像分解為不同尺度和方向的小波系數(shù)，這些系數(shù)能夠更好地描述圖像的局部特征。	小波變換能夠同時提供圖像在空間和頻率上的局部信息。在超分辨率重構中，不同尺度的小波系數(shù)對應著圖像不同層次的細節(jié)。大尺度的小波系數(shù)主要反映圖像的輪廓等低頻信息，小尺度的小波系數(shù)則反映圖像的細節(jié)等高頻信息。通過在小波域定義損失函數(shù)，可以更有針對性地恢復圖像的細節(jié)。公式為 $L_{Wavelet}=\frac1P\sum_{k=1}^P(W(y)_k-W(\hat{y})_k)^2$ $W(y)$ 和 $W(\hat{y})$ 分別是原始圖像 $y$ 和重建圖像 $\hat{y}$ 的小波系數(shù)， $P$ 是小波系數(shù)的總數(shù)。

0.2.2. 判別器訓練創(chuàng)新

通常情況下，判別器是基于 RGB 圖像進行訓練的。RGB 圖像包含了紅、綠、藍三個顏色通道的信息，是我們常見的圖像表示形式。

然而，在本文中，作者提出僅對高頻小波子帶進行判別器的訓練。這樣訓練的優(yōu)勢是高頻小波子帶能夠更突出地反映圖像中的細節(jié)和邊緣等信息，這些細節(jié)對于判斷圖像的真實性和質(zhì)量至關重要。例如，在一幅包含人物和背景的圖像中，人物的輪廓、發(fā)絲以及背景中的樹葉紋理等細節(jié)信息在高頻小波子帶中會更加明顯。通過在高頻小波子帶中訓練判別器，它可以更專注于這些細節(jié)特征，從而更精準地判斷生成的細節(jié)是真實的還是偽造的，有效地區(qū)分圖像中的真實細節(jié)和偽影，更好地控制細節(jié)與幻影偽影。

0.2.3. 生成器訓練方式

在訓練生成器時，使用小波子帶的保真度損失。小波變換（如 SWT）可以將圖像分解為不同尺度和方向的子帶，每個子帶都包含了圖像在特定尺度和方向上的信息。通過計算生成圖像的小波子帶與真實高分辨率圖像的小波子帶之間的差異（保真度損失），并將這些差異反向傳播給生成器，使生成器學習如何調(diào)整生成的圖像，以減小這種差異。這種訓練方式使得生成器在生成圖像時，能夠更加關注圖像結構的尺度和方向信息。例如，在生成建筑物的圖像時，生成器可以根據(jù)不同小波子帶中的信息，準確地還原出建筑物的輪廓（大尺度結構）以及墻壁上的磚塊紋理（小尺度結構），并且保證這些結構在不同方向上的正確性，如水平和垂直方向的線條等。這樣生成的超分辨率圖像在結構和細節(jié)上更加逼真，與真實圖像的特征更加接近。

0.3. 結果展示

大量的實驗結果表明，根據(jù)多個客觀指標和視覺評估，我們的模型實現(xiàn)了更好的感知失真權衡｡

1. 引言

1.1. 單幅圖像超分辨率

卷積神經(jīng)網(wǎng)絡CNN，通過像素級 $l_{1}$ 和 $l_{2}$ 保真度損失進行訓練。

隨后出現(xiàn)了更好的模型，采用了殘差連接和稠密連接。

后來，空間注意力、通道注意力和Transformer網(wǎng)絡在峰值信噪比PSNR和結構相似度SSIM方面表現(xiàn)出了令人印象深刻的性能。

然而，平均誤差最小化傾向于所有可行SR輸出的概率加權平均；因此，僅基于保真度損失進行優(yōu)化的模型會產(chǎn)生過于平滑的圖像，缺乏HF細節(jié)。

1.2. 生成超分辨率模型

為了感知質(zhì)量更好的結果，提出了生成超分辨率模型，如生成對抗網(wǎng)絡GANs ､流模型和擴散模型。生成超分辨率模型旨在從類似于真實圖像的分布中采樣預測的超分辨率圖像。然而，眾所周知，它們會產(chǎn)生高頻細節(jié)的幻覺和結構性偽影。

流和擴散模型在某種意義上執(zhí)行隨機采樣，即單個模型可以生成許多樣本。因此,它們對每個樣本在學習細節(jié)與偽影之間的控制較少｡

在本文中，我們專注于條件生成對抗網(wǎng)絡超分辨率模型，即單個訓練模型生成單個超分辨率圖像樣本。生成對抗網(wǎng)絡模型通過像素級保真度和對抗(判別器)損失的加權和進行訓練。此外，還提出了額外的感知損失，如VGG損失､紋理匹配損失和內(nèi)容損失，以強制超分辨率和GT 圖像之間的特征級相似性，從而減輕幻覺和偽影。然而，感知損失在控制幻覺和失真方面并不足夠有效。

1.3. 感知失真權衡

感知失真權衡假設指出，存在一個界限，超過這個界限，任何感知質(zhì)量的提升(通過無參考度量來衡量)都會以失真的增加(通過全參考度量來衡量) 為代價｡在保真度和感知質(zhì)量之間找到最佳權衡不是一個定義明確的優(yōu)化問題,主要是因為沒有一種定量的感知圖像質(zhì)量度量與人類偏好有良好的相關性。認識到這一點，最近的超分辨率挑戰(zhàn)要求超分辨率重建在正向退化模型下與低分辨率觀測結果一致(也稱為可行解), 并對視覺質(zhì)量進行人類評估。然而，可行解集合的大小非常龐大，即使對于人類來說，確定哪些可行解包含真實的圖像細節(jié)，哪些包含偽影或幻覺也是極其困難的。

1.5. 框架介紹

GAN-SR，利用小波域損失來抑制幻影和偽影，以實現(xiàn)更好的峰值信噪比(PD)權衡。

1.5.1. SWT子帶

SWT 是一種將圖像分解為多個子帶的技術。

在本文提出的 GAN - SR 框架中，利用 SWT 子帶的特性來定義保真損失和對立損失。

1.5.2. 保真損失

計算 $I_{SR}$ 經(jīng)過 SWT 分解后的子帶的 $l_{1}$ 損失加權組合與 $I_{HR}$ 經(jīng)過 SWT 分解后的子帶的 $l_{1}$ 損失加權組合，再比較它們之間的差異（這里采用的不是傳統(tǒng)的 RGB 域 $l_{1}$ 損失）

1.5.3. 對立損失

將 $I_{HR}$ 的高頻子帶連接后輸入判別器得到一個結果，同時將 $I_{SR}$ 的高頻子帶連接后輸入判別器得到另一個結果，然后根據(jù)這兩個結果計算對立損失。

1.5.4. 不進行子采樣

在一般的小波變換（如 DWT）過程中，子采樣是指在對圖像進行分解時，在某個方向（通常是水平或垂直方向）上每隔一定數(shù)量的像素點選取一個像素點，從而降低圖像在該方向上的分辨率。例如，在水平方向上進行 2 倍子采樣，就是每隔一個像素選取一個像素，這樣圖像的寬度就會變?yōu)樵瓉淼囊话搿Ｗ硬蓸拥哪康氖菧p少數(shù)據(jù)量，加快計算速度，但同時也會損失一定的信息。SWT 在分解圖像時不進行子采樣，這使得它能夠提供低頻（LF）和高頻（HF）子帶的獨特局部特征。因為沒有子采樣帶來的信息丟失，SWT 分解后的子帶能夠更準確地反映圖像在不同尺度和方向上的特征，圖像的尺度和頻率信息與空間位置內(nèi)在地耦合在一起。例如，對于一幅包含精細紋理和復雜結構的圖像，SWT 可以完整地保留這些細節(jié)在各個子帶中的信息，使得模型在處理圖像時能夠更好地捕捉到圖像的局部特征，從而在定義保真損失和對立損失時，能夠更精準地控制圖像重建過程，有助于抑制幻影和偽影，實現(xiàn)更好的峰值信噪比權衡，提高超分辨率圖像的質(zhì)量。

1.6. 優(yōu)越性和貢獻

我們提出了一種小波域保真度損失(不同小波子帶的 $l_{1}$ 損失的加權組合，而非傳統(tǒng)的RGB域 $l_{1}$ 損失)，?它在 SWT 子帶中能更好地觀察到圖像局部結構的尺度和方向，對局部結構的尺度和方向更敏感｡

我們提議在對抗訓練中使用 SWT 域判別器，以控制高頻失真。我們表明，與傳統(tǒng)的 RGB 域判別器相比，在高頻小波子帶上訓練判別器，能夠更好地控制優(yōu)化景觀，將失真與真實的圖像細節(jié)分離出來｡

我們表明，將我們提出的小波引導訓練方案與 RGB 域的 DISTS 感知損失(而非傳統(tǒng)的基于 VGG 的 LPIPS 損失)相結合，顯著提高了保真度(在峰值信噪比中高達 0.5 分貝)，同時感知質(zhì)量的損失極小 (不到 1%)｡

2. 相關工作

GAN-based SR.基于生成對抗網(wǎng)絡的超分辨率。

Training GANs by Frequency Domain Losses.通過頻域損失訓練生成對抗網(wǎng)絡。

Modeling SR in the Wavelet Domain.在小波域中對超分辨率進行建模。

3. WGSR: Wavelet-Guided SR Framework

WGSR框架通過以下方式抑制高頻幻影和失真，以實現(xiàn)更好的PD平衡：

僅在高頻子帶上訓練判別器
引入小波域失真損失來引導生成器
選擇更合適的感知損失,使其與我們的優(yōu)化目標更好地耦合

3.1. 使用小波域損失的原因

平穩(wěn)小波變換（SWT）允許將圖像進行多尺度分解，分解為一個被稱為 LL 的低頻子帶和幾個高頻（例如，LH、HL、HH）子帶。

LL 子帶的分解級別決定了分別在水平、垂直和對角方向傳輸詳細信息的高頻子帶的數(shù)量。

需要注意的是，由于在超分辨率任務中分辨率至關重要，我們使用 SWT 而不是經(jīng)典的離散小波變換DWT。SWT與DWT的主要區(qū)別在于SWT去除了 DWT 中的子采樣，因此，SWT 方法將尺度和頻率信息與空間位置內(nèi)在地耦合在一起。

LL 子帶的重要性：SWT 把圖像分解后，LL 子帶就像是圖像的 “根基”，對重建圖像的好壞（保真度）影響很大。如果這個 “根基” 的頻率被改變了，那整個圖像就可能變得不像原來的樣子，也就是失真了。所以要保證 LL 子帶的頻率穩(wěn)定不變。同時，圖像中那些和 LL 空間內(nèi)容能對應得上的高頻部分（比如一些邊緣、紋理等細節(jié)）也得重建好，這樣圖像看起來才真實。

通過對比 ESRGAN + 和 WGSR 方法在 SWT 分解下的情況，能看出 SWT 引導對抗訓練的好處。

ESRGAN + 的問題：拿 ESRGAN + 這個方法來說，它在訓練的時候沒有小波域損失的引導，就像走路沒有地圖一樣。它生成的圖像有很明顯的夸大的偽影，就好像圖像上多了一些不該有的東西。特別是 HL 子帶，因為圖像里結構的方向等原因，這個子帶里有更多的幻影，也就是看起來不真實的東西，它的失真程度更高，在和其他子帶比較時，峰值信噪比（PSNR）分數(shù)最低。這就說明這個區(qū)域（HL 子帶）需要改進。但是如果從普通的 RGB 圖像里去找這些問題并改進，對判別器網(wǎng)絡來說太難了，它根本發(fā)現(xiàn)不了圖像里這些不自然的偽影。

WGSR 的優(yōu)勢：而我們提出的 WGSR 方法就不一樣了。我們通過只把高頻（HF）子帶輸入到判別器網(wǎng)絡里，而不是整個 RGB 圖像，這樣就能更容易地把圖像的細節(jié)和那些不好的偽影分開。經(jīng)過這樣的優(yōu)化，不管是在各個子帶，還是最后得到的超分辨率（SR）圖像，都有很大的進步，圖像變得非常逼真，里面都是真實的圖像細節(jié)，而不是那些假的幻影和偽影。所以說，SWT 引導的對抗訓練是很有優(yōu)勢的，可以讓我們的模型生成更好的超分辨率圖像。

3.2. 結構

如圖所示的所提出的框架由一個RGB域生成器和一個SWT 域判別器組成，它們使用 SWT 引導的保真度和對抗性以及像素域感知損失進行聯(lián)合訓練。該框架具有通用性，任何生成器和任何判別器模型都可以輕松地插入到這個框架中｡

3.2.1. SWT域判別器

SWT 域判別器旨在判斷生成圖像的高頻細節(jié)與真實高頻細節(jié)的相似程度，通過特定的訓練流程和架構，使其專注于評估水平、垂直和對角方向的細節(jié)，以穩(wěn)定訓練并有效防止幻覺與消除失真。

判別器任務

判別器就像一個 “裁判”，它的工作是判斷生成圖像中的高頻細節(jié)（包括低頻、高頻和中頻子帶中的高頻部分）和真實圖像的高頻細節(jié)相比，有多像真的。它只關注圖像在水平、垂直和對角方向上的細節(jié)，而不是直接看整個 RGB 圖像。因為這些方向的細節(jié)對于控制圖像中真正的細節(jié)和那些不好的幻影、偽影特別重要。比如說，一張照片里建筑物的邊緣（水平和垂直方向細節(jié)）、樹葉的脈絡（對角方向細節(jié)）等，判別器要能判斷生成圖像里這些地方和真實圖像的差別。

子帶信息與訓練簡化

低頻（LL）、高頻水平（LH）、高頻垂直（HL）和高頻對角（HH）子帶傳遞的是稀疏信息。這就好比給判別器提供了一份簡化的 “線索清單”，讓它的任務變得更容易，訓練也能更穩(wěn)定。例如，在一幅風景圖像中，LL 子帶可能給出了大致的地形輪廓（低頻信息），LH 子帶突出了水平方向的紋理（如河流、地平線等），HL 子帶強調(diào)了垂直方向的元素（如樹木、電線桿等），HH 子帶則體現(xiàn)了對角方向的細節(jié)（如山坡的斜邊、建筑物的棱角等）。這些信息不像完整的 RGB 圖像那么復雜，判別器可以更輕松地根據(jù)這些子帶信息來判斷圖像的好壞。

訓練流程

首先，要對生成的圖像進行 YCbCr 轉換，這就像是把圖像的 “語言” 翻譯成判別器能聽懂的形式。然后，只取其中的 Y 通道，把 Cb 和 Cr 通道扔掉，再對 Y 通道應用 SWT 分解，這樣就能得到我們需要的低頻、高頻水平、高頻垂直和高頻對角子帶。在訓練判別器的時候，只用 LH、HL、HH 這些細節(jié)子帶。

判別器架構

判別器的內(nèi)部結構像一個 “加工廠”，有9個卷積層，這些卷積層的核大小在 $3\times 3$ 和 $4\times 4$ 之間交替變化。

卷積層后面跟著二維批量歸一化，就像對加工過程中的數(shù)據(jù)進行 “整理”，讓數(shù)據(jù)更規(guī)范。

在卷積層和批量歸一化之間還有 ReLU 激活函數(shù)，它就像一個 “開關”，決定哪些信息可以繼續(xù)傳遞下去。

每個卷積層輸出的特征數(shù)量從 64 慢慢增加到 512，最后通過兩個具有 LeakyReLU 激活的線性層，輸出一個二維數(shù)組。這個數(shù)組就是判別器給出的 “判決結果”，告訴我們生成圖像的高頻子帶和真實圖像的高頻子帶是否相似。

通過這樣的架構，判別器能夠把注意力集中在生成圖像的高頻細節(jié)上，尤其是那些能清楚區(qū)分偽造細節(jié)和真實細節(jié)的地方，從而防止圖像中出現(xiàn)幻覺（看到不存在的東西），并消除失真（讓圖像看起來更真實）。

3.2.2. RGB域生成器

選擇RRDB架構作為骨干生成器網(wǎng)絡，其由 23 個不含批量歸一化的殘差密集塊組成。

除了輸出層，所有卷積層都使用具有64個特征的 $3\times 3$ 核，并選擇 Leaky ReLU 作為激活函數(shù)。

由于生成器網(wǎng)絡在訓練期間隨機裁剪 RGB 塊，我們將其稱為 RGB 域生成器。

值得一提的是，我們提出的具有小波域損失和小波變換域判別器的訓練方案可以與任何生成器網(wǎng)絡架構相結合。

3.3. 通過 SWT 域損失進行訓練

SWT 域保真損失 $L_{SWT}$

與傳統(tǒng) $GAN-SR$ 方法使用 RGB 域保真損失不同，本文定義了 SWT 域保真損失 $L_{SWT}$ ，并帶有相應的調(diào)優(yōu)參數(shù) $\lambda _{j}$ 。其計算方式是先對生成圖像 $I_{SR}$ 和真實圖像 $I_{HR}$ 進行 SWT 分解，然后計算它們在各個子帶 $j$ 上的 $l_{1}$ 保真損失，乘以對應的縮放因子 $\lambda _{j}$ 后求和，再對小批量數(shù)據(jù)求平均。

例如，對于圖像中的線條（如窗戶邊緣、建筑物輪廓等）和細節(jié)（如樹葉紋理、字母形狀等），通過調(diào)整不同子帶的權重，可以控制生成圖像在這些區(qū)域的高頻細節(jié)，避免出現(xiàn)幻影或偽影，使生成圖像更接近真實圖像，從而調(diào)整保真度和感知質(zhì)量的平衡。

對抗損失 $L_{adv,G}$

為避免改變現(xiàn)有頻率或引入新頻率，對抗損失 $L_{adv,G}$ 僅在細節(jié)子帶（LH、HL 和 HH）上計算。其計算涉及判別器模型 $D$ ，通過比較生成圖像和真實圖像在 SWT 域的細節(jié)子帶連接后的情況來確定損失。具體來說，公式中的兩項分別計算了真實圖像和生成圖像經(jīng)過判別器后的對數(shù)損失，兩者相加得到對抗損失。判別器的任務是區(qū)分真實和生成的細節(jié)子帶，生成器則要盡量 “欺騙” 判別器，使生成的細節(jié)子帶被判別為真實的，從而促使生成器生成更逼真的高頻細節(jié)。

生成器總體損失 $L_G$
生成器的總體損失 $L_G$ 由三部分組成：SWT 域保真損失 $L_{SWT}$ 、對抗損失 $L_{adv,G}$ 乘以權重因子 $\lambda_{adv}$ 、感知損失 $L_{perc}$ 乘以權重因子 $\lambda_{perc}$ 。
感知損失用于衡量圖像質(zhì)量評估指標(如DISTS)所提供的特征空間中的誤差。通過調(diào)整這些損失項的權重，可以靈活地調(diào)整生成的超分辨率圖像的保真度和感知質(zhì)量之間的平衡。

例如，如果希望生成的圖像更注重細節(jié)保真度，可以增加 $\lambda_{SWT}$ 的權重；如果更看重感知質(zhì)量，可以適當增加 $\lambda_{perc}$ 的權重。

在實驗中，通過經(jīng)驗搜索確定了各參數(shù)的最佳值，如 $\lambda_{LL}=0.1$ , $\lambda_{LH}=\lambda_{HL}=0.01$ , $\lambda_{HH}=0.05$ , $\lambda _{adv}= 0. 005$ 和 $\lambda_{perc}=1$ ,以實現(xiàn)最佳的感知失真權衡。

判別器損失 $L_D$

判別器的損失 $L_D$ 計算方式與對抗損失相關，其輸入僅為高頻細節(jié)子帶。它同樣通過比較真實圖像和生成圖像經(jīng)過判別器后的對數(shù)損失來確定，目的是使判別器能夠準確地區(qū)分真實和生成的高頻細節(jié)子帶，從而引導生成器生成更逼真的圖像，減少偽影和失真。

4. 實驗

4.1.? 實驗設置

訓練細節(jié)

訓練集：DIV2K的800張 $I_{LR}$ ，這些圖像是使用 MATLAB 雙三次下采樣核以 4 倍縮放因子生成的。在一個大小為 16 的小批量中，隨機裁剪 $32\times 32$ 像素的RGB $I_{LR}$ 塊并提供給生成器。然后，在對生成圖像的 Y 通道應用平穩(wěn)小波變換（SWT）后計算損失項。

優(yōu)化過程：使用默認設置為 $\beta _{1}=0.9$ 、 $\beta _{2}=0.999$ 以及 $\epsilon =10^{-8}$ 的 ADAM 優(yōu)化器。

初始化生成器：我們使用預訓練的 RRDB權重初始化生成器的訓練參數(shù)，然后進行 $60k$ 次迭代，初始學習率為 $10^{-4}$ ，在 $50k$ 次迭代后減半。

由于小波損失是在訓練期間計算的，它不影響運行時間，因此 WGSR 的推理時間與 RRDB 的推理時間相同。

4.2.? 對比試驗

定量比較

針對 $\times 4$ 超分辨率任務，所提出的基于小波分解的優(yōu)化目標與其他現(xiàn)有最佳方法的定量比較。最佳和次佳結果分別以粗體和下劃線標記。

定性比較

SWT分解層級

層級作用：SWT 分解層級影響真實細節(jié)與偽影控制及 SR 性能，最佳層級取決于 LR 圖像結構尺度和方向。

實驗分析：以 Urban100 數(shù)據(jù)集中包含不同方向和空間頻率線條的圖像為例，如 img - 92，FxSR 和 SROOE 無法恢復正確結構，WGSR 使用 1 級 SWT 可恢復線條方向但有混疊，使用 2 級 SWT（將 1 級 SWT 的 LL 子帶進一步分解為 4 個子帶并保持細節(jié)子帶不變，共 7 個子帶）可更好恢復結構，通過對 2 級分解的不同子帶設置權重（如 $\lambda_{L-LL}=0.1,\lambda_{L-LH}=\lambda_{L-HL}=0.01$ , $\lambda _{L- HH}= 0. 05$ , $\lambda _{LH}= \lambda _{HL}= 0. 1$ , $\lambda _{HH}= 0. 05$ ），對 2 級高頻子帶在保真損失中加重懲罰可恢復更多真實細節(jié)和結構。

小波基的選擇

選擇方法：實驗研究了 haar、db7、db19、sym7、sym19、bior2.6、bior4.4 等小波濾波器對 WGSR 模型在 BSD100 基準上的影響。

結果分析：不同小波家族的 PD 權衡性能不同，Symlet “sym19” 提供最佳客觀質(zhì)量，Daubechies “db7” 實現(xiàn)最佳感知質(zhì)量，“sym7” 濾波器達到最佳權衡點，因此實驗選用 “sym7” 小波濾波器。

4.3. 消融實驗

實驗目的

探究 WGSR 方法中每個損失項 (保真度 $l_1$ 、對抗損失 $L_{adv, G}$ 和感知損失 $L_{perc}$ 的作用。

實驗設置與對比基準

以 ESRGAN為基線 ( $\#0$ ),其 $l_1$ 和 $L_{adv, G}$ 在 RGB 域計算， $L_{perc}$ 采用 $LPIPS$ 。
依次改變損失項的計算方式或類型，設置不同實驗條件進行對比：

如 $\#1$ 將 $L_{perc}$ 從LPIPS改為DISTS；

$\#2$ 在SWT 域計算 $l_{1}$ 保真損失；

$\#3$ 在SWT域計算 $L_{adv}$ ;

$\#4$ 在 SWT 域計算 $l_1$ 和 $L_{adv, G}$ 且 $L_{perc}$ 為 LPIPS;

$\# 5$ (WGSR)在SWT 域計算 $l_{1}$ 和 $L_{adv,G}$ 且 $L_{perc}$ 為 DISTS。

實驗結果分析

感知損失類型影響： $\#1$ 中改變 $L_{perc}$ 為 DISTS 后，客觀和感知性能分別提高，表明 DISTS 有助于模型達到更好的 PD 點。

保真損失計算域影響： $\#2$ 在 SWT 域計算 $l_1$ 保真損失，客觀質(zhì)量提升約 1 dB 且感知質(zhì)量不變，說明在 SWT 子帶執(zhí)行保真度能更好控制生成細節(jié)。

對抗損失計算域影響： $\#3$ 在 SWT 域計算 $L_{adv}$ 有利于感知質(zhì)量提升。

綜合影響： $\# 5$ 結合所有 SWT 域損失實現(xiàn)了客觀和感知質(zhì)量的最佳權衡。

4.4.?局限性

1.PSNR 和定量感知分數(shù)不是視覺失真的良好評估指標。WGSR在抑制視覺失真方面是有效的。然而，這種視覺性能并未在定量測量中得到體現(xiàn)。

2.確定不同 SWT 域損失項的最佳權重是困難的，因為在搜索最佳權重過程中發(fā)現(xiàn)，改變不同子帶保真損失權重會影響保真分數(shù)和感知質(zhì)量。

如降低 LH 和 HL 子帶保真損失權重會使保真分數(shù)下降，增加 HH 子帶保真項權重會降低感知質(zhì)量，同時較高的 $L_{adv,G}$ 或 $L_{perc}$ 雖能提升感知質(zhì)量但會犧牲保真度。

權重選擇導致不同的感知 - 失真權衡點，雖然使用小波域損失訓練能使模型趨向更好的 PD 點，但在區(qū)分真實圖像細節(jié)和偽影方面仍有改進空間。

5. 結論

WGSR：一種新的基于生成對抗網(wǎng)絡（GAN）的超分辨率（SR）模型訓練方法；該方法利用了小波域損失的加權組合；通過根據(jù)不同子帶中圖像特征的尺度和方向控制保真度和對抗損失的強度，我們的模型能夠以高重建精度學習真實的圖像細節(jié)，同時避免高頻偽影和幻覺；從而實現(xiàn)了更好的PD權衡。

本文提出的對抗訓練方法具有通用性，即任何現(xiàn)成的GAN - SR模型都可以輕松插入此框架以受益于小波引導。

查看全文

http://aloenet.com.cn/news/28410.html