《U-Net: Convolutional Networks for Biomedical Image Segmentation》

一、提出背景

U-Net 的提出是為了解決生物醫(yī)學(xué)圖像分割的幾個(gè)關(guān)鍵問(wèn)題：需要像素級(jí)的精確分割、標(biāo)注數(shù)據(jù)稀缺、滑動(dòng)窗口方法效率低以及多尺度特征融合的需求。U-Net 通過(guò)對(duì)稱的 U 型全卷積結(jié)構(gòu)，結(jié)合數(shù)據(jù)增強(qiáng)策略，使得在少量數(shù)據(jù)下也能實(shí)現(xiàn)高效、精準(zhǔn)的圖像分割。

• 像素級(jí)別的精確分割需求：

  • 傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）多用于圖像分類，將整張圖像歸入某個(gè)類別標(biāo)簽。然而，在生物醫(yī)學(xué)圖像處理中，常常需要對(duì)每個(gè)像素進(jìn)行分類（例如細(xì)胞、組織等的分割），因此需要更精確的定位。

• 數(shù)據(jù)有限：

  • 在生物醫(yī)學(xué)圖像領(lǐng)域，大量標(biāo)注數(shù)據(jù)難以獲得，手動(dòng)標(biāo)注需要專業(yè)知識(shí)且耗時(shí)耗力。U-Net 引入了數(shù)據(jù)增強(qiáng)（尤其是彈性形變等隨機(jī)變換）技術(shù)，以少量標(biāo)注數(shù)據(jù)訓(xùn)練出魯棒性較強(qiáng)的網(wǎng)絡(luò)。

• 滑動(dòng)窗口方法的局限性：

  • 早期的分割方法采用“滑動(dòng)窗口”策略，對(duì)圖像的每一小塊進(jìn)行分類。這種方法效率低，且分割精度和上下文信息之間存在權(quán)衡。U-Net 改進(jìn)了這一策略，采用全卷積網(wǎng)絡(luò)結(jié)構(gòu)（Fully Convolutional Network），避免了滑動(dòng)窗口的冗余計(jì)算，同時(shí)利用更多上下文信息，提高了定位精度。

• 多尺度特征的融合：

  • 生物醫(yī)學(xué)圖像中，目標(biāo)物體（如細(xì)胞或細(xì)胞器）具有多種尺度和形狀變化。U-Net 通過(guò)對(duì)稱的 U 型架構(gòu)將不同分辨率下的特征相結(jié)合，使得模型既能捕獲全局上下文信息，又能進(jìn)行精確的局部定位。

二、網(wǎng)絡(luò)設(shè)計(jì)

網(wǎng)絡(luò)體系結(jié)構(gòu)如上圖所示。它包括一條收縮路徑(左側(cè))和一條擴(kuò)張路徑(右側(cè))。收縮路徑遵循卷積網(wǎng)絡(luò)的典型架構(gòu)。它由兩個(gè)3x3卷積(未填充卷積)的重復(fù)應(yīng)用組成，每個(gè)卷積后面都有一個(gè)整流線性單元(ReLU)和一個(gè)2x2 max池化操作，步幅為2，用于下采樣。在每個(gè)降采樣步驟中，我們將特征通道的數(shù)量加倍。擴(kuò)展路徑中的每一步都包括特征映射的上采樣，然后進(jìn)行2x2卷積(“上卷積”)，將特征通道的數(shù)量減半，與收縮路徑中相應(yīng)裁剪的特征映射進(jìn)行連接，以及兩個(gè)3x3卷積，每個(gè)卷積后面都有一個(gè)ReLU。由于在每次卷積中邊界像素的損失，裁剪是必要的。在最后一層，使用1x1卷積將每個(gè)64個(gè)組件的特征向量映射到所需的類數(shù)量。這個(gè)網(wǎng)絡(luò)總共有23個(gè)卷積層。

三、U-net的優(yōu)缺點(diǎn)

1、U-Net的優(yōu)點(diǎn)：

（1）高效利用少量數(shù)據(jù)：通過(guò)數(shù)據(jù)增強(qiáng)（如彈性變形），U-Net 在有限的標(biāo)注數(shù)據(jù)下也能取得良好效果，適合生物醫(yī)學(xué)圖像分割中標(biāo)注數(shù)據(jù)不足的情況。

（2）精確的像素級(jí)分割：U-Net 的對(duì)稱結(jié)構(gòu)結(jié)合了上下文信息和高分辨率特征，能夠精確定位每個(gè)像素的類別，適用于需要高精度的分割任務(wù)。

（3）端到端訓(xùn)練：U-Net 采用全卷積架構(gòu)，可以從原始輸入到輸出直接端到端訓(xùn)練，無(wú)需額外的后處理步驟，簡(jiǎn)化了模型流程。

（4）多尺度特征融合：通過(guò)特征圖的跳躍連接，U-Net 可以融合不同尺度的信息，提升對(duì)小目標(biāo)和邊緣區(qū)域的分割效果。

（5）處理大圖像的能力：通過(guò)重疊拼接策略（overlap-tile strategy），U-Net 可實(shí)現(xiàn)對(duì)超出顯存限制的大圖像的無(wú)縫分割。

2、U-Net的缺點(diǎn)：

（1）高內(nèi)存需求：U-Net 的跳躍連接和對(duì)稱結(jié)構(gòu)增加了模型的參數(shù)量，訓(xùn)練時(shí)對(duì)顯存需求較高，尤其在處理大尺寸圖像時(shí)尤為明顯。

（2）對(duì)邊界分割不敏感：盡管 U-Net 通過(guò)加權(quán)損失函數(shù)改進(jìn)邊界區(qū)域的分割，但在物體邊界復(fù)雜或遮擋嚴(yán)重的情況下，分割精度可能不足。

（3）難以適應(yīng)復(fù)雜背景：U-Net 的設(shè)計(jì)主要面向生物醫(yī)學(xué)圖像的二值分割，對(duì)于包含復(fù)雜背景或多類別的自然場(chǎng)景，模型可能需要調(diào)整或改進(jìn)。

（4）不適合實(shí)時(shí)任務(wù)：由于網(wǎng)絡(luò)深度和參數(shù)量大，U-Net 在實(shí)時(shí)分割任務(wù)中的推理速度可能較慢，需進(jìn)一步優(yōu)化才能應(yīng)用于實(shí)時(shí)需求。

總體來(lái)說(shuō)，U-Net 適合需要高精度和上下文信息豐富的分割任務(wù)，尤其在數(shù)據(jù)有限的醫(yī)學(xué)圖像領(lǐng)域有很大優(yōu)勢(shì)，但在復(fù)雜環(huán)境和邊界處理上仍有改進(jìn)空間。