AllClear: A Comprehensive Dataset and Benchmark for Cloud Removal in Satellite Imagery

---

Abstract

????????衛(wèi)星圖像中的云對下游應用構成了重大挑戰(zhàn)。當前云移除研究的一個主要挑戰(zhàn)是缺乏一個全面的基準和一個足夠大和多樣化的訓練數(shù)據(jù)集。為了解決這個問題，我們引入了最大的公共數(shù)據(jù)集——AllClear，用于云清除，其中包含23,742個全球分布的興趣區(qū)域（roi），具有不同的土地利用模式，總共包含400萬張圖像。每個ROI包括2022年的完整時間捕獲，包括：

1. 來自Sentinel-2和Landsat 8/9的多光譜光學圖像
2. 來自Sentinel-1的合成孔徑雷達（SAR）圖像
3. 輔助遙感產(chǎn)品，如云掩模和土地覆蓋圖

????????我們通過基準性能驗證了我們數(shù)據(jù)集的有效性，展示了精度指標——PSNR從28.47上升到33.87，增加30倍的數(shù)據(jù)，并對時間長度和單個模式的重要性進行了消融研究。該數(shù)據(jù)集旨在提供對地球表面的全面覆蓋，并促進更好的除云結果。

1? Introduction?

????????衛(wèi)星圖像識別可以實現(xiàn)環(huán)境監(jiān)測、災害響應、城市規(guī)劃、作物產(chǎn)量預測等許多應用，但由于云層遮擋而受到嚴重阻礙。在任何給定時刻，大約67%的地球表面被云覆蓋。無云捕獲的有限可用性對于時間敏感事件（如野火控制和洪水損害評估）尤其成問題。因此，開發(fā)有效的去云技術對于在各個領域最大限度地利用遙感數(shù)據(jù)至關重要。?

? ? ? ? 表1? 公開可用的去云數(shù)據(jù)集。?

????????阻礙云移除研究的一個主要挑戰(zhàn)是缺乏全面的數(shù)據(jù)集和基準。一項關于云移除的公開可用數(shù)據(jù)集的調(diào)查（表1）揭示了幾個問題：

• 大多數(shù)現(xiàn)有數(shù)據(jù)集都是從一小部分地點采樣的，因此地理多樣性有限，這既影響了訓練的有效性，也影響了評估的嚴謹性。
• 許多現(xiàn)有的數(shù)據(jù)集過濾掉了非常多云的圖像（例如，超過30%的云覆蓋率），從而使訓練好的模型無法處理廣泛云覆蓋的實際情況（圖1）。
• 一些現(xiàn)有的基準使用在與有云輸入圖像的時間差異較大的無云圖像。這意味著在有云輸入圖像和無云圖像之間可能發(fā)生了許多變化，從而在評估中引入了誤差。
• 現(xiàn)有的數(shù)據(jù)集包含了一組非常有限的傳感器（即Sentinel-2），限制了模型可獲得的信息，無法真實地去除云層。

? ? ? ? 圖1??左圖：AllClear感興趣區(qū)的地理分布；中間圖：訓練和測試集AllClear的土地覆蓋分布；右圖：整個AllClear數(shù)據(jù)集的云覆蓋分布。

????????為了解決這些限制并促進去云的未來研究，我們引入了迄今為止最大和最全面的數(shù)據(jù)集AllClear。為了確保充分覆蓋地球下墊面的多樣性，AllClear包括了23,742個分散在全球各地的不同土地覆蓋種類的感興趣區(qū)域（roi），產(chǎn)生了400萬張多光譜圖像。AllClear包括來自三顆不同衛(wèi)星（即Sentinel-1，Sentinel-2和landsat -8/9）在每個ROI捕獲的一年（2022年）的數(shù)據(jù)，使模型能夠更好地填補缺失的信息。我們使用這個數(shù)據(jù)集來創(chuàng)建一個更嚴格的sequence-to-point基準，具有更多的時間對齊的基礎真值。最后，除了大量的原始衛(wèi)星圖像，我們還為每個單獨的圖像構建了一組豐富的元數(shù)據(jù)（地理位置、時間戳、土地覆蓋圖、云掩膜等），以支持構建未來的模型來應對去云的挑戰(zhàn)，實現(xiàn)分層評估。?

????????我們評估了AllClear上現(xiàn)有的先進技術，發(fā)現(xiàn)現(xiàn)有的模型訓練不足。在我們更大、更多樣化的訓練集上進行訓練可以顯著提高性能。我們還發(fā)現(xiàn)，使用全套可用傳感器以及較長時間序列的模型表現(xiàn)得更好?？偟膩碚f，我們的貢獻是：

• 我們引入了迄今為止最大的云移除數(shù)據(jù)集，以及一個全面分層的評估基準
• 證明更大、更多樣化的訓練集顯著提高了模型的性能
• 我們從經(jīng)驗上展示了利用多個傳感器和更長的時間跨度的重要性

2? 背景知識?

2.1? 現(xiàn)有去云數(shù)據(jù)集?

????????衛(wèi)星圖像云去除研究的進展，促使了幾個具有獨特特征和獨特局限性的數(shù)據(jù)集的發(fā)展。STGAN引入了兩個去云數(shù)據(jù)集，并建立了使用三幅圖像作為輸入的多時間任務格式。然而，該數(shù)據(jù)集丟棄了所有云量超過30%的圖像，導致只有3k幅圖像。繼STGAN之后，Huang和Wu發(fā)現(xiàn)STGAN中的注釋可能是不正確的，并提出了四倍數(shù)量于STGAN的圖像的Sen2_MTC。Sen_MTC數(shù)據(jù)集首先在全球范圍內(nèi)采樣50個瓦片，然后將瓦片分成小塊，限制采樣的區(qū)域多樣性。STGAN和Sen_ MTC也沒有描述它們的數(shù)據(jù)處理水平（例如，1級大氣頂部或2級表面反射圖像），因此很難比較不同數(shù)據(jù)集上的模型。不同于STGAN和Sen2 MTC數(shù)據(jù)集。SEN12MS-CR數(shù)據(jù)集的特點是包含合成孔徑雷達（SAR）圖像，以增強光學圖像，每個數(shù)據(jù)點有一個圖像對。緊接著是SEN12MS-CR-TS ，具有多時間（每個位置多個圖像）多模態(tài)配對圖像。對于每個位置，將2018年的30張Sentinel-1和Sentinel-2圖像進行時間對齊和配對，形成時空瓦片。然而，兩種模式之間的時間差異可以大到14天，輸入和目標之間的時間差異可以大到一年，從而導致評估中的誤差。此外，作者構建了一個sequence-to-point的云去除任務，其中不包括該數(shù)據(jù)集中云覆蓋率超過50%的圖像。EarthNet2021還提供了精心整理的sentinel -2圖像序列，空間分辨率為20米，波段為RGB和紅外。然而，該數(shù)據(jù)排除了高云層覆蓋率的時空瓦片，因此不是一個理想的云移除數(shù)據(jù)集。?

2.2? 去云方法

????????早期的去云工作使用條件GAN將單幅圖像映射到其無云版本，在NlR通道上進行調(diào)節(jié)或SAR圖像，這些早期的嘗試無法推廣到真實的多云圖像。Singh和Komodakis以及Ebel等人通過使用循環(huán)一致性損失改進了這種設置。其他方法學習從SAR圖像到其相應的多光譜波段的映射。最近，隨著Transformer的出現(xiàn)和興起，已經(jīng)引入了多個頭部關注模塊用于云去除任務。Yu等將云視為圖像失真，設計失真感知模塊來恢復無云圖像。Zou等人利用多時間輸入和多尺度注意力自編碼器來利用全局和局部上下文進行重建。Ebel等人也采用了多時間輸入和注意力自編碼器，但也提出估計預測的不確定性，這控制了風險緩解應用的重建質(zhì)量。Jing，Zou等人提出利用擴散訓練目標進行無云圖像生成，其輸入僅依賴于最優(yōu)圖像，不考慮SAR圖像。Khanna等人提出了一種用于衛(wèi)星圖像的生成基礎模型，但并不適合云移除任務。?

3? 數(shù)據(jù)集?

3.1? 感興趣區(qū)的選擇?

????????我們選擇roi來滿足兩個目標：

• 大部分地表的覆蓋
• 土地覆蓋類型的平衡采樣

????????這種平衡的采樣特別確保了像城市這樣面積較小但更受關注的地方與大片荒野一樣被很好地代表。為了獲得這些ROI，我們遵循兩個步驟：管理ROI候選對象池，然后構建跨土地覆蓋類型平衡的訓練/基準子組，如圖1所示。這確?；鶞屎陀柧毤及銐驍?shù)量的代表各種土地覆蓋類型的數(shù)據(jù)。?

????????為了管理ROI池，與之前隨機選擇ROI的工作不同，我們使用網(wǎng)格采樣來選擇每0.1°緯度和每0.1°經(jīng)度的ROI，其中是緯度，從90°S到90°N。這種方法背后的思想是，同樣的0.1°經(jīng)度在赤道上可以表示11.1公里，在67°緯度上可以表示4.35公里。這種加權為避免高緯度地區(qū)的過度采樣提供了一種簡單而有效的方法。通過使用GeoPandas包剔除海洋區(qū)域，我們共選擇了1,087,947個roi。

????????接下來，我們從池中選擇roi，在考慮地球表面土地覆蓋分布的自然不平衡的情況下，實現(xiàn)更平衡的土地覆蓋使用數(shù)據(jù)集。我們利用谷歌地球引擎的動態(tài)世界產(chǎn)品中的土地覆蓋數(shù)據(jù)。這是一個10米分辨率的土地利用/土地覆蓋（LULC）數(shù)據(jù)集，包含9個類別的類別概率和標簽信息：水體、樹木、草地、淹水植被、作物、灌木、建筑、裸地、冰雪。具體來說，我們計算了2022年LULC的全年中位數(shù)，作為每個ROl的土地利用和土地覆蓋的估計。我們迭代地從候選池中選擇roi，使得所有類別（雪和冰除外）的平均土地覆蓋率在基準集中大于10%，在訓練集中大于5%。

????????最后，為了與先前數(shù)據(jù)集訓練的模型進行更公平的比較，我們采取了額外的措施來排除接近SEN12MS-CR-TS數(shù)據(jù)集的roi。具體來說，SEN12MS-TR-CS數(shù)據(jù)集中的瓦片大小為40 x 40 km2。因此，我們排除了在SEN12MS-CR-TS的roi半徑50公里范圍內(nèi)的AllClear中的roi。

3.2? 數(shù)據(jù)準備

????????AllClear包含由Google Earth Engine （GEE）平臺提供的三種不同類型的開放獲取衛(wèi)星圖像：Sentinel-2 A/B，sentinel - 1 A/B和Landsat 8/9。對于Sentinel-2，我們收集了所有13個波段的1c級正整流大氣頂（TOA）反射率產(chǎn)品。對于Sentinel-1，我們獲取了具有兩個極化通道（VV和VH）的S1 Ground Range Detected (GRD) 產(chǎn)品。所有清晰系統(tǒng)的原始圖像都被重新采樣到10米分辨率。在所有下載過程中，我們都遵循默認的GEE預處理步驟。此外，我們還包括所有Sentinel-2圖像的動態(tài)世界土地覆蓋圖。對于每個選定的ROI，我們的目標是在2022年以10米的空間分辨率收集所有2.56 x 2.56 km2的片。我們采用通用橫墨卡托（Universal Transverse Mercator，簡稱UTM）坐標參考系（CRS），繼Ebel、Zhao之后，將地球劃分為60個帶。每個跨越6度的經(jīng)度，以確保最小的失真，特別是沿經(jīng)度軸。由于衛(wèi)星圖像通常是在不一定符合UTM區(qū)域邊界的大型圖塊中捕獲的，因此在圖塊數(shù)據(jù)未覆蓋整個ROI的地方可能會出現(xiàn)空白（NaN值）。在這種情況下，我們排除所有包含NaN值的圖像以保持數(shù)據(jù)質(zhì)量。?

數(shù)據(jù)預處理

????????對于Sentinel-1，遵循Ebel等人，我們將S1的VV通道中的值削波為[-25，0]，有VH通道的值削波為[-32.5，0]。對于 Sentinel-2和 Landsat8/9，我們將原始值裁剪為[0，10000]。然后將值規(guī)范化為 [0，1]的范圍。

云和陰影遮罩計算

????????云和陰影掩碼是該數(shù)據(jù)集不可或缺的，因為它們用于通過掩蓋目標圖像中存在云和陰影的區(qū)域來指導評估度量計算。為了獲得云掩碼，我們使用了谷歌地球引擎上的S2云概率數(shù)據(jù)集。該數(shù)據(jù)集使用S2cloudless構建，S2cloudless是一種基于梯度增強算法的Sentinel-2圖像自動云檢測算法，在Hollstein參考數(shù)據(jù)集和LCD PixBox數(shù)據(jù)集中，對不透明云和半透明云的整體云檢測精度最好。

????????對于陰影掩碼，理想情況下可以利用太陽方位角和云層高度來估計云的陰影，但后者的信息無法獲得。因此，我們根據(jù)Google Earth Engine中的文檔繼續(xù)管理陰影掩碼。通過計算暗像素和投影云區(qū)域來估計陰影。對于暗像素，我們使用來自Sentinel-2的場景分類圖（SCL）波段值來去除水像素，因為水像素與陰影相似。然后，我們將NlR像素值的閾值設置為1e-4，以創(chuàng)建暗像素的地圖。最后，取暗像素圖與投影云區(qū)的交點，得到云陰影掩碼。

3.3? 基準任務設置和評估?

????????為了評估，使用AllClear數(shù)據(jù)集構建了一個sequence-to-point的任務，該數(shù)據(jù)集分別具有278,613、14,215和55,317個樣本的訓練、驗證和測試。每個實例包含三個輸入圖像（u1、u2、u3）、一個目標清晰圖像(v)、輸入云和陰影掩碼、目標云和陰影掩碼、時間戳以及諸如緯度、經(jīng)度、太陽仰角和太陽方位角等元數(shù)據(jù)。Sentinel-2圖像被認為是主要的傳感器模態(tài)，而Sentinel-1和LandSat-8/9等傳感器是輔助的。與以前的數(shù)據(jù)集不同，我們沒有對輸入圖像中的云覆蓋率設置閾值。我們還提供了不同閾值的云和陰影掩碼選項供用戶使用。

????????我們解決了在以前的數(shù)據(jù)集中發(fā)現(xiàn)的兩個時間偏差問題：源和目標圖像之間的偏差（其中差異可能相隔數(shù)月）以及主傳感器與輔助傳感器配對的時間偏差（其中差異最多可能為兩周）。為了避免時間錯位問題，從四個連續(xù)的時空塊中選擇目標清晰圖像。特別是，輸入圖像和目標圖像的時間戳的順序為[u1，v，u2，u3]或順序為[u1，u2，v，u3]。這確保了目標圖像不包括在捕獲渾濁圖像后發(fā)生的任何新的或未見過的變化。對于輔助傳感器，我們選擇與各自的Sentinel-2圖像相差兩天的輔助衛(wèi)星圖像。如果沒有可用的輔助傳感器圖像匹配，則用相應的通道填充。

????????請注意，我們的目標圖像可能仍然有一些云（因為很難在每個時間跨度內(nèi)獲得無云圖像）。為了在不同場景和限制度量不準確性之間達到平衡，我們將目標圖像設置為云和陰影（組合）覆蓋率小于10%，并在計算度量時排除多云像素。我們修改了各種基于像素的指標，只計算無云區(qū)域。我們采用了去云文獻中常用的指標：平均絕對誤差（MAE）、均方根誤差（RMSE）、峰值信噪比（PSNR）、光譜角映射器（SAM）和結構相似指數(shù)測量（SSIM）。

4? 實驗

4.1? 對AllClear測試集上的先前方法進行基準測試?

選擇SoTA模型體系結構

????????為了在數(shù)據(jù)集之間進行公平的比較，我們選擇SoTA模型進行比較。具體來說，我們選擇了在SEN12MS-CR-TS上預先訓練過的最先進的模型作為基準，因為AllClear和SEN12MS-CR-TS都是大氣層頂部圖像，并且包含了Sentinel-2的所有波段。值得注意的是，其他以前的數(shù)據(jù)集，如STGAN和Sen2_MTC被排除在外，因為預處理方法和圖像生產(chǎn)類型沒有明確提到，這使得在AllClear數(shù)據(jù)集上直接部署以前的模型不公平，也不具有可比性。因此，我們排除了CTGAN、PMAA等模型。DiffCR使用這些數(shù)據(jù)集進行訓練。相反，我們選擇sequence-to-point模型UnCRtainTS模型，和sequence-to-sequence的模型U-TILISE，既在SEN12MS-TR-CS數(shù)據(jù)集上進行了預訓練，也可用于我們的實驗。對于這個評估，所有模型都接收三張圖像作為輸入。具體來說，它們同時接收沿通道維度連接的Sentinel-2和Sentinel-1圖像。?

結果

????????基準測試結果如表2所示。我們首先注意到，采樣的基線云霧最少，拼接在數(shù)據(jù)集上表現(xiàn)良好。UnCRtainTS在SSIM和SAM方面的性能略好于這些采樣基線。另一方面，U-TILISE模型無法達到采樣基線的性能。由于U-TILISE是一個序列到序列的模型，我們采用它進行序列到點的評估，從輸出序列中選擇MAE得分最低的圖像作為模型輸出。值得注意的是，U-TlLISE的訓練涉及到將采樣的云掩模作為輸入添加到無云圖像中，并且訓練它恢復原始的無云序列。以類似的方式對模型進行評估。采樣云掩模與真實云的分布差異可能是導致真實場景中U-TILISE得分較低的原因。少混濁和拼接的良好性能令人感興趣。我們推測部分原因可能是在AllClear中，輸入圖像和目標圖像之間的時間差距較小，因此簡單地對輸入圖像進行平均或選擇可能會產(chǎn)生良好的結果。

? ? ? ? 表2??在我們的AllClear基準數(shù)據(jù)集上評估了以前的SoTA模型的基準性能。表現(xiàn)最好的值用粗體表示，第二好的值用下劃線表示。

失敗案例

????????為了更好地理解最先進技術的性能，我們將使用最先進模型UnCRtainTS生成的輸出圖像可視化，該模型是在SEN12MS-CR-TS數(shù)據(jù)集上訓練的。在圖2中，我們在AllClear測試用例上評估預訓練模型，其中它接收三張渾濁圖像作為輸入?？偟膩碚f，我們觀察到模型性能的三種主要失效模式：

1. 模型不能從清晰的輸入圖像中提取，特別是當其他兩個圖像是渾濁的時候。正如作者所指出的那樣，這個問題可能會出現(xiàn)，因為模型是專門針對云覆蓋率低于50%的圖像進行訓練的。
2. 即使輸入的圖像大部分是清晰的，該模型也經(jīng)常難以恢復正確的光譜。我們假設這是由于相對較小的數(shù)據(jù)集大小，導致缺乏泛化能力。
3. 模型往往不能推廣到積雪覆蓋地區(qū)。我們推測這是由于訓練過程中對不同雪域的采樣不足。

? ? ? ? 圖2??在SEN12MS-CR-TS云移除數(shù)據(jù)集上訓練的先前SOTA模型UnCRtainTS的失敗案例。

4.2? 在AllClear上訓練?

????????接下來，我們將評估在AlClear上進行培訓的好處。出于這個目的，我們使用UnCRtainTS，因為它在之前的基準測試中表現(xiàn)良好。為了評估AllClear和之前的SEN12MS-TR-CS數(shù)據(jù)集之間是否存在域差異，我們首先運行一個相等訓練集大小的比較。我們在AllClear的子集上訓練UnCRtainTS，該子集的大小與UnCRtainTS訓練中使用的訓練集大小相同，即10,167個數(shù)據(jù)點。為了避免額外的調(diào)優(yōu)，我們還遵循了原始論文中的訓練超參數(shù)。如表3所示，當兩個模型在AllClear上進行評估時（即表3中底部的兩行），我們觀察到在兩個數(shù)據(jù)集上預訓練的UnCRtainTS模型在四個指標上具有可比較的結果。這表明兩個數(shù)據(jù)集之間沒有明顯的域差異。????????

? ? ? ? 表3??在AllClear上重新訓練UnCRtainTs模型的基準性能.

使用AllClear進行縮放

????????接下來我們使用AllClear提供的大型訓練集來評估我們可以縮放多少UnCRtainTS。具體來說，我們在同一驗證集上進行評估時，使用來自訓練數(shù)據(jù)集的隨機抽樣來管理各種規(guī)模的數(shù)據(jù)集。表4顯示了結果。我們發(fā)現(xiàn)，更多的訓練數(shù)據(jù)明顯提高了所有指標的準確性，導致PSNR提高了10%以上。圖5顯示，使用更大的數(shù)據(jù)集，該模型能夠更好地去除云并更好地保留顏色。這表明，在過去的數(shù)據(jù)集上訓練的云移除模型通常訓練不足，而AllClear的大型訓練集對于幫助模型更好地擬合數(shù)據(jù)非常有用。??

? ? ? ? 表4??我們的模型在以UnCRtainTS為骨干架構的AllClear數(shù)據(jù)集上的縮放規(guī)律。

? ? ? ? 圖5??將訓練數(shù)據(jù)集縮放10倍會得到更好的定性結果。

4.3? 分層評價

????????我們使用AllClear中可用的土地覆蓋類型標簽對土地覆蓋類型進行分層評估（圖3）。我們通常發(fā)現(xiàn)，水體和積雪的PSNR和SSIM指標都要差得多。水體具有瞬態(tài)波型，積雪也常常是瞬態(tài)波型，這可能解釋了預測這些波型的困難。雪也可能與云混淆。?

? ? ? ? 圖3??使用AllClear數(shù)據(jù)集的不同部分訓練的模型的土地覆蓋分層評估：1%、3.4%、10%和100%。

? ? ? ? 圖4??在不同云和陰影覆蓋水平下，通過PSNR（左列）和SSIM（右列）測量云的去除質(zhì)量。上面一行表示在完整AllClear數(shù)據(jù)集上訓練的模型，下面一行表示在SEN12MS-CR-TS數(shù)據(jù)集上訓練的模型。

????????根據(jù)過去的工作，我們還對相對于云覆蓋和陰影程度的精度進行了分層評估（圖5）。對于云覆蓋，通常性能隨云百分比下降，這是預期內(nèi)的。在更大的數(shù)據(jù)集（AllClear）上進行訓練，大大提高了低云和中等云量的準確性，但對全云地區(qū)則沒有提高。請注意，條紋圖案是由于完全渾濁的圖像，在附錄中解釋。陰影通常不是問題，陰影百分比似乎與性能無關。?

4.4??不同時間跨度的影響

????????接下來，我們將使用基準測試來查看使用3個輸入圖像的常見做法是否足夠。我們比較了兩個模型，一個使用3張圖像，另一個使用在該位置捕獲的所有12張圖像。這兩個模型都是在AllClear的10k子集上訓練的。結果如表5所示，表明事實上較長的時間跨度顯著提高了準確性。因此，未來的云清除技術應該考慮更長的時間跨度。

? ? ? ? 表5? 不同時間長度的影響

5? 結論?

????????本文介紹了AllClear，這是用于云清除研究的最廣泛和最多樣化的數(shù)據(jù)集。更大的訓練集顯著提高了最先進的性能。我們的數(shù)據(jù)集還可以對云覆蓋和土地覆蓋以及序列長度和傳感器類型的消融進行分層評估。我們希望未來的研究可以建立在這個基準上，例如通過探索SAR和多光譜圖像之間的動態(tài)，來推進云的去除。?