《Cognitive Robotics》：DECTNet: A detail enhanced CNN-Transformer network for single-image deraining
編輯推薦：
在圖像去雨任務中，卷積神經網絡（CNN）和 Transformer 各有優劣。研究人員開展 DECTNet 相關研究，提出融合二者優勢的網絡。實驗表明其在單圖像去雨及其他任務表現出色。該研究為圖像恢復領域帶來新方法，具有重要意義。
在當今數字化時代，圖像廣泛應用于各個領域，從安防監控到攝影創作，從自動駕駛到醫療影像分析。然而，惡劣天氣條件下拍攝的圖像往往受到干擾，其中雨天拍攝的圖像會出現雨痕，嚴重影響圖像質量和后續的分析處理。傳統的卷積神經網絡（CNN）在處理圖像時，雖然善于提取局部信息，但在捕捉全局上下文方面存在不足；而 Transformer 雖能有效獲取全局信息，卻難以保留圖像的空間和結構細節。為了解決這些問題，提升圖像去雨的效果，研究人員開展了相關研究。
研究人員提出了細節增強 CNN - Transformer 網絡（DECTNet）。該研究成果發表在《Cognitive Robotics》上，具有重要的意義。它為單圖像去雨以及其他相關圖像恢復任務提供了更有效的解決方案，推動了計算機視覺領域在圖像去雨方向的發展。
研究人員主要采用了以下關鍵技術方法：首先，利用 PyTorch 框架搭建模型，并使用 Adam 優化器進行優化；其次，在實驗過程中，選用了 Rain200L、Rain200H、Rain1200 和 Rain1400 等合成數據集進行訓練和測試，同時還對模型在低光圖像增強數據集（LOL - v1、LOL - v2）和單圖像去雪數據集（Snow100K）上進行評估；此外，通過一系列的消融實驗，探究模型各組件的有效性。
下面詳細介紹研究結果：
- DECTNet 架構：DECTNet 由三個階段組成，分別是局部信息提取階段、全局信息提取階段和細節恢復階段。在局部信息提取階段，通過堆疊增強殘差特征蒸餾塊（ERFDB）來提取淺層信息；全局信息提取階段則利用雙注意力空間 Transformer 塊（DASTB）捕獲全局信息；最后，在細節恢復階段，通過融合前兩個階段的特征并進一步處理，恢復圖像的細節信息。整個網絡通過保持特征圖大小不變，有效避免了下采樣帶來的性能下降。
- 關鍵模塊設計：ERFDB 在殘差特征蒸餾結構中引入混合注意力機制和通道增強層，能夠更有效地逐步提取詳細信息。通過實驗對比，去除混合注意力機制和通道增強層的模型性能明顯下降，證明了這些改進的重要性。DASTB 則通過改進多頭自注意力機制和前饋網絡，利用空間注意力優化特征，并引入倒置殘差塊（IRB），增強了全局連接和空間信息的恢復能力。實驗顯示，去除 DASTB 中關鍵組件的模型在細節恢復上表現更差，驗證了其有效性。
- 損失函數選擇：研究人員對比了均方誤差（MSE）損失和負結構相似性指數測量（SSIM）損失在訓練過程中的效果。發現使用 MSE 損失時，訓練過程容易出現問題，如學習率設置不當會導致訓練發散或學習速度過慢。而負 SSIM 損失在收斂速度和評估指標上表現更優，因此被選為模型的損失函數。
- 模型性能評估：在與其他去雨方法的對比實驗中，DECTNet 在四個合成數據集（Rain200L、Rain200H、Rain1200 和 Rain1400）上均取得了前兩名的成績。在視覺效果上，DECTNet 恢復的圖像細節更接近真實圖像，而其他方法的結果存在不同程度的偽影和模糊。在低光圖像增強任務中，DECTNet 雖然是針對單圖像去雨設計，但在 LOL - v1 和 LOL - v2 數據集上也表現出色，且參數數量較少。在單圖像去雪任務中，DECTNet 在 Snow100K 數據集上同樣展現出了可比的性能。
研究結論和討論部分強調了 DECTNet 的重要意義。該網絡成功融合了 CNN 和 Transformer 的優勢，有效解決了單圖像去雨任務中局部和全局信息提取的難題，同時在多個相關圖像恢復任務中表現優異。其獨特設計的 ERFDB 和 DASTB 模塊，不僅提高了模型的性能，還為后續研究提供了新的思路。此外，研究中對損失函數的選擇和分析，以及對模型各組件的深入探究，為其他類似的圖像恢復研究提供了寶貴的經驗和參考。未來，該研究成果有望在更多領域得到應用和拓展，進一步推動計算機視覺領域的發展。
