《Digital Signal Processing》：AC-MVSNet: An Efficient Multi-View 3D Reconstruction Network Integrating Novel Multi-scale Feature Extraction and edge Enhancement
編輯推薦：
本文提出 AC-MVSNet 方法，用于多視圖立體（MVS）重建。通過新型多尺度特征提取器 CADS-Msfe 和深度圖優化網絡 E-Refinement，在減少 GPU 內存消耗和運行時間的同時，提升重建的完整性、準確性和整體質量。
引言
多視圖立體（MVS）重建長期以來都是計算機視覺研究的熱點。它能夠借助一組多視圖圖像和相應相機位姿，恢復真實場景中的 3D 點云。如今，3D 場景重建在自動駕駛、航空測量、嵌入式 AI 等眾多領域廣泛應用。
盡管傳統 MVS 重建方法在理想環境下表現出色，但在面對非朗伯表面、光度變化和弱紋理等情況時，往往效果不佳。隨著卷積神經網絡（CNNs）在目標檢測、語義分割、立體匹配等領域取得顯著成果，學者們開始將其引入 MVS 重建。
其中，Yao 等人提出的 MVSNet 方法堪稱經典，它把重建問題轉化為深度估計問題，實現深度圖的端到端輸出，進而生成 3D 點云�；� MVSNet 及其后續改進方法，大多通過構建 3D 成本體，再利用 3D CNN 對深度值進行正則化和回歸。然而，3D CNN 存在內存和時間消耗大的問題，為此一些學者在特征提取時對輸入進行下采樣，雖能計算低分辨率的 3D 成本體和深度圖，但會降低精度。在資源有限的移動設備上部署時，減少內存使用和計算時間至關重要。
R-MVSNet 采用遞歸的成本空間正則化替代傳統 3D 成本體構建，讓模型在減少內存使用的同時更準確，不過運行時間變長。CVP-MVSNet 將單個 3D 成本體轉化為多層金字塔結構，實現更精確的多尺度特征融合和上下文信息傳播，提升了模型性能，卻也增加了運行時間。PatchMatchNet 借助可學習的自適應模塊改進 PatchMatch 網絡的傳播和成本評估方法，降低計算時間和內存消耗，但其重建的準確性仍有待提高。當前方法在高分辨率重建問題上還有很大提升空間，需要在重建效果和計算資源消耗之間找到平衡。
AC-MVSnet
AC-MVSNet 網絡架構主要由三部分構成：多尺度特征提取器 CADS-Msfe、可學習的 PatchMatch 模塊以及具有邊界增強效果的深度圖優化網絡 E-Refinement。
CADS-Msfe 多尺度特征提取模塊結合了坐標注意力（CA attention）和動態上采樣模塊 Dysample。坐標注意力機制能夠增強網絡捕捉深度關鍵信息的能力，而動態上采樣模塊 Dysample 則進一步提升模型生成特征圖的豐富度和準確性，以此提高網絡的特征提取能力。
實驗設置
實驗采用 DTU 和 Tanks and Temples 數據集。DTU 數據集由丹麥技術大學提供，是 3D 重建和點云處理領域的開放數據集，包含大量室內外高質量圖像，因其場景真實、紋理細節豐富，成為相關研究的重要資源，該數據集涵蓋 128 個不同場景。
結論
本文提出的 AC-MVSNet 方法，致力于實現低 GPU 內存消耗、高運算速度以及高質量的高分辨率圖像重建。在多尺度特征提取階段引入坐標注意力和 Dysample，增強了模型的特征提取能力，提高了準確性和完整性。深度圖優化網絡中引入邊界增強模塊 ESAB，進一步優化深度圖邊界，顯著提升了網絡的重建性能。
