-
生物通官微
陪你抓住生命科技
跳動的脈搏
基于SFEM-DDEB聯合框架的實時低光圖像增強網絡RTEE-Net:在計算效率與視覺質量間的突破性平衡
《Digital Signal Processing》:Real-time Efficient Image Enhancement in Low-light Condition with Novel Supervised Deep Learning Pipeline
【字體: 大 中 小 】 時間:2025年05月21日 來源:Digital Signal Processing 2.9
編輯推薦:
【編輯推薦】針對低光圖像增強任務中CNN與Transformer模型在實時性與性能間的矛盾,河南大學團隊提出輕量化RTEE-Net網絡。該模型通過淺層特征增強模塊(SFEM)與深度細節增強塊(DDEB)協同提取多尺度特征,結合高階曲線調整與全息注意力機制(HA),在僅50k參數量下實現單圖0.002s處理速度,于LOL-v1數據集取得PSNR 26.393/SSIM 0.863,為自動駕駛、醫療影像等實時場景提供新解決方案。
在計算機視覺領域,低光環境下的圖像增強始終是極具挑戰性的課題。夜間監控畫面中模糊的人臉、自動駕駛攝像頭捕捉的昏暗路況、醫療X光片的低對比度影像——這些場景共同揭示了當前技術的瓶頸:傳統方法如直方圖均衡化存在過增強問題,基于Retinex理論的方法計算復雜,而新興的Transformer架構雖效果優異卻難以滿足實時需求。更棘手的是,現有深度學習模型往往陷入"性能提升伴隨速度下降"的怪圈,例如KinD網絡通過多重約束提升視覺效果卻犧牲效率,Retinexformer雖結合光照引導機制但硬件資源消耗巨大。這種矛盾嚴重制約了技術在安防、自動駕駛等時效敏感場景的應用。
河南大學的研究團隊在《Digital Signal Processing》發表的這項研究,直指低光增強領域"魚與熊掌不可兼得"的困局。他們設計的RTEE-Net網絡以50k超輕參數量實現單圖2毫秒處理速度,在保持PSNR 26+的同時,首次將語義分割等高級視覺任務引入低光增強評估體系。該成果不僅刷新了LOL-v2-real數據集27.026 PSNR的紀錄,更通過與DeepLab-V3+的協同驗證,證明了其在復雜下游任務中的實用價值。
關鍵技術方法上,研究團隊采用三階段架構:1) 淺層特征增強模塊(SFEM)通過密集連接與殘差結構強化邊緣特征提;2) 深度細節增強塊(DDEB)采用分辨率保持機制鎖定高頻紋理;3) 創新性引入全息注意力(HA)機制協調全局亮度曲線與局部細節的融合。訓練使用LOL-v1/v2和ACDC數據集,評估指標涵蓋PSNR、SSIM及分割mIoU。
模型結構部分揭示了RTEE-Net的三大創新:SFEM模塊通過跨層特征復用使淺層特征表達能力提升47%;DDEB塊采用空洞卷積與通道注意力組合,在零分辨率損失前提下將細節保留率提高至92%;而HA機制通過建立亮度-紋理關聯矩陣,將顏色偏差率降低63%。這些設計共同解決了傳統方法中"增強即模糊"的悖論。
實驗環節的對比數據極具說服力:相較于Zero-DCE方法,RTEE-Net在噪聲抑制指標上提升2.4dB;與IAT網絡相比,推理速度加快15倍;特別是在ACDC夜間道路分割任務中,其與DeepLab-V3+聯用的mIoU達到58.7%,顯著優于直接增強后分割的基線方案。這些結果驗證了模型在真實場景的魯棒性。
結論部分強調,該研究首次實現了低光增強技術從"實驗室精度"到"工業級速度"的跨越。SFEM-DDEB的級聯設計為輕量化網絡架構提供新范式,HA機制開創性地解決了信息融合中的色彩失真難題。更重要的是,研究團隊構建的"增強-分割"協同框架,為智能駕駛、醫療診斷等需要實時決策的領域提供了端到端解決方案。正如論文最后指出的,這項工作不僅重新定義了低光增強的性能邊界,更通過50k參數的極致壓縮,為邊緣計算設備的視覺處理開辟了新可能。
知名企業招聘