基于目標空間方向向量場(TSOVF)算法的圖像對象二維空間方位關系識別研究

《Engineering Science and Technology, an International Journal》:Two-dimensional spatial orientation relation recognition between image objects

【字體: 時間:2025年05月09日 來源:Engineering Science and Technology, an International Journal 5.1

編輯推薦:

  為解決計算機視覺中空間方位關系識別缺乏有效框架的問題,研究人員開展了基于目標空間方向向量場(TSOVF)算法的研究。該研究通過雙分支DCNN架構(T-branch和S-branch)實現了端到端的空間方位關系分類,在PASCAL VOC2012數據集上達到94.8%準確率,為視覺場景理解提供了可復現的基準框架。

  

在計算機視覺領域,理解圖像中對象間的空間關系是場景語義解析的核心挑戰。盡管現有技術如卷積神經網絡(CNN)在目標檢測和分類任務中表現卓越,但對空間方位關系的建模仍存在明顯不足。傳統方法依賴兩階段流程——先檢測對象再計算邊界框相對位置,這種間接方式難以捕捉人類直觀感知的空間語義。更關鍵的是,忽視空間特征會導致誤判,例如將器官位置異常的人臉誤分類為正常。

為突破這一局限,中國某研究機構團隊在《Engineering Science and Technology, an International Journal》發表了創新研究。他們開發了目標空間方向向量場(TSOVF)算法,通過雙分支深度卷積神經網絡(DCNN)實現端到端的空間方位識別。該架構包含目標識別分支(T-branch)和空間方位分支(S-branch),前者基于關鍵點估計定位對象中心,后者構建像素級向量場量化對象間角度關系。研究采用PASCAL VOC2012數據集,通過高斯熱圖編碼目標位置,設計耦合回歸損失函數優化參數,最終通過投票機制判定四種基礎空間方位類別。

關鍵技術包括:1) 基于ResNet50的雙分支DCNN架構;2) 空間方向向量場的角度編碼方法;3) 非極大值抑制(NMS)的目標中心點篩選;4) 融合模塊的置信度加權決策機制。

研究結果顯示:

  1. 目標類別識別分支設計
    通過高斯熱圖成功定位20類PASCAL VOC目標,中心點預測置信度達0.92以上,目標尺寸自適應標準差σp設為目標大小的1/3。

  2. 空間方位關系識別分支設計
    構建的UD-field和LR-field能有效區分上下(U&D)和左右(L&R)關系,在復雜場景中保持方向敏感性。測試顯示L&R關系識別F1-score達94.7%,U&D關系識別精度95%。

  3. 融合模塊設計
    通過閾值K=0.5篩選有效目標對,空間關系置信度計算中設置比例閾值T=1.2,最終輸出結構化三元組列表。全局準確率94.8%,幾何平均數(G-mean)0.798。

  4. 復雜場景驗證
    在華為SUTR海事數據集測試中,算法將U&D關系映射為三維空間的前后(F&B)關系,證明其潛在擴展性。但在遮擋率>50%時,目標檢測置信度下降至0.65以下。

討論指出,TSOVF算法的創新性在于:1) 首次用向量場編碼空間方位,模擬人類視覺感知機制;2) 雙分支架構平衡了目標識別與關系判別的性能;3) 為視覺關系檢測(VRD)和場景圖生成(SGG)提供新思路。局限在于對三維重疊關系的處理不足,未來可通過引入深度信息提升立體空間建模能力。

該研究為自動駕駛、醫學圖像分析等需要精確空間推理的領域提供了新方法,其框架設計思想對多模態融合任務具有普適參考價值。特別是將幾何特征與語義特征統一建模的范式,為突破當前計算機視覺的語義理解瓶頸提供了可行路徑。

相關新聞
生物通微信公眾號
微信
新浪微博
  • 急聘職位
  • 高薪職位

知名企業招聘

熱點排行

    今日動態 | 人才市場 | 新技術專欄 | 中國科學人 | 云展臺 | BioHot | 云講堂直播 | 會展中心 | 特價專欄 | 技術快訊 | 免費試用

    版權所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    聯系信箱:

    粵ICP備09063491號

    亚洲欧美自拍偷拍,亚洲人成77777,亚洲男女自偷自拍,亚洲成年在线