PoseAlign混合結構網絡:融合ViTs與CNNs優勢的二維人體姿態估計新方法

《Scientific Reports》:PoseAlign network for hybrid structure in 2D human pose estimation

【字體: 時間:2025年05月18日 來源:Scientific Reports 3.8

編輯推薦:

  為解決傳統卷積神經網絡(CNN)在人體姿態估計(HPE)中全局信息捕捉不足的問題,新疆大學團隊提出PoseAlign混合結構網絡(PAN-HS),通過空間對齊塊(SAB)和通道對齊塊(CAB)增強多尺度特征融合,結合重定位注意力機制(PRA)優化關鍵點定位。該方法在MPII數據集上達到92.74%的PCKh@0.5,顯著提升復雜場景下的姿態估計精度,為計算機視覺領域提供了高效可解釋的新范式。

  

在數字時代,人體姿態估計(Human Pose Estimation, HPE)已成為智能監控、虛擬現實和運動分析的核心技術。盡管基于卷積神經網絡(CNN)的方法憑借其局部特征提取優勢長期主導該領域,但面對擁擠場景中肢體遮擋、尺度變化等挑戰時,CNN對全局上下文信息的捕捉短板日益凸顯。近年來興起的視覺Transformer(ViT)雖能突破局部感受野限制,但其計算復雜度高且丟失了圖像固有的幾何結構信息,導致在精細關鍵點定位任務中表現受限。如何融合兩種架構優勢,構建兼顧效率與精度的HPE模型,成為計算機視覺領域的攻堅方向。

新疆大學計算機科學與技術學院的研究團隊在《Scientific Reports》發表創新成果,提出PoseAlign混合結構網絡(PAN-HS)。該研究通過深度可分離卷積(DWConv)設計空間對齊塊(Spatial Align Block, SAB)和通道對齊塊(Channel Align Block, CAB),結合新型重定位注意力機制(Point Reposition Attention, PRA),在MPII數據集上實現92.74%的平均PCKh@0.5,較主流模型HRNetw32和Hourglass分別提升2.41%和1.82%,參數量僅12.2M且計算消耗6.8 GFLOPs,為實時高精度姿態估計提供了新思路。

關鍵技術方法包括:1) 采用多膨脹率(1/2/3)的并行深度可分離卷積構建SAB模塊,捕獲低/中/高階空間特征;2) 通過通道增強模塊(Channel Enhancement, CE)實現通道維度動態重加權;3) 設計三路徑PRA機制整合局部特征與全局上下文;4) 使用MPII和CrowdPose數據集驗證模型在常規與擁擠場景下的泛化能力。

PoseAlign網絡混合結構
SAB模塊通過公式(1)-(5)實現多階特征融合:靜態1×1卷積與自適應門控機制協同工作,配合SiLU激活函數增強非線性表達能力。實驗表明,僅使用SAB即可使PCKh@0.5達到89.78%,證明其多尺度建模的有效性。

通道對齊塊
CAB采用公式(6)-(8)的壓縮-激活策略,通過GELU函數和通道縮放因子λc減少冗余特征。消融實驗顯示,CAB單獨使用時模型精度達86.88%,與SAB組合后產生顯著協同效應。

重定位注意力
PRA機制如公式(9)所示,通過9×9深度卷積生成空間注意力圖β,結合全局池化產生的通道權重α,使腕關節、踝關節等難定位關鍵點的檢測精度提升2.3-3.5%?梢暬瘜Ρ茸C實,PRA能有效糾正肢體重疊導致的預測偏移。

實驗驗證
在MPII測試集上,PAN-HS對腕部(88.72%)和踝部(86.78%)的檢測精度突破現有方法瓶頸。CrowdPose數據集上72.7%的AP表明其在密集人群中的魯棒性,AP75達79.5%驗證了嚴格閾值下的穩定性。消融研究證實,SiLU激活函數較ReLU/GELU更適配復雜特征學習,移除多階DWConv會致性能下降1.59%。

該研究創新性地構建了"結構建模-語義重建"三階段框架:SAB保障幾何一致性,CAB優化通道選擇性,PRA完成語義對齊。相比單純增大Transformer規模的方案,PAN-HS以更低計算成本實現性能突破,其模塊化設計為后續研究提供了可擴展的基線模型。局限性在于復雜交互場景下的實時性有待提升,未來可通過神經架構搜索進一步優化計算路徑。這項成果不僅推動了HPE技術的發展,也為多模態特征融合提供了普適性方法論參考。

相關新聞
生物通微信公眾號
微信
新浪微博
  • 急聘職位
  • 高薪職位

知名企業招聘

熱點排行

    今日動態 | 人才市場 | 新技術專欄 | 中國科學人 | 云展臺 | BioHot | 云講堂直播 | 會展中心 | 特價專欄 | 技術快訊 | 免費試用

    版權所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    聯系信箱:

    粵ICP備09063491號

    亚洲欧美自拍偷拍,亚洲人成77777,亚洲男女自偷自拍,亚洲成年在线