《Scientific Reports》：SpectroFusionNet a CNN approach utilizing spectrogram fusion for electric guitar play recognition
編輯推薦：
為解決傳統吉他轉錄依賴人工、效率低且準確性不足的問題，研究人員開展電吉他彈奏技術自動化識別研究。提出 SpectroFusionNet 框架，融合 MFCC、CWT、Gammatone spectrogram，結合輕量化模型與 ML 分類器。結果顯示 MFCC-Gammatone 晚期融合準確率達 99.12%，為音樂分析提供新工具。
音樂作為人類文化的重要基石，其數字化分析與自動化識別一直是領域內的研究熱點。電吉他以其獨特的音色和豐富的彈奏技巧，在搖滾、爵士等音樂類型中占據核心地位。然而，傳統的吉他演奏技巧識別依賴人工聽辨和手動標注，不僅耗時耗力，且難以捕捉如滑音（Slide）、擊弦（Hammer-on）、勾弦（Pull-off）等細微技巧的頻譜特征差異。隨著音樂教育、智能譜曲和交互式音樂系統的發展，迫切需要一種高效、準確的自動化識別方法，以突破傳統人工分析的瓶頸。
為此，印度阿姆里塔工程學院（Amrita School of Engineering）的研究團隊開展了相關研究，旨在開發一種基于深度學習的電吉他彈奏技術識別框架。研究成果發表于《Scientific Reports》，為音樂信號處理領域提供了新的技術范式。
關鍵技術方法
研究采用多維度頻譜分析與融合策略，核心技術包括：
- 頻譜特征提取：利用梅爾頻率倒譜系數（Mel-Frequency Cepstral Coefficients，MFCC）、連續小波變換（Continuous Wavelet Transform，CWT）和 gammatone 頻譜圖，捕捉音頻信號的時頻域特征。
- 輕量化卷積神經網絡（CNN）：采用 MobileNetV2、InceptionV3、ResNet50 等模型提取特征，其中 ResNet50 表現最優。
- 融合策略：設計早期融合（特征提取前合并頻譜）與晚期融合（特征提取后通過加權平均、最大投票、簡單拼接融合）策略，優化特征表示。
- 機器學習分類器：應用支持向量機（SVM）、多層感知機（MLP）、隨機森林（Random Forest）等 9 種分類器進行最終分類。
研究結果
單頻譜與模型性能分析
- ResNet50 優勢顯著：在單獨處理 MFCC、CWT、Gammatone 頻譜時，ResNet50 對 MFCC 的分類準確率最高達 96.49%，顯著優于 MobileNetV2 和 InceptionV3。
- 頻譜特性差異：MFCC 對擊弦、勾弦等穩態特征識別更優，CWT 對連奏（Legato）、點弦（Tapping）等瞬態變化敏感，Gammatone 對顫音（Vibrato）等音色細節表現更佳。
融合策略效果對比
- 晚期融合優于早期融合：MFCC 與 Gammatone 的晚期融合（最大投票策略）實現 99.12% 的分類準確率，100% 的精確率和召回率，顯著提升多類別識別性能。
- 實時場景驗證：在真實音頻數據集測試中，系統準確率為 70.9%，表明其在非理想錄音條件下的適用性。
與現有技術對比
相較于傳統算法（如稀疏編碼準確率 71.7%）和單一 CNN 模型（如 SVM 準確率 84.2%），SpectroFusionNet 通過多頻譜融合和輕量化設計，在準確率和泛化能力上均顯著提升，尤其在復雜演奏場景中優勢明顯。
結論與意義
本研究提出的 SpectroFusionNet 框架通過多頻譜融合與輕量化深度學習，突破了傳統吉他識別的技術局限。其核心價值在于：
- 方法創新：首次結合早期與晚期融合策略，充分利用不同頻譜的互補信息，為音頻信號處理提供了新的融合范式。
- 性能突破：在 9 類吉他技巧識別中達到近完美的分類性能（99.12% 準確率），且在實時場景中展現實用潛力。
- 應用前景：可廣泛應用于音樂教育平臺、自動譜曲軟件、智能樂器交互系統，推動音樂產業的數字化與智能化發展。
研究為后續引入時序建模（如 LSTM、Transformer）和自適應融合策略奠定了基礎，有望進一步提升復雜場景下的識別魯棒性，為全球音樂科技領域的研究者提供重要參考。
