《npj Science of Learning》：Understanding the role of eye movement pattern and consistency during face recognition through EEG decoding
編輯推薦：
在人臉識別中，眼動模式和一致性對識別性能至關重要，但它們的作用機制尚不明確。研究人員通過 EEG 解碼開展相關研究，發現眼動模式與神經表征有效性相關，一致性與神經表征發展效率相關，為理解人臉識別神經機制提供了新視角。
在日常生活的社交互動中，能夠快速且準確地識別他人的面孔是一項極為重要的能力。過往大量研究已經對人臉識別展開了深入探索，發現人們看臉時的眼動平均會呈現出經典的 T 形分布，眼睛區域的注視點更為密集 。而且，有研究表明，兩次注視、且注視點位于眼睛下方時，人臉識別效果最佳。同時，個體在眼動策略上存在明顯差異，比如不同人在看臉任務中有著不同的偏好注視位置，并且這種模式具有時間上的穩定性。不僅如此，近期研究還發現，眼動的一致性在人臉識別性能中也發揮著重要作用。然而，盡管眼動模式和一致性都與識別性能有關，但它們是否反映了人臉識別背后不同的神經機制，目前還不清楚。
為了解開這個謎團，來自山東大學和香港大學等機構的研究人員開展了一項研究 。他們通過腦電圖（EEG）解碼技術，深入探究了眼動模式和一致性與人臉識別性能之間的關系，相關研究成果發表在《npj Science of Learning》雜志上。
在這項研究中，研究人員主要運用了以下關鍵技術方法：
- 眼動分析技術：采用隱馬爾可夫模型（EMHMM）對 84 名東亞參與者在人臉識別任務中的眼動模式進行建模和量化，從空間（注視位置）和時間（位置間的轉換）兩個維度考量眼動情況 。
- EEG 記錄與分析技術：使用 ANT eegosystem 和 ANT waveguard?帽記錄參與者在任務中的連續 EEG 信號，通過帶通濾波、獨立成分分析（ICA）等預處理步驟后，運用 ERP 解碼和 EEG 瞬時功率解碼方法分析 EEG 信號 。
- 行為學測試：讓參與者完成人臉識別任務、三項認知任務和一項智商測試，以評估他們的相關能力和表現 。
研究結果
- 眼動模式：通過 EMHMM 分析，研究人員發現了兩種具有代表性的眼動模式，即眼睛聚焦模式和鼻子聚焦模式 。采用眼睛聚焦模式的參與者，在首次注視面部中心后，通常會開始注視眼睛區域，之后可能在兩眼之間切換，偶爾會看向嘴巴區域；而采用鼻子聚焦模式的參與者，則主要圍繞面部中心進行注視 。
- EEG 解碼性能：
- ERP 解碼：利用支持向量機（SVM）對 ERP 數據進行解碼，結果顯示，從 440 毫秒開始，平均解碼 AUC（曲線下面積）顯著高于隨機水平，在 720 毫秒達到峰值 0.56，隨后迅速下降 。這表明后期的 ERP 成分，如 N400 和 P600，可能在區分新舊面孔中發揮重要作用 。
- alpha 波段解碼：對 alpha 波段進行解碼時，發現高 alpha 波段（10 - 12Hz）比低 alpha 波段（8 - 10Hz）包含更多的判別特征 。高 alpha 波段在 720 毫秒到 2020 毫秒以及 2060 毫秒到 2160 毫秒期間，AUC 高于隨機水平，在 1080 毫秒達到峰值 0.54 。
- 個體水平相關性分析：
- ERP 波段：ERP 解碼的 TOI - AUC（感興趣時間段內的 AUC）與面部識別反應時間（RT）呈負相關，與眼動總體熵（即與眼動一致性呈正相關），這意味著更高的 ERP 解碼準確性與更快的面部識別反應和更一致的眼動有關 。
- 高 alpha 波段：高 alpha 波段的 TOI - AUC 與眼動模式測量指標 A - B 量表呈負相關，表明更聚焦眼睛的模式與更高的 EEG 解碼準確性相關 。此外，解碼峰值潛伏期與面部識別 RT、眼動熵呈正相關，與非言語智商呈負相關 。
- 特征重要性分析：分析訓練后的 SVM 權重發現，中央和頂葉區域的電極對人臉識別的神經表征貢獻最大 。對于眼睛聚焦模式的參與者，右側中央區域的電極對神經表征貢獻更多；而對于鼻子聚焦模式的參與者，左側中央和頂葉區域的電極貢獻更多 。
研究結論與討論
綜合上述研究結果，研究人員發現更聚焦眼睛的眼動模式與高 alpha 波段信號中更具判別性的人臉識別信息相關，反映在 AUC 上，說明眼動模式可能與面部識別神經表征的質量更相關 。而更一致的眼動模式，不僅與更高的 ERP 解碼準確性相關，還與高 alpha 波段解碼峰值潛伏期更短相關，表明眼動一致性可能與面部識別神經表征的質量和效率都相關，尤其與面部識別過程的效率密切相關 。
EEG 的 alpha 波段信號與注意力過程有關，可能的解釋是，眼動幫助將注意力引導到人臉識別最相關的特征上，從而增強神經元對面孔的表征質量，提高解碼準確性；而眼動一致性則反映了從眼注視中提取相關信息的注意力過程，一致的視覺習慣能提高特征提取效率，進而提升解碼效率 。
此外，研究還發現，在人臉識別任務中，用于解碼新舊面孔的 ERP/EEG 特征出現在相對較晚的時間窗口（500 - 1200 毫秒），這與以往的 EEG/ERP 研究結果基本一致，但該時間窗口可能受任務需求的影響 。同時，研究人員通過額外分析排除了眼動對 EEG 解碼性能的潛在混雜影響，確認解碼結果真實反映了面部識別的神經反應 。
這項研究全面揭示了眼動行為（包括眼動模式和一致性）與通過 EEG 解碼準確性及其峰值潛伏期所衡量的人臉識別神經表征時間動態之間的關系，證實了 EEG 高 alpha 波段信息在面部處理過程中的重要作用 。研究結果為理解感知策略與神經表征處理之間的相互作用提供了重要依據，有望為面部處理或社會認知障礙個體的早期篩查、個性化診斷和治療方案的制定提供新的思路和方法，推動相關領域的進一步發展。
