《Scientific Data》：Lights, Camera, Emotion: REELMO’s 1060 Hours of Affective Reports to Explore Emotions in Naturalistic Contexts
編輯推薦：
傳統情感研究依賴簡單靜態刺激，難以捕捉情感復雜性、動態性和情境依賴性。為此，研究人員構建 REELMO 數據集，采集 161 名參與者觀看 60 部電影的實時情感報告及 20 名參與者觀看《Jojo Rabbit》的 fMRI 數據。該數據集為情感神經科學等領域提供新平臺。
情感是人類體驗的核心，但因其復雜性和情境依賴性，傳統實驗室研究面臨挑戰�，F有研究多使用簡單、靜態且情境信息有限的刺激，如標準化圖像集，或相對簡短的電影片段來誘發典型情緒狀態，這犧牲了情感的復雜性以換取標準化，難以捕捉情感狀態的真實本質及其細微差別。例如，主觀體驗通常是復雜且多方面的，常包含混合情緒甚至矛盾情緒；情感體驗隨時間展開，具有動態模式和狀態間的轉換；情境在情感體驗中也起著重要作用，給定刺激的意義和情感影響會因周圍敘事和積累的情境信息而顯著變化。這些因素使得實驗室環境中收集的情感報告的生態效度受到質疑，在研究大腦中情感的產生位置和方式時，同樣面臨這些挑戰。
為解決上述問題，意大利 IMT 高級研究學院（IMT School for Advanced Studies Lucca）的研究人員開展了相關研究，構建了 REELMO（實時情感對電影的反應）數據集。該研究成果發表在《Scientific Data》上。
研究人員主要采用了以下關鍵技術方法：招募 161 名意大利年輕成年人（80 名女性，平均年齡 26 歲）參與實驗，其中 152 人參與行為實驗，在實驗室觀看完整電影，實時標注情感，記錄電影劇情梗概并評價對電影的總體喜愛程度；20 人（10 名女性，平均年齡 27 歲）在觀看電影《Jojo Rabbit》時進行功能磁共振成像（fMRI）掃描，并回顧性報告情感和記錄劇情梗概。實驗中使用定制軟件實時捕捉情感反應，采用 VGG-19、VGG-ish 等深度學習模型提取視覺和聲學特征，利用 GPT-3 提取語義特征，fMRI 數據按標準化 BIDS 格式組織，并進行了包括切片定時校正、頭部運動校正、空間配準等預處理。
研究結果
數據集構成與特點
REELMO 包含 637 次行為實驗 session，152 名參與者觀看 60 部 18 種類型的完整電影時使用 20 種情感標簽提供的實時主觀體驗報告，總計 1060 小時注釋。情感報告輔以一系列刺激描述，包括視覺和聲學特征、用于提取語義內容的字幕、觀影后記錄的電影梗概、總體喜愛程度以及參與者的個性和特質共情。此外，針對電影《Jojo Rabbit》，提供了 20 人在兩次 1 小時 fMRI session 中收集的大腦活動測量數據（總計 40 小時數據），神經影像數據和元數據按標準化 BIDS 格式組織。
情感標簽與實驗任務
使用的 20 種情感標簽（8 種積極、9 種消極、3 種無明確效價）選自最近提出的情感分類法，涵蓋情感光譜的不同語義集群。參與者在實驗前通過訓練熟悉任務，使用鍵盤在電影播放過程中實時選擇情感標簽并調整強度，可同時選擇多種情感。
數據聚合與分析
對單參與者的情感報告進行聚合，生成電影的整體情感概況。以《Jojo Rabbit》為例，個體情感注釋顯示情感強度隨時間的變化，組水平注釋通過二值化個體數據并求和得到，反映參與者在特定時間點體驗特定情感的共識程度。通過計算每部電影各情感的平均出現率，生成 20 元素向量，用文字云可視化，突出電影的情感基調，如《Jojo Rabbit》的溫柔、娛樂、悲傷和同情。
對 60 部電影的情感矩陣進行余弦距離計算和層次聚類，揭示基于情感特征的五組電影聚類，分別以不同情感為主導。情感類別間的余弦距離和層次聚類顯示基于效價的情感結構，積極和消極情感形成不同集群，內部有更細致的分組。
fMRI 數據分析
對《Jojo Rabbit》的 fMRI 數據進行了組間相關（ISC）和編碼分析。ISC 分析顯示大腦區域如顳上回、枕葉等的高同步性，效應大小與高質量數據集相當。編碼分析評估情感報告和低水平聲學、視覺特征解釋大腦活動的能力，情感報告在腹內側前額葉皮層（vmPFC）、杏仁核等情感處理相關區域解釋了較高的方差，聲學特征在雙側顳葉皮層等聽覺區域有強關聯，視覺特征在視覺和多感覺區域如距狀溝、梭狀回等有映射。
研究結論與意義
REELMO 數據集為情感研究和神經科學的發展提供了重要資源。它使研究人員能夠研究低級感官信息如何影響情感感受，敘事結構和情境信息在塑造情感反應中的作用，復雜情感狀態的共現，如混合效價狀態的存在，利用高時間分辨率和連續特性研究情感時間計量學，探索心理特質如個性或共情在情感報告同步性中的作用，以及情感體驗強度和性質與記憶或欣賞的關系等。通過為神經科學家提供高質量的 fMRI 數據集，這些問題還可以通過大腦功能的視角進行研究。此外，數據集的規模和豐富性使其適用于機器學習應用，包括情感計算和預測分析。REELMO 有望成為一個協作資源，通過研究社區的貢獻不斷發展，如添加外周生理測量或眼動數據，促進情感及其與認知和感知相互作用的研究。
