《Scientific Reports》：Integrating Bayesian and neural networks models for eye movement prediction in hybrid search
編輯推薦：
在視覺搜索研究中，混合搜索（HS）任務的眼動模擬存在空白。研究人員開展 “Integrating Bayesian and neural networks models for eye movement prediction in hybrid search” 主題研究，構建 nnELM 模型與 HSEM 數據集，結果表明新模型能有效處理混合搜索并模擬人類行為，推動了相關領域發展。
在日常生活里，我們常常要進行各種視覺搜索活動，比如早上找杯子、勺子準備早餐。這看似簡單的行為，背后卻涉及復雜的認知過程，其中眼睛的注視（fixation）和掃視（saccade）起著關鍵作用 。近年來，雖然針對自然場景中視覺搜索的計算模型有所發展，但在混合搜索領域，相關模型卻極為匱乏。已有的混合搜索研究大多基于人工圖像，與現實場景差異較大，限制了研究成果的生態效度。而且，目前對于視覺搜索中最合適的評估指標也尚未達成共識。在這樣的背景下，為了深入理解混合搜索過程并提高模型對人類行為的模擬能力，來自阿根廷布宜諾斯艾利斯大學（Universidad de Buenos Aires）、英國諾丁漢大學（The University of Nottingham）等機構的研究人員開展了相關研究。
研究人員提出了一種增強的神經網絡熵限最小化（nnELM）模型，該模型基于貝葉斯框架和信號檢測理論。同時，他們還創建了混合搜索眼動（Hybrid Search Eye Movements，HSEM）數據集，其中包含了數千個人類在混合搜索任務中的眼動數據 。通過一系列實驗，研究人員發現調整模型的周邊可見性（peripheral visibility）可提高早期搜索效率，使其更符合人類行為；限制模型的視覺工作記憶（Visual Working Memory，VWM）會降低長時間搜索的成功率，這與人類的表現相似。在與其他模型的對比中，新的 nnELM 模型在處理自然場景中的混合搜索任務時表現更優，能夠更緊密地復制人類行為，這一成果發表在《Scientific Reports》上，對推動視覺搜索領域的發展具有重要意義。
研究人員采用了多種關鍵技術方法。在數據采集方面，招募了來自阿根廷布宜諾斯艾利斯大學和英國諾丁漢大學的 44 名參與者，使用 EyeLink 1000 Plus 遠程系統以 500Hz 的采樣率記錄眼動數據。在模型構建與評估中，基于貝葉斯框架和已有研究構建 nnELM 模型，并使用如效率（efficiency）、掃描路徑相似性（scanpath similarity）等多種指標，與多種控制條件下的模型進行對比驗證 。
人類行為：研究發現參與者在混合搜索任務中的反應時間與記憶集大�。∕emory Set Size，MSS）呈對數依賴關系，目標檢測準確率隨 MSS = 4 而下降。不同 MSS 下，參與者的注視次數和重新注視次數不同，掃視方向分布偏向水平，且主要序列與以往研究相似。
提高視覺搜索模型性能：可見性和工作記憶容量的影響：通過改進可見性地圖，使模型能夠捕捉周邊視覺信息，在多個指標上優于之前的 nnELM 模型，且使掃視幅度更接近人類。在限制視覺工作記憶容量時，采用固定數量注視或指數衰減的方式，發現指數衰減（衰減指數為 0.125）的模型性能更佳，且遺忘先驗（prior）的模型表現更優。
使模型適應混合搜索：目標選擇標準：對于多目標情況，研究人員提出并行估計每個目標的后驗概率圖，并選擇信息最多（即熵最�。┑膱D來引導下一次注視的 MinEntropy 方法。對比其他選擇策略，該方法在 MSS 為 2 和 4 時表現更優。
模型驗證：在驗證集和外部的 ViSioNS 基準測試中，改進后的模型在所有指標上均優于之前的模型，如 nnIBS 等，降低了過擬合的可能性。
研究人員成功開發了首個用于自然場景中混合搜索眼動的計算模型，并通過實驗驗證了其有效性。該模型考慮了周邊可見性和視覺工作記憶等因素，更準確地模擬了人類在混合搜索中的行為。然而，模型仍存在一些局限性，如先驗未明確納入上下文信息、可見性地圖不夠精確等 。盡管如此，這項研究為后續更深入的視覺搜索研究提供了重要的基礎，推動了該領域向更真實、更精確的方向發展，有助于進一步理解人類在復雜視覺搜索任務中的認知機制。
