《Expert Systems with Applications》：Multimodal learning analytics for students behavior prediction using multi-scale dilated deep temporal convolution network with improved chameleon Swarm algorithm
編輯推薦：
為解決難以直接評估學生學習任務投入努力的問題，研究人員開展基于深度學習的多模態學生行為數據分析框架研究。結果顯示該模型準確率達 97.2%，證明其優于傳統方法，有助于預測學生行為，提升教育效果。
在當今數字化教育快速發展的時代，在線課程、智能教學平臺如雨后春筍般涌現，它們在為學生提供豐富學習資源的同時，也產生了海量的學習數據。然而，這些數據猶如一座未經雕琢的礦山，蘊含著巨大價值，卻難以被有效挖掘。就拿學生在學習任務中的努力程度來說，它與學生的學業成績密切相關，可直接反映學生參與學習任務的有效性。但令人頭疼的是，學生在學習過程中的這些努力并不能被直接觀察到，這就像蒙著一層神秘的面紗，讓教育者難以精準把握學生的學習狀態。
與此同時，傳統的教育研究方法在分析這些復雜的學習數據時顯得力不從心。雖然一些方法嘗試通過學生的答題情況等有限信息來推測他們的學習狀態，但這種方式局限性很大，無法全面、深入地了解學生在學習過程中的真實表現。面對這樣的困境，教育領域迫切需要一種新的技術手段，能夠穿透這層迷霧，清晰地洞察學生的學習行為，從而為個性化教育提供有力支持。
為了攻克這些難題，來自未知研究機構的研究人員開展了一項極具創新性的研究。他們致力于開發一種基于深度學習的多模態數據（包括視頻、音頻、文本、腦電圖 (EEG)、眼動和面部信息等）分析框架，用于精準預測學生的行為。經過不懈努力，研究取得了令人矚目的成果：該模型的準確率高達 97.2%，這一數據充分證明了它在預測學生行為方面的強大能力，相較于傳統方法具有顯著優勢。這一成果意義非凡，它為教育工作者提供了更精準的學生行為預測工具，有助于教育者提前發現學生的學習問題，及時給予幫助和指導，進而提升學生的學習效果，推動教育向更加個性化、高效化的方向發展。該研究成果發表在《Expert Systems with Applications》上。
在研究過程中，研究人員運用了多個關鍵技術方法。首先，從多種標準數據源收集多模態信息，為后續分析提供豐富的數據基礎。然后，利用一維卷積神經網絡 (1D-CNN) 從音頻中提取特征，三維卷積神經網絡 (3D-CNN) 從視頻中提取特征，Transformer-net 從文本中提取特征。此外，還提出了改進的基于隨機參數的變色龍群算法 (MRP-CSA) 優化權重，進行加權特征選擇，并將選定特征輸入自適應多尺度擴張深度時間卷積網絡 (AMDDTCN) 預測學生行為，同時在評估階段用 MRP-CSA 優化 AMDDTCN 的參數。
1. 基于 1DCNN 的音頻特征提取
研究人員使用 1DCNN 模型從音頻文件中提取特征。1DCNN 的卷積層能夠從輸入音頻文件中提取局部特征，其上層可從先前的局部屬性中獲取最佳特征，下層則用于提取常見的邊緣和形狀特征。通過特定的卷積函數，實現對音頻特征的有效提取。
2. 深度時間卷積網絡（DTCN）
DTCN 采用擴張卷積層替代傳統 CNN 中的普通卷積層，以此增強接收領域。其結構由多個殘差單元構成，每個殘差單元包含批量歸一化 (BN) 層、卷積層、隨機失活 (dropout) 層等。通過設置不同的擴張因子，如 1、2 和 4，在卷積層的內核中插入空洞，從而更好地捕捉時間序列數據中的長期依賴關系。
3. 實驗設置
研究人員利用 Python 編程語言，借助 Pycharm version 3.11 和 Anaconda version 3 等軟件開展實驗。在構建深度學習和啟發式算法輔助的學生行為預測模型時，設置了特定的參數，如染色體數量、最大迭代次數和種群數量等。
在研究結論和討論部分，研究人員成功驗證了基于深度學習和啟發式算法的多模態數據學生行為預測模型的有效性。多模態數據經提取和加權選擇后，輸入模型進行預測，最終得到了高達 97.2% 的準確率。這一結果表明，該模型在識別學生行為方面具有巨大潛力，能夠為教育領域提供更精準的分析和預測。它不僅可以幫助教育機構更好地了解學生的學習狀態，提前發現學生可能存在的問題，還能為學生提供個性化的學習建議，助力學生提升自我管理能力和學習效果。這一研究成果為教育領域的多模態學習分析開辟了新的道路，有望推動教育技術的進一步發展和應用。
