1870
0
2025-01-15
2025-01-15
該論文發表于IEEE Journal of Biomedical and Health Informatics (中科院二區，IF=6.7)，題目為《Cross-Modal Guiding Neural Network for Multimodal Emotion Recognition From EEG and Eye Movement Signals》。
青島大學未來研究院和自動化學院的付寶樂為此論文的第一作者，青島大學未來研究院和自動化學院的劉銀華為此論文的通訊作者。
論文鏈接：https://ieeexplore.ieee.org/document/10570465
論文概要
情感在人際交往中扮演重要角色，是傳達個體內心體驗和意圖的媒介。情感可通過面部表情、語言語調和身體動作等方式影響人類的認知過程，包括感知、思維、決策和記憶等。近年來，情感識別成為跨神經科學與機器學習等領域的研究熱點。EEG信號作為一種客觀指標，不易受到人為干擾，能夠精確反映個體情緒狀態的變化，因此在情感識別領域得到了廣泛應用。然而，人類情感體驗表現多樣，使用單一模態信號難以捕捉情感的復雜性。因此，研究者開始探索通過多模態信號完成情感識別任務，例如結合圖像、音頻以及其他生理信號等進行綜合分析。已有研究表明，EEG信號和眼動（Eye Tracking，ET）信號具有互補特性，能夠顯著提升情感識別的準確率。傳統的多模態情感識別方法通常為不同模特單獨構建模型，這種做法忽略了模態間的內在聯系，從而可能降低情感識別的準確性。為了解決這一問題，本文組合EEG信號和ET信號兩種模態用于情感識別任務，并提出了一種跨模態特征引導神經網絡模型CMGNN。鑒于EEG信號在情感識別任務中的高效性和抗干擾能力，該模型利用EEG信號引導ET信號的特征提取。這一方法不僅有效降低了ET信號受主觀因素影響的風險，還進一步挖掘了ET信號中與情感相關的深層特征。CMGNN模型包含三個關鍵部分：雙分支特征提取模塊、特征引導模塊和特征重加權模塊。其中，雙分支特征提取模塊用于提取EEG信號和ET信號的特征，在壓縮空間和通道維度的同時，沿時間維度提取兩種模態的關鍵特征；特征引導模塊通過EEG信號特征生成引導因子，以引導ET信號的特征提取過程；特征重加權模塊分析不同通道特征之間的影響和關聯，對所提取的ET特征進行重加權，從而提升判別能力。這些模塊的組合，模型能夠精準捕捉情緒變化，有效降低ET信號受主觀因素影響的程度。實驗結果表明，CMGNN模型在情感SEED-IV數據集上的表現優于傳統方法，在自采集的情感數據集上的表現證明了模型的強泛化能力。
研究背景
在情感計算領域，利用多模態進行情感識別已成為一種趨勢，尤其是結合EEG信號和ET信號的情感識別方法受到廣泛關注。EEG信號雖然采集過程較為復雜，但其不易受個體影響，能夠精準反映人類情緒變化。相比之下，ET信號采集更為便捷，但容易受到環境和個體生理因素的干擾。為了充分發揮兩種模態的優勢，本文提出了一種跨模態特征引導神經網絡（Cross-Modal Guiding Neural Network, CMGNN）。該網絡旨在通過利用EEG信號在情感識別任務中的高效性，指導ET信號的特征提取，減少ET信號中的主觀因素，同時提升對ET信號中情感相關特征的深度挖掘能力。
數據采集
實驗共有10名參與者（5名男性和5名女性），均為右利手，平均年齡為20±2歲。參與者具有正常或矯正正常的視力。
實驗使用40個約2分鐘的視頻片段，用于探究人們對不同情感類別的反應。通過15名參與者的投票分類，將視頻分為四種情感類別：傷心（sad）、開心（happy）、害怕（fear）和中性（neural）。為保證實驗的公平性和隨機性，從每種情感類別中隨機選取2個視頻片段。參與者在觀看每段視頻后，需評估其中包含的四種情感類別的比例。
在數據采集方面，EEG信號通過64通道的 waveguard 電極帽和 eego 放大器（ANT Neuro）記錄，電極位置基于國際10-20系統，采樣率為1000 Hz；ET信號通過 Tobii Pro Glasses 2 眼動儀采集，采樣率為100 Hz。使WrSysLab平臺內置的視覺刺激控制模塊控制視覺刺激的呈現與信號的同步。
方法
如圖1所示，CMGNN模型包含三個模塊：雙分支特征提取模塊、特征引導（FG）模塊和特征重加權（FR）模塊。接下來將介紹其各個組件。
圖1 CMGNN模型的框架
1. 雙分支特征提取模塊
假設EEG信號和ET信號的情感信息主要沿時間維度分布，由于EEG信號的通道數量顯著多于ET信號，本研究將重點放在ET特征上，尤其是時間特征的提取。在此基礎上，進一步假設，通過壓縮其他維度的信息，可以有效引導模型關注時間特征，同時降低計算復雜度。為此，本文提出了一種對稱結構的雙分支特征提取模塊，每個分支由三個卷積特征提取模塊組成。第一個卷積塊（Convblock1）旨在壓縮空間特征并提取全局空間信息，而后兩個卷積塊（ConvBlock2和ConvBlock3）則專注于時間特征的深度挖掘。通過這種設計，該模塊不僅能夠精準提取關鍵特征，還能有效平衡計算效率與網絡性能。
如圖2、3所示，每一個卷積塊由1個卷積層（Conv Layer）、1個批歸一化層（Batch Normalization）和1個Rulu激活層（Activation Layer）組成。后兩個卷積塊后有1個最大池化層（Max-pooling Layer）。
圖2 EEG特征提取分支
圖3 EYE特征提取分支
2. 特征引導模塊
在情感識別任務中，EEG模態的檢測性能優于ET模態。因此，提出一種假設：通過EEG特征的引導，可以增強ET特征的表達。FG模塊的核心目標是以EEG特征為引導，提取出與情感更相關的ET特征。
如圖1的灰色區域所示，FG模塊以EEG ConvBlock的輸出作為輸入，生成縮放因子和平移因子，對EYE ConvBlock的輸出進行調制。每個FG模塊內包含兩個結構相同的子模塊，用于生成指導因子。第i個FG模塊生成的指導因子β和γ的計算公式如下：
其中，表示FG模塊內的下分支，表示FG模塊內的上分支。Sigmoid函數作為壓縮函數，用于生成兩個指導因子。每個分支結構依次包括1個卷積層、1個批歸一化層和1個ReLU激活層；1個卷積層、1個批歸一化層和1個ReLU激活層；1個卷積層，1個最大池化層和1個Sigmoid激活層。
EEG ConvBlcok生成的特征輸入進FG模塊后，所得到的引導因子用于調節EYE ConvBlcok輸出的特征，具體公式表達如下：
其中，表示調制的結果。⊕表示逐元素加法，表示逐元素乘法。
3. 特征重加權模塊
不同通道特征在情感分類中的作用不同，因此，需要進一步分析特征的重要性，以突出關鍵特征。本論文基于Transformer的注意力機制提出了FR模塊，通過特征間的內部相關性動態分配權重，用于篩選與情感高度相關的模態特征。
如圖4所示，調制后的眼動特征按通道維度劃分為n個部分，并通過n個重加權頭對每部分特征進行加權處理，以獲得最終輸出。具體的表達式如下：
其中，表示ET模態特征映射。，表示通過通道劃分得到的第i部分的情感特征。
將與3個矩陣相乘，產生，，，:
其中，用于衡量輸入序列中每個元素與其他元素之間的相關性。表示輸入序列中每個元素的特征信息。表示輸入序列中每個元素的具體特性。接著采用向量點積的方法，將分別與進行點積，從而得到注意力α：
其中，為縮放因子，用于緩解因點積操作大小顯著增大而引發的梯度消失問題。所產生的注意力α作為softmax層的輸入，產生范圍為0-1的注意力權重：
獲得的注意力權重分別與對應位置的v相乘，然后求和：
在對每個通道的特征重新分配權重后，將這些特征沿通道方向進行拼接：
其中，。為沿著通道拼接得到的特征。
最后，將輸入全連接層，經過softmax激活函數后得到分類結果。整個模型使用交叉熵（cross-entropy）作為損失函數，定義為：
圖4 FR模塊的框架
實驗和結果
1. 數據預處理
對于EEG信號，采用0.5Hz-50Hz的巴特沃斯帶通濾波器進行濾波，并通過EEGLAB插值修復損壞的通道。此外，利用獨立成分分析（ICA）分離信號成分，從而去除肌電和心電等偽影成分。最后，對預處理后的EEG信號和ET信號進行降采樣，將時間維度統一為240個時間點。
2. 實驗結果
論文在SEED-IV數據集和自采數據集上進行了驗證實驗，以驗證CMGNN在多模態情感分析任務上的魯棒性。如圖5（a）所示，四種情感的準確率變化較小，平均準確率為90.21%，表明模型具有較好的穩定性。論文還將自采數據集作為額外的測試集進行驗證。如圖5（b）所示，平均準確率為79.47%。盡管準確率較低，但該實驗的重點在于驗證模型在面對新數據時的穩定性，而非追求在特定數據集上的絕對準確性。
圖5 CMGNN模型的混淆矩陣（左側為真實標簽，頂部為預測標簽）。（a）SEED-IV數據集上的混淆矩陣。（b）自采數據集上的混淆矩陣。
論文比較了模型與其他多模態情感識別方法的在SEED-IV數據集上的表現，如表1所示，模型在所有指標上均表現優越，取得了90.21%（p < 0.0001）的準確率，超越了其他所有模型。
表1 多模態方法的比較。
論文還比較了多模態方法和基于EEG單模態方法在SEED-IV數據集上的表現，如表2所示。結果表明，模型在準確率方面優于其他基于EEG的方法。此外，在召回率和F1-score等其他性能指標上，模型也超越了其他方法。通過結合眼動信號（ET信號），模型在情感識別的表現上超越了單模態EEG方法，進一步突出了融合EEG信號引導ET信號的跨模態方法的優勢。
表2 基于EEG方法的比較
為了進一步評估模型的泛化能力，論文進行了被試獨立的實驗。圖6（a）展示了SEED-IV數據集中15個受試者的實驗結果，圖6（b）展示了自采數據集中10個受試者的實驗結果。盡管模型在不同受試者上的表現存在差異，但這些差異并不顯著且較小，表明模型在面對個體差異時具有良好的泛化能力，能夠保持穩定的性能。
圖6 被試獨立實驗。（a）SEED-IV。（b）自采數據集。
為了驗證先前的假設：EEG模態能夠引導ET模態的特征提取，論文進行了四個實驗：僅使用眼動信號（EYE特征提取分支與FR）、ET信號引導EEG信號、僅使用EEG信號（EEG特征提取分支與FR）以及EEG信號引導眼動信號。實驗結果如表3和圖7所示。
表3 不同模態和不同引導方法的結果。
圖7 不同模態和不同引導方向的準確率箱線圖。
為了驗證FG模塊和FR模塊的有效性，本文進行了消融實驗。通過分別去除FG或FR模塊，評估各模塊對模型性能的貢獻。模型Ⅰ僅包含雙分支特征提取模塊；模型Ⅱ利用EEG特征引導ET信號特征提取，但不包含FR模塊；模型Ⅲ去除FG模態，直接將兩種模態特征拼接，并包含FR模塊。三種模型的結構如圖8所示，實驗結果見表4。
圖8 三種模型的框架
表4 模型消融實驗的結果。×表示刪除該模塊，√表示保留該模塊。
思考與總結
本論文致力于多模態情感識別領域，旨在提高情感識別模型的性能，并探索EEG和ET信號之間的復雜關聯。為此，本論文設計了CMGNN模型，通過整合EEG和ET信號實現多模態情感識別，該網絡的核心組件包括雙分支特征提取模塊、多個FG模塊和一個FR模塊。這些模塊的協同工作使得模型能夠準確捕捉情感變化，減輕主觀因素的影響，并挖掘ET信號中與情感相關的特征。在SEED-IV數據集和自采數據集上進行了全面實驗。實驗結果表明，模型在情感識別任務中展現出顯著的性能優勢，達到了比傳統情感識別方法更高的準確度。盡管模型在特定的情感識別任務中表現出色，但仍然存在一些未解決的問題，如情感估計的客觀性和個體在情感處理上的差異。
撰稿人：黃華星
審稿人：黃海云
