235
0
2025-04-29
2025-04-29
該論文發表于Advanced Engineering Informatics（中科院一區，IF=8.0），題目為《Light-weight residual convolution-based capsule network for EEG emotion recognition》。
安徽大學計算機科學與技術學院科研團隊的范存航副教授為本論文的第一作者，安徽大學計算機科學與技術學院科研團隊的呂釗教授為本論文的通訊作者。
https://www.sciencedirect.com/science/article/pii/S1474034624001708
近年來，腦電圖（EEG）情緒識別取得了顯著進展。然而，當前所應用的淺層卷積神經網絡（CNNs）無法很好地刻畫不同特征之間的空間關系，這影響了模型的整體性能。此外，由于腦電樣本數據量較小，收集和標注足夠的腦電信號用于情緒識別仍具挑戰性。從小樣本數據中提取更具區分性的特征，是當前EEG情緒識別所面臨的關鍵問題之一。為了解決這些問題，本文提出了一種輕量級的基于殘差卷積的膠囊網絡（LResCapsule），用于EEG情緒識別。LResCapsule 由基于 Light-ResNet 的特征提取器和膠囊分類器兩部分組成。針對腦電訓練數據不足的問題，本文設計了一種參數量較低的 Light-ResNet 網絡，能夠從原始腦電信號中自動提取深層的情緒特征。隨后，采用膠囊分類器來識別局部特征與全局特征在空間域中的位置關系，從而進一步提升情緒識別性能。與 ResNet18 相比，所提出的 Light-ResNet 的參數數量減少了 84.5%。在 DEAP 和 DREAMER 兩個數據集上的實驗結果表明，所提出的 LResCapsule 在被試內和被試間實驗中均優于當前主流的先進方法。
EEG信號因其非侵入性、成本低、時間分辨率高而受到廣泛關注。與面部表情、語音等非生理信號相比，EEG具有更強的抗干擾性與可靠性。由于情緒活動會引起腦電信號的變化，因此EEG已成為識別情緒的重要方式之一。隨著深度學習的興起，卷積神經網絡（CNNs）被廣泛用于EEG情緒識別任務。盡管如此，現有的淺層CNN結構仍存在一些問題，例如：無法有效提取空間特征、局部特征與全局特征之間的空間關系無法保留以及在處理小樣本數據集時容易過擬合等。為了解決這些問題，近年來研究者嘗試將膠囊網絡（Capsule Network, CapsNet）應用于EEG情緒識別。膠囊網絡能夠有效保留特征的空間層次關系，并對不同通道的空間結構進行建模。然而，標準膠囊網絡在處理原始信號時往往無法有效提取深層特征。
為了解決這些問題，本文提出一種新的神經網絡結構，稱為輕量級殘差卷積膠囊網絡（LResCapsule），如圖 1 所示。LResCapsule 包含兩個部分：基于 Light-ResNet 的特征提取器和基于膠囊的分類器。Light-ResNet 擁有較少的參數量，能夠從原始 EEG 信號中自動提取多層次的情緒特征。而基于膠囊的分類器則利用局部特征與全局特征之間的位置關系進一步進行情緒分類，從而提升性能。
（1） 數據預處理
通常，腦電信號由兩部分組成：基線信號（在放松條件下收集）和實驗信號（在刺激期間收集）。數據預處理包括去除基線信號，并使用滑動窗口進行數據切片。根據現有研究的分析結果，使用長度為 1 秒、無重疊的滑動窗口可以獲得更好的分類準確率。因此，使用 1 秒的滑動窗口來切割基線信號和實驗信號。
（2）基于 LResCapsule 的情緒識別
將 Light-ResNet 與膠囊層結合，可有效減少過擬合并提升識別準確率。膠囊分類器被用作 Light-ResNet 的全連接層，以彌補殘差網絡在輸出階段因池化操作導致的大量信息損失。
隨著深度神經網絡結構變得更加復雜，存在兩個重要的問題需要解決：首先，高模型復雜度導致的計算資源消耗；其次，網絡層數堆疊導致性能退化。為了優化卷積神經網絡，該模型引入了一個由 ResNet18 推導出的殘差學習模塊，如圖二所示。通過殘差連接將梯度從高層傳遞至低層，模型可以在結構簡單的前提下提取更深層次的特征。因此，使用輕量化的 ResNet（即 Light-ResNet）替代復雜模型，以獲得更好的預測效果。
Light-ResNet 由四個殘差模塊組成（即 N = 4），每個模塊都包含一個 3×3 的卷積核。該結構移除了最大池化層（max pooling），因為 CNN 在該層中丟失了大量有效信息，導致最終輸出幾乎不可用。
② 基于膠囊的分類器
基于膠囊的分類器由一個卷積膠囊層（低層次膠囊層）和一個全連接膠囊層（高層次膠囊層）組成，該結構通過動態路由機制來捕捉并聚類低層與高層特征的表達。低層膠囊層將多層次的特征圖數據轉換為原始膠囊，以便在膠囊中融入更多重要的情緒信息，從而提升其特征表達能力。在情緒狀態方面，每個原始膠囊的長度與方向反映了其所關聯的深層特征的存在性和特性。動態路由算法的詳細信息，如圖3所示。
在本文的實驗中，使用了 DEAP 和 DREAMER 兩個公開數據集來驗證所提方法的性能。
（1）與基線模型結果對比分析
為了驗證本文提出的基于 LResCapsule 的方法的有效性，本實驗將其與 DEAP 和 DREAMER數據集上的一些基線方法進行了比較。這些方法包括決策樹(DT)、支持向量機(SVM)、多層感知器(MLP)、3D卷積神經網絡(3DCNN)、動態圖卷積神經網絡(DGCNN)和 CapsNet。
表1 不同方法在DEAP數據集上的三種分類任務的平均準確率（%）
表2 不同方法在DREAMER數據集上的三種分類任務的平均準確率（%）
從實驗結果可以看出，所提出的 LResCapsule 方法在兩個數據集上、三個維度的情緒分類任務中，均達到了最好的分類準確率，優于傳統方法。
（2）與最先進的模型結果對比分析
使用相同的數據分割方法，將提出的 LResCapsule 模型與幾種最先進和代表性的基于腦電圖的情緒識別方法進行了詳細比較，明確列出了本文的方法相對于使用DE特征和原始腦電圖數據作為輸入的最先進方法所取得的改進。
從實驗結果可以看出，所提出的 LResCapsule 方法在兩個數據集上、三個維度的情緒分類任務中，均達到了最好的分類準確率，優于現有 SOTA 模型。
（3）消融實驗
為了驗證本文提出的 LResCapsule 中改進部分的有效性 ，本實驗在DEAP和DREAMER數據集上進行了消融實驗。LResCapsule 基于 ResNet18 進行了層調整以減少參數數量。將改進后的 LResCapsule 與 ResNet18 和 Light-ResNet 進行了比較。
表7 在單被試實驗中，DREAMER數據集上的消融實驗結果（%）
從實驗結果可以看出，輕量級殘差網絡（Light-ResNet）較 ResNet18 參數減少 84.5%（1.65M vs 10.65M），DEAP 準確率提升 8-11%（arousal 85.99%→97.58%），DREAMER 提升 5%（arousal 93.98%→95.77%）；膠囊分類器在 Light-ResNet 基礎上進一步提升 13-15%（DEAP）和 2%（DREAMER）；完整模型 LResCapsule 在 DEAP 三分類任務中均達 97% 以上，DREAMER 達 95% 以上，且較其他輕量級網絡（如 SqueezeNet、EEGNet）準確率提升 4-15%，驗證了輕量級設計與膠囊層的有效性。
（4）與輕量級模型和淺層神經網絡的對比
基于本文的數據劃分和選擇的數據分割長度，本實驗將提出的Light-ResNet 與淺層CNN、現有最先進的輕量級網絡進行了比較。淺層網絡如3層CNN，輕量級網絡如SqueezeNet、EEGNet和TSception。
表8 在DEAP數據集上的輕量級網絡和淺層CNN的精度（%）
表9 在DREAMER數據集上的輕量級網絡和淺層CNN的精度（%）
從實驗結果可以看出，所提出的 LResCapsule 方法兩個數據集上、三個維度的情緒分類任務中，均達到了最好的分類準確率，優于現有先進的輕量級模型和淺層神經網絡模型。
本文提出了一種基于多通道 EEG 情緒識別的 LResCapsule 架構，能夠有效識別多通道 EEG 信號之間的內在關系。由于 EEG 樣本數據量較小，具有大量參數的網絡容易過擬合。通過減少模型參數數量和層數，可以有效緩解該問題并提升計算速度。
該方法可以通過基于輕量殘差模塊（Light-ResNet）自動提取深層特征，從原始 EEG 信號中檢測情緒狀態。其特征提取能力在情緒識別與分類任務中表現出色。該創新結構使模型能夠探索更深層次的有用隱含特征用于分類。同時，使用動態路由機制的膠囊網絡（膠囊神經元組）可以學習局部與全局之間的相對空間關系，從而捕捉關鍵的高階信息。膠囊間的動態路由算法替代了傳統卷積神經網絡中的最大池化操作，避免了因池化而造成的位置信息損失。該算法會逐個計算隱藏層中每個膠囊之間的關系，并使隱藏層動態地連接，因此模型能夠自動篩選更有效的情緒膠囊，從而提升識別性能。
在本研究中，對兩個公開數據集 DEAP 和 DREAMER 上進行了實驗。在被試內實驗中，LResCapsule 在兩個數據集上的表現均顯著優于其他模型。該方法在 DEAP 數據集的喚醒度、愉悅度和主導度三個維度上分別取得了 97.58%、97.45% 和 97.61% 的平均準確率；在 DREAMER 數據集上分別達到了 95.77%、95.15% 和 95.59%。
撰稿人：鄭凱彬
審稿人：游琪
