團隊成員黃彬源、羅詠東和周成菊老師的研究成果《Watch Where You Move: Region-aware Dynamic Aggregation and Excitation for Gait Recognition》已被《IEEE Transactions on Multimedia》期刊(中科院一區 top,IF 8.4,華師代表性期刊推薦目錄一類成果)接收。該工作解決了傳統步態識別方法通常使用預定義的區域和固定的時間尺度建模,限制了模型對動態變化的運動區域的適應性的問題。此外,現有方法對靜態區域(易受服裝和視角變化的影響)的關注度較高,而對運動區域的關注不足,導致在實際應用中性能下降。針對上述問題,研究提出了 Region-aware Dynamic Aggregation and Excitation (GaitRDAE) 框架解決,如圖1所示,其包含以下兩個核心模塊:
該模塊通過動態搜索每個區域的最佳時間感受野,并根據輸入樣本更新區域感知的時間尺度。具體來說,RDA 模塊使用空間 - 時間卷積核對輸入特征進行預測,以確定每個區域所需的時間感受野,并通過學習到的時間偏移值來聚合特征。
該模塊旨在通過空間和通道維度同時自適應地激發運動區域特征,突出運動區域中的穩定行為模式,同時抑制靜態區域中易變的模式。RDE 模塊包括兩個子模塊:空間運動激發(Spatial-wise Motion Excitation, SME)和通道運動激發(Channel-wise Motion Excitation, CME)。SME 通過計算相鄰幀之間的響應差異來分配空間注意力,而 CME 則通過計算輸入特征與其低頻濾波版本之間的差異來增強與運動相關的通道。
實驗結果表明,該方法在多個關鍵數據集(GREW、Gait3D、CASIA-B 和 OU-MVLP)上均取得了最先進的性能,證明了其可自動搜索運動區域、分配自適應時間尺度并應用相應注意力,有效地提高了步態識別的準確性和魯棒性。
圖1 GaitRDAE框架
研究背景
步態識別作為一種重要的生物識別技術,在視頻監控、智能安防等領域有著廣泛的應用前景。然而,實際場景中步態識別面臨著諸多挑戰,如拍攝角度變化、服裝變化、攜帶物品等,這些因素會對步態特征造成干擾,影響識別的準確性和魯棒性。
研究方法創新點
區域感知與動態建模:傳統方法使用預定義的區域和固定時間尺度建模,難以適應運動區域的動態變化。GaitRDAE 框架則引入區域感知的動態聚合與激發機制,能夠根據不同輸入樣本,動態地確定每個區域的時間感受野,并進行特征聚合與激發,更好地捕捉步態序列中的動態信息。
運動區域與靜態區域的平衡關注:現有方法對靜態區域關注度較高,而該研究提出的方法通過 RDE 模塊,突出運動區域中的穩定行為模式,抑制靜態區域中易變的模式,使得模型能夠更加關注具有區分性的運動特征,從而提高模型的魯棒性和準確性。
研究意義
該研究成果不僅為步態識別領域提供了新的技術思路和方法,而且對于提高步態識別在實際應用中的性能具有重要意義。通過自動搜索運動區域、分配自適應時間尺度并應用相應注意力,GaitRDAE 框架能夠更好地應對實際場景中的各種變化和干擾,為步態識別技術在智能安防、智能監控等領域的廣泛應用提供了有力的技術支持。