近日,團隊成員2021級研究生梁婉瑩、團隊創(chuàng)始人湯庸教授以及團隊合作導師朱佳教授在計算機領域頂級期刊ACM Computing Surveys發(fā)表題為 “A Survey of Multi-modal Knowledge Graphs: Technologies and Trends”的論文。論文在線鏈接為https://dl.acm.org/doi/10.1145/3656579。
人類感知系統(tǒng)本質上是多模態(tài)的,因為周圍的物體通常由多種信號組合表示,例如視覺和文本。多模態(tài)知識圖譜將結構化知識表示與多種模態(tài)結合起來,是知識圖譜的強大擴展。盡管多模態(tài)知識圖譜可以處理某些類型的任務或標準知識圖譜無法處理的查詢,并可有效地解決一些標準問題,但仍然缺乏對多模態(tài)知識圖譜的廣泛接受的定義。該論文提供了多模態(tài)知識圖譜的嚴格定義,并基于現(xiàn)有方法如何解決四個基本挑戰(zhàn)(表示、融合、對齊和轉換)的分類方案,這些挑戰(zhàn)對于改進多模態(tài)知識圖譜至關重要。該論文的分類方案靈活,可以輕松地納入新的方法,并可以比較兩種方法在如何解決上述基本挑戰(zhàn)中的表現(xiàn)。作為對多模態(tài)知識圖譜的首次全面調查,該論文旨在激發(fā)并為人工智能領域的相關研究人員提供參考。
《ACM Computing Surveys》(《美國計算機學會計算概觀》)是ASSOCIATION for COMPUTING MACHINERY出版社旗下的刊物,于1969年創(chuàng)刊,致力于接收計算機領域具有代表性的前沿綜述論文,幫助從業(yè)者和研究人員了解迅速發(fā)展的計算領域前沿科學問題。該刊屬于中科院SCI一區(qū),影響因子為16.6,實時影響因子為21.76,是計算機領域國際權威頂級期刊之一。