2500
16
1
2021-11-10 17:00:41
2021-11-10
近期團(tuán)隊(duì)有兩篇中文論文被計(jì)算機(jī)學(xué)報(bào)錄用：
1. 知識(shí)蒸餾研究綜述
作者：黃震華， 楊順志，林 威， 倪 娟，孫圣力，陳運(yùn)文，湯 庸
摘要：高性能的深度學(xué)習(xí)網(wǎng)絡(luò)通常是計(jì)算和參數(shù)密集型的，難以應(yīng)用于資源受限的邊緣設(shè)備.為了能夠在低資源設(shè)備上運(yùn)行深度學(xué)習(xí)模型，需要研發(fā)高效的小規(guī)模網(wǎng)絡(luò).知識(shí)蒸餾是獲取高效小規(guī)模網(wǎng)絡(luò)的一種新興方法，其主要思想是將學(xué)習(xí)能力強(qiáng)的復(fù)雜教師模型中的“知識(shí)”遷移到簡單的學(xué)生模型中.同時(shí)，它通過神經(jīng)網(wǎng)絡(luò)的互學(xué)習(xí)、自學(xué)習(xí)等優(yōu)化策略和無標(biāo)簽、跨模態(tài)等數(shù)據(jù)資源對模型的性能增強(qiáng)也具有顯著的效果.基于在模型壓縮和模型增強(qiáng)上的優(yōu)越特性，知識(shí)蒸餾已成為深度學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)和重點(diǎn).本文從基礎(chǔ)知識(shí),理論方法和應(yīng)用等方面對近些年知識(shí)蒸餾的研究展開全面的調(diào)查，具體包含以下內(nèi)容：(1)回顧了知識(shí)蒸餾的背景知識(shí)，包括它的由來和核心思想；(2)解釋知識(shí)蒸餾的作用機(jī)制；(3)歸納知識(shí)蒸餾中知識(shí)的不同形式，分為輸出特征知識(shí)、中間特征知識(shí)、關(guān)系特征知識(shí)和結(jié)構(gòu)特征知識(shí)；(4)詳細(xì)分析和對比了知識(shí)蒸餾的各種關(guān)鍵方法，包括知識(shí)合并、多教師學(xué)習(xí)、教師助理、跨模態(tài)蒸餾、相互蒸餾、終身蒸餾以及自蒸餾；(5)介紹知識(shí)蒸餾與其它技術(shù)融合的相關(guān)方法，包括生成對抗網(wǎng)絡(luò)、神經(jīng)架構(gòu)搜索、強(qiáng)化學(xué)習(xí)、圖卷積、其它壓縮技術(shù)、自動(dòng)編碼器、集成學(xué)習(xí)以及聯(lián)邦學(xué)習(xí)；(6)對知識(shí)蒸餾在多個(gè)不同領(lǐng)域下的應(yīng)用場景進(jìn)行了詳細(xì)的闡述；(7)討論了知識(shí)蒸餾存在的挑戰(zhàn)和未來的研究方向.
2. 會(huì)話場景下基于特征增強(qiáng)的圖神經(jīng)推薦方法
作者：黃震華， 林小龍，孫圣力，湯 庸，陳運(yùn)文
摘要：基于圖神經(jīng)網(wǎng)絡(luò)的會(huì)話推薦（簡稱圖神經(jīng)會(huì)話推薦）是近年來 推薦系統(tǒng)領(lǐng)域的一個(gè)研究重點(diǎn)和熱點(diǎn)，這主要是因?yàn)樗鼈円肓藭?huì)話圖拓?fù)浣Y(jié)構(gòu)信息來提高物品和會(huì)話特征表示的準(zhǔn)確性，因而 ，在一定程度上提升了 會(huì)話推薦的性能。然而，現(xiàn)有圖神經(jīng)會(huì)話推薦方法仍然存在兩方面的不足，從而影響其性能 ：1）它們所構(gòu)建的會(huì)話圖中物品間的相關(guān)性權(quán)重均是在模型訓(xùn)練之前就預(yù)先指定并保持固定不變，導(dǎo)致不能準(zhǔn)確捕捉物品間的相關(guān)性 ；2）它們只從單個(gè)會(huì)話的物品序列中產(chǎn)生物品和會(huì)話的局部特征，而缺乏從整個(gè)會(huì)話數(shù)據(jù)集出發(fā)，全局考慮不同物品之間以及不同會(huì)話之間的相關(guān)性，并由此來生成物品和會(huì)話的全局特征，從而充分表示物品和會(huì)話的語義特征。為此，本文 提出了一種新穎的會(huì)話場景下基于特征增強(qiáng)的圖神經(jīng)推薦方法FA-GNR（Feature Augmentation based Graph Neural Recommendation）。FA-GNR方法首先基于單個(gè)會(huì)話構(gòu)建物品間相關(guān)性權(quán)重可學(xué)習(xí)優(yōu)化的會(huì)話圖，并借鑒GRU（Gated Recurrent Unit）神經(jīng)網(wǎng)絡(luò)來產(chǎn)生物品局部特征，同時(shí)基于會(huì)話數(shù)據(jù)集，通過GloVe（Global Vectors）詞嵌入方法產(chǎn)生物品全局特征，從而融合物品的局部和全局特征來生成其語義特征。然后，F(xiàn)A-GNR方法基于物品語義特征，利用局部注意力機(jī)制來產(chǎn)生會(huì)話的局部特征，同時(shí)基于物品的全局特征，并通過全局注意力機(jī)制來產(chǎn)生會(huì)話的全局特征，從而融合會(huì)話的局部和全局特征來生成其語義特征。最后，在物品和會(huì)話語義特征的基礎(chǔ)上，F(xiàn)A-GNR方法通過交叉熵?fù)p失來學(xué)習(xí)給定會(huì)話下不同物品的點(diǎn)擊概率分布。在多個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，F(xiàn)A-GNR方法的推薦性能優(yōu)于目前主流的方法。
