?近期，實驗室博士生李亞瓊作為第一作者的論文“DeMod: A Holistic Tool with Explainable Detection and Personalized Modification for Toxicity Censorship”被The ACM Conference on Computer-Supported Cooperative Work and Social Computing (CSCW) 會議錄用。面對在線社區(qū)毒性內(nèi)容審查，用戶有多樣性的需求，如結(jié)果理解和內(nèi)容修改等。針對這一問題，我們進行了形成性研究，調(diào)查社交用戶對毒性內(nèi)容審查的不同需求及相應的設計期望，并構建了基于ChatGPT的審查工具DeMod。DeMod具有可解釋性檢測和個性化修改功能，可以向社交用戶提供毒性內(nèi)容的細粒度檢測結(jié)果、詳細的結(jié)果解釋和個性化修改建議。最后，自動評估和人類評估相結(jié)合的驗證結(jié)果表明了DeMod在功能豐富性、審查準確性和工具易用性等方面的優(yōu)勢。基于這些發(fā)現(xiàn)，我們進一步提出了對未來內(nèi)容審查系統(tǒng)設計的見解。

期刊簡介

The ACM Conference on Computer-Supported Cooperative Work and Social Computing (CSCW) 會議是人機交互與普適計算方向的權威國際學術會議（CCF A類推薦國際會議），涵蓋了計算機網(wǎng)絡與通信技術、多媒體技術、社會學、心理學、管理科學等多門學科的綜合應用，在人機交互領域享有很高的學術聲譽。該會議計劃于2025年10月18日至10月22日在挪威卑爾根召開。

論文簡介

DeMod：具備可解釋檢測和個性化修復的毒性內(nèi)容審查工具

如今，社交媒體已成為用戶自我披露的熱門平臺，如數(shù)億人每天通Twitter、Facebook和微博記錄生活、表達觀點、與朋友互動。盡管社交媒體的開放性為內(nèi)容分享提供了廣闊空間，也導致了毒性內(nèi)容的披露。所謂毒性內(nèi)容，是指“可能導致他人退出討論的粗魯、不尊重或不合理的評論”，包括仇恨言論、騷擾、侮辱及虐待和攻擊性言論等。由于語境崩塌現(xiàn)象，用戶通常未意識到自己正在披露毒性內(nèi)容。研究發(fā)現(xiàn)，約三分之二的毒性內(nèi)容屬于隱性毒性，而用戶往往對這些言論產(chǎn)生的傷害并不自知。另有研究表明，23.00%的用戶在回顧自己發(fā)布的內(nèi)容時感到后悔，原因包括未考慮后果、文化誤判、意外受眾和平臺規(guī)范誤解等。為避免毒性內(nèi)容披露，社交媒體用戶通常在發(fā)布前進行審查，如自我審查或借助自動化工具等方式。研究發(fā)現(xiàn)，社交用戶常通過檢查、調(diào)整或刪除部分內(nèi)容來確保其適合發(fā)布。盡管已有多種毒性內(nèi)容審查方法，但是絕大多數(shù)聚焦于檢測毒性內(nèi)容，如使用Perspective API 評估毒性分數(shù)或使用RECAST工具識別毒性關鍵詞。然而，毒性內(nèi)容審查是一個復雜過程，檢測只是一個初步的任務，社交用戶可能需要理解檢測結(jié)果和修改內(nèi)容。例如，盡管RECAST工具能幫助用戶識別毒性詞匯，但用戶常因知識或經(jīng)驗不足，不知如何降低其毒性。因此，需要一個整體的自動化工具，幫助用戶完成毒性內(nèi)容檢測、內(nèi)容修改等多項審查任務。

構建一個整體性毒性內(nèi)容審查工具面臨諸多挑戰(zhàn)。首先，社交用戶對毒性內(nèi)容審查的多樣化需求尚不明確。正如前述，用戶可能對工具有不同功能要求，如提供豐富的解釋和修改建議。因此，在研究毒性內(nèi)容審查工具時，需系統(tǒng)調(diào)查用戶的審查需求；其次，設計和實現(xiàn)一個符合社交用戶整體性需求的毒性審查工具并非易事。該工具應具備多重目標，如提供精準檢測、細粒度結(jié)果和個性化修改，如何實現(xiàn)不同功能并高效整合是一個巨大挑戰(zhàn)。第三，面向這一多功能的毒性內(nèi)容審查工具的實際評估較為困難。為了驗證工具在幫助社交用戶審查毒性內(nèi)容方面的表現(xiàn)，需在真實社交媒體場景中進行長期評估，而且像個性化修改等效果缺少量化的檢測指標，難以評估。

針對上述問題與挑戰(zhàn)，我們設計了一個幫助社交媒體用戶進行毒性內(nèi)容審查的工具DeMod，具備可解釋檢測和個性化修改等多功能。首先，我們在中國流行的社交平臺——微博上進行需求調(diào)研，通過問卷調(diào)查和訪談，我們揭示了社交用戶的毒性內(nèi)容審查實踐、遇到的問題以及對毒性內(nèi)容審查工具的設計期望，并提出五個設計目標：提供整體性審查、提供細粒度檢測結(jié)果、增強可解釋性、給予個性化修改建議、確保用戶控制權。其次，基于五項目標，我們設計并實現(xiàn)了一個名為DeMod的整體性自動化毒性內(nèi)容審查工具，如下圖所示。DeMod本質(zhì)是一個基于ChatGPT增強的內(nèi)容審查工具，配備了可解釋檢測器（Explainable Detector）和個性化修改器（Personalized Modifier）模塊。可解釋檢測器提供即時解釋（Immediate Explanation）和動態(tài)解釋(Dynamic Explanation)結(jié)果。即時解釋通過關鍵詞或毒性原因向用戶提供說明當前檢測內(nèi)容為何具有毒性，動態(tài)解釋則通過模擬受眾對即將發(fā)布的內(nèi)容的態(tài)度，幫助社交用戶了解當前內(nèi)容的潛在影響。兩種解釋旨在增強社交用戶對毒性內(nèi)容的理解，進而促使用戶的發(fā)布前審查和自我調(diào)節(jié)行為。在此之后，個性化修改器根據(jù)社交用戶的多重需求提供修改建議，包括去除毒性、保留原意、以及體現(xiàn)用戶的個性化語言風格。通過這些功能，社交用戶可以更高效、靈活地進行內(nèi)容審查。第三，我們以微博為研究平臺，將DeMod作為第三方工具實現(xiàn)，并招募35名參與者對DeMod的功能、效果、設計三個維度進行了綜合的評估，結(jié)果表明DeMod在毒性內(nèi)容審查方面表現(xiàn)出色，并獲得參與者的高度認可。基于以上研究與結(jié)果，我們還提出了若干關于內(nèi)容審查工具設計的見解，包括從全局視角增強審查工具設計、重視過程和結(jié)果可解釋性、提供個性化改進措施，以幫助用戶發(fā)布更合適的內(nèi)容。

圖1 DeMod框架設計

模型構造

1. 可解釋檢測器（Explainable Detector）：實證研究表明，用戶希望在毒性內(nèi)容審查中獲得細粒度的檢測結(jié)果和解釋性反饋。因此，我們設計了基于ChatGPT的可解釋檢測器。首先，該工具輸出毒性檢測結(jié)果，包括分類結(jié)果（是否含有毒性內(nèi)容）以及相關的關鍵詞。分類結(jié)果告知用戶當前帖子是否包含毒性內(nèi)容，如果是，工具會高亮顯示引發(fā)毒性的關鍵詞，以增強用戶對毒性細節(jié)的感知。在此基礎上，檢測器提供即時和動態(tài)解釋。即時解釋說明帖子及關鍵詞為何具有毒性；動態(tài)解釋則通過利用ChatGPT的角色模擬能力預測受眾對帖子的態(tài)度和意見，幫助用戶了解內(nèi)容可能產(chǎn)生的社會影響。這一設計契合基本人類價值理論，強調(diào)個體行為易受他人價值觀的影響，包括他人的態(tài)度、個人信息等。為確保用戶的自主性，DeMod允許用戶手動選擇受眾角色，如父母、朋友甚至陌生人，并進行態(tài)度模擬。一旦選擇了受眾，DeMod便會模擬該角色對帖子的態(tài)度。上述檢測及解釋任務均基于ChatGPT模型實現(xiàn)。

2. 個性化修改器（Personalized Modifier）：實證研究表明，用戶希望修改建議不僅能幫助他們?nèi)コ又械亩拘詢?nèi)容，還能盡量保留原帖的語義和用戶的個性化語言風格。我們發(fā)現(xiàn)，直接使用類似于檢測任務的提示詞讓大模型執(zhí)行毒性內(nèi)容修改任務具有挑戰(zhàn)性，很難同時實現(xiàn)這些多重目標。然而，大模型具備小樣本學習能力，即Few-shot Learning。如果提供一些展示原始帖子（包含毒性內(nèi)容）與相應修改后的內(nèi)容（去除毒性但保留相似語義和用戶語言風格）的示例對，大模型可以更好地實現(xiàn)這些修改目標。因此，我們通過構建毒性詞空間、基于無毒樣例構造毒性樣例、無毒/毒性樣例對翻轉(zhuǎn)等步驟構建面向社交用戶的個性化修改樣例對，如圖2所示，以此提升基于ChatGPT的個性化修改器的效果。

圖2 個性化修改樣例對構造過程

小結(jié)

本研究中，我們開發(fā)了DeMod，一個集成可解釋檢測與個性化修改功能的整體性毒性內(nèi)容審查工具。通過提供多種解釋和修改建議，DeMod減輕了社交用戶的審查負擔，并提升了他們的使用體驗。廣泛的評估表明，DeMod在功能豐富性、審查性能和易用性等方面具有多重優(yōu)勢。作為第一個研究整體性毒性內(nèi)容審查的工作，DeMod也存在一些局限性。例如， DeMod目前僅支持文本模態(tài)的毒性內(nèi)容審查以及僅在微博平臺上進行評估驗證，限制了對多模態(tài)內(nèi)容以及不同社交平臺的普遍性研究。因此未來，我們將專注于提升DeMod對多模態(tài)內(nèi)容的審查能力，并拓展其在更多場景中的應用。

作者信息

如果您對本文內(nèi)容感興趣的話，可以與作者聯(lián)系：

李亞瓊 復旦大學計算機學院協(xié)同信息與系統(tǒng)實驗室 博士研究生

研究方向：社交內(nèi)容審核、CSCW、人機交互

聯(lián)系方式：liyq22@m.fudan.edu.cn