引領(lǐng)應(yīng)急科普進入多模態(tài)新時代

灣區(qū)時訊 中山大學(xué)智能工程學(xué)院沈穎團隊今日宣布，專為應(yīng)急科普打造的多模態(tài)大語言模型家族——“神機大模型”的最新版本2.0正式上線。作為應(yīng)急科普領(lǐng)域的AI領(lǐng)航者，“神機大模型2.0”不僅繼承了前代版本的應(yīng)急知識快速問答、規(guī)章制度查詢等功能，還創(chuàng)新性地引入了識圖辨事的多模態(tài)應(yīng)用場景。特別是針對火災(zāi)預(yù)防這一關(guān)鍵環(huán)節(jié)，神機大模型2.0版本通過豐富的圖文交互，能夠識別圖像中潛在的火災(zāi)風(fēng)險點，幫助非專業(yè)人士識別日常生活場景中的火災(zāi)隱患，并提供專業(yè)的防范建議，使得火災(zāi)預(yù)防成為每個家庭的一部分。此外，2.0版還增添了圖文并茂的火災(zāi)知識科普內(nèi)容，讓應(yīng)急知識的學(xué)習(xí)變得既有趣又詳盡，充滿專業(yè)細(xì)節(jié)。網(wǎng)頁版更新的同時，神機APP也同步推出，讓用戶在使用過程中更為便捷，響應(yīng)速度更加快速。

神機2.0識圖辨事頁面展示

研發(fā)團隊進行討論

中山大學(xué)智能工程學(xué)院為神機大模型的研發(fā)提供了先進的研究平臺與人才培養(yǎng)平臺。中國計算機學(xué)會青年計算機科技論壇（YOCSEF）廣州、廣東省消防科學(xué)與智能應(yīng)急技術(shù)重點實驗室、琶洲實驗室-人工智能與數(shù)字經(jīng)濟廣東省實驗室為我們的研究團隊提供了豐富的學(xué)術(shù)資源與寶貴的行業(yè)經(jīng)驗指導(dǎo)。騰訊AI Lab在技術(shù)交流方面與我們的團隊進行了深入合作與分享。

神機官網(wǎng)：shenjiai.cn

神機APP下載頁面：shenjiai.cn/dl

團隊主頁：https://github.com/SYSU-NLPLab/AIGC

神機APP下載二維碼：

神機2.0有哪些新突破？

多模態(tài)理解能力：“神機大模型2.0”實現(xiàn)了多模態(tài)理解能力的新突破。通過對圖像進行識別與推理，模型能夠完成從易燃物識別、火災(zāi)隱患分析到滅火器械使用教學(xué)和逃生指南解讀等一系列復(fù)雜任務(wù)。結(jié)合用戶的個性化查詢與現(xiàn)行的消防設(shè)施國家標(biāo)準(zhǔn)及廣東省地方標(biāo)準(zhǔn)等資料，實現(xiàn)更加專業(yè)且細(xì)致的多模態(tài)消防應(yīng)急科普。

聚焦火災(zāi)隱患：新版本聚焦于面向公眾科普的日常場景火災(zāi)隱患的識別，基于豐富的多模態(tài)理解能力，幫助用戶識別潛在的火災(zāi)風(fēng)險，例如，堆積的紙箱、裸露的電線等容易引發(fā)火災(zāi)的因素都可以被及時捕捉到。這不僅提高了公眾的安全意識，也能提供相應(yīng)的改善措施，為火災(zāi)預(yù)防提供了有力的技術(shù)支持。

圖文并茂知識科普：在火災(zāi)知識科普方面，“神機大模型2.0”也進行了全面升級。通過圖文并茂的方式，為用戶提供了更加專業(yè)、趣味、充滿科普細(xì)節(jié)的火災(zāi)安全教育內(nèi)容。無論是滅火器的使用，還是逃生指南的解讀，新版本都能以更加直觀、易懂的形式呈現(xiàn)給用戶，提高了科普的趣味性和實用性。

全新的神機2.0有哪些技術(shù)亮點？

精細(xì)化火災(zāi)圖文數(shù)據(jù)構(gòu)建：基于公眾對火災(zāi)預(yù)防知識與防火安全教育的科普需求，團隊設(shè)計了包括火災(zāi)隱患識別、消防知識科普、逃生指南解讀等一系列識圖辨事任務(wù)。為了確保模型的準(zhǔn)確性和泛化能力，團隊從開源的1億個中文圖文對中定向篩選出了70K張與火災(zāi)相關(guān)的圖像，針對不同任務(wù)生成了相應(yīng)的問答對數(shù)據(jù)。這不僅豐富了模型的學(xué)習(xí)材料，也提高了模型對現(xiàn)實世界復(fù)雜情況的理解能力。

專業(yè)指南導(dǎo)向的多模態(tài)RAG：研究團隊利用專業(yè)的公開消防建筑規(guī)范國家標(biāo)準(zhǔn)與廣東省地方標(biāo)準(zhǔn)等白皮書進行消防專業(yè)知識的向量庫構(gòu)建，基于專家標(biāo)注的消防設(shè)施檢測報告進行圖文向量庫構(gòu)建，利用多模態(tài)檢索增強生成技術(shù)（RAG）增強對火災(zāi)隱患的識別的準(zhǔn)確性與有效性，實現(xiàn)更精細(xì)、更專業(yè)、更詳細(xì)的火災(zāi)隱患排查與建筑設(shè)施安全評估。

高性能模型訓(xùn)練與評測：為了在提高消防領(lǐng)域?qū)I(yè)能力的同時維持大語言模型通用能力，在自行構(gòu)建的火災(zāi)圖文數(shù)據(jù)與通用大規(guī)模圖文數(shù)據(jù)集共計1,298,672條圖文對上使用4張40GB NVIDIA A100 GPU進行模型訓(xùn)練。此外，通過從二十余個廣泛使用的多模態(tài)大語言模型評測集中篩選出與火災(zāi)相關(guān)的2000余條高質(zhì)量評測數(shù)據(jù)，在構(gòu)建的火災(zāi)評測集上進行了嚴(yán)格測試，“神機大模型2.0”取得了70.3的準(zhǔn)確率，超越了一系列開源的多模態(tài)大模型。

用戶高效響應(yīng)優(yōu)化：為了改善用戶體驗，“神機大模型2.0”在響應(yīng)時間上實現(xiàn)了顯著提升，能夠在7秒內(nèi)完成對圖像中火災(zāi)隱患的識別和預(yù)警，同時支持每分鐘1200次以上的并發(fā)響應(yīng)。團隊特別關(guān)注了交互界面的設(shè)計和響應(yīng)機制的優(yōu)化，通過內(nèi)置用戶提示簡化火災(zāi)隱患識別操作流程，意味著在緊急情況下用戶能夠更快地獲取到需要的信息和服務(wù)，從而提高應(yīng)急響應(yīng)效率。

功能展示：圖文交互新體驗

神機大模型2.0現(xiàn)已上線，歡迎訪問神機官網(wǎng)進行體驗shenjiai.cn/chat

火災(zāi)隱患智能預(yù)警：

“神機大模型2.0”具備火災(zāi)隱患識別功能，能夠快速識別出環(huán)境中的火災(zāi)隱患。用戶只需上傳圖片，模型便能自動識別出潛在的火災(zāi)風(fēng)險，為用戶提供智能預(yù)警。

倉庫火災(zāi)隱患識別

樓道火災(zāi)隱患識別

滅火器械使用教程：

用戶可以通過上傳包含滅火器的圖片或描述具體情境，獲得專業(yè)的使用指南。無論是在家庭、學(xué)校還是辦公場所，用戶都能獲得清晰的操作步驟和注意事項，確保在面對火情時能夠迅速采取正確的行動，有效控制初期火災(zāi)，保障生命財產(chǎn)安全。

火災(zāi)科普漫畫解讀：

為了使應(yīng)急知識的學(xué)習(xí)更加生動有趣，“神機大模型2.0”能進行火災(zāi)科普漫畫解讀功能。用戶可以通過上傳或選擇內(nèi)置的圖文并茂的科普漫畫，獲得專業(yè)的解讀。這些漫畫涵蓋了從火災(zāi)預(yù)防到逃生技巧的各種知識點，以直觀的形式傳達復(fù)雜的消防安全信息，幫助用戶輕松掌握應(yīng)急知識，增強自我保護能力。

消防疏散指導(dǎo)：

“神機大模型2.0能夠根據(jù)建筑物平面圖或用戶提供的詳細(xì)描述，提供最佳的疏散路徑建議。該功能結(jié)合建筑物結(jié)構(gòu)特點和安全出口位置，幫助用戶規(guī)劃最安全有效的逃生路線，大大提高了緊急疏散的效率和安全性。

關(guān)于中山大學(xué)智能工程學(xué)院智能知識工程實驗室
中山大學(xué)沈穎團隊長期致力于自然語言理解與生成、大語言模型、知識計算與推理、多模態(tài)學(xué)習(xí)、數(shù)據(jù)挖掘和智能問答系統(tǒng)的研究與應(yīng)用。沈穎博士，中共黨員，中山大學(xué)百人引進人才，副教授，博士生導(dǎo)師，IEEE Senior Member，高被引學(xué)者，入選“全球前2%科學(xué)家榜單”。沈穎于2015年獲法國巴黎第十大學(xué)計算機博士學(xué)位。現(xiàn)任中山大學(xué)智能工程學(xué)院副教授。沈穎主要從事人工智能、自然語言處理、多模態(tài)計算、大語言模型等理論和應(yīng)用研究工作。于機械工業(yè)出版社出版了64萬字高等院校智能工程系列教材《自然語言處理導(dǎo)論》。講授的《自然語言處理》課程被評為教育部“智能基座"金課以及中山大學(xué)校級一流課程，獲中山大學(xué)第十一屆校級本科教育教學(xué)成果獎一等獎，并被納入教育部慕課西行課程。在知名學(xué)術(shù)會議和期刊上發(fā)表學(xué)術(shù)論文140余篇，其中SCI期刊50篇，CCFA類會議論文29篇，CCF B類會議30篇。其中ESI高被引論文5篇、ESI熱點論文2篇，多次獲人工智能頂會最佳論文獎。已授權(quán)專利20余項;授權(quán)軟件著作權(quán)25項;發(fā)布團體標(biāo)準(zhǔn)1項。開發(fā)了首個應(yīng)急多模態(tài)大語言模型神機（shenjiai.cn）。主持多項國際、國家、省部級研究項目，成果在多家單位中落地應(yīng)用。

通訊員/中神機

責(zé)任編輯/劉秀