北大聯合360發布蒸餾新模型！
5%參數量逼近Deepseek-R1滿血性能！
2025年2月24日——由360與北京大學聯合研發的中等量級推理模型Tiny-R1-32B-Preview正式亮相，僅以5%參數，逼近Deepseek-R1-671B滿血性能！
團隊人員：
360 團隊: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Sai-er Hu, Xiangzheng Zhang
北大團隊: Yuhan Wu, Zihan Jiang, Wenrui Liu, Junting Zhou, Bin Cui, Tong Yang
- 模型參數
|
模型 |
參數量 |
數學 (AIME 2024) |
代碼 (LiveCodeBench) |
科學 (GPQA-Diamond) |
|
Deepseek-R1-Distill-Qwen-32B |
32B |
72.6 |
57.2 |
62.1 |
|
Deepseek-R1-Distill-Llama-70B |
70B |
70 |
57.5 |
65.2 |
|
Deepseek-R1 |
671B |
79.8 |
65.9 |
71.5 |
|
Tiny-R1-32B-Preview |
32B |
78.1 |
78.1 |
65 |
- 核心突破：小模型，大能量
- 數學領域：以78.1分（AIME 2024評測）逼近原版R1模型（79.8分），遠超Deepseek-R1-Distill-Llama-70B（70.0分）；
- 綜合性能：在編程（LiveCodeBench 61.6分）、科學（GPQA-Diamond 65.0分）領域全面領先最佳開源70B模型Deepseek-R1-Distill-Llama-70B；
- 效率躍遷：僅需5%參數量，性能達原版R1的95%以上，推理成本大幅降低。
- 技術革新：領域專精+模型融合
研究團隊使用「分治-融合」策略：
- 基于DeepSeek-R1生成海量領域數據，分別訓練數學、編程、科學三大垂直模型；
- 通過Arcee團隊Mergekit工具智能融合，突破單一模型性能上限，實現多任務均衡優化。
- 開源承諾：推動技術普惠
- 模型倉庫：https://huggingface.co/qihoo360/TinyR1-32B-Preview
- 即將公開完整技術報告、訓練代碼及部分數據集；
- 踐行開源精神，助力AI社區共筑高效推理新生態。
研發團隊表示：Tiny-R1-32B-Preview是蒸餾技術的里程碑，未來將持續探索更輕量、更強大的通用模型，推動AI技術普惠化進程。
實驗室簡介
北京大學數據與智能實驗室（Data And Intelligence Research Lab at Peking Univeristy，PKU-DAIR實驗室）由北京大學計算機學院崔斌教授領導，長期從事數據庫系統、大數據管理與分析、人工智能等領域的前沿研究，在理論和技術創新以及系統研發上取得多項成果，已在國際頂級學術會議和期刊發表學術論文200余篇，發布多個開源項目。課題組同學曾數十次獲得包括CCF優博、ACM中國優博、北大優博、微軟學者、蘋果獎學金、谷歌獎學金等榮譽。PKU-DAIR實驗室持續與工業界展開卓有成效的合作，與騰訊、阿里巴巴、蘋果、微軟、百度、快手、中興通訊等多家知名企業開展項目合作和前沿探索，解決實際問題，進行科研成果的轉化落地。
評論 1