7月17日,香港大學統計與精算學系和數學系助理教授曹原老師應信息學部的邀請訪問實驗室,并做題為《深度學習中的一些有趣現象及其理論解釋》的精彩報告。
深度學習在許多應用中取得了巨大成功。然而,深度學習的成功在理論上并不被充分理解。曹原教授首先介紹了深度學習中的“良性過擬合”現象,并介紹最近的研究結果,用于刻畫卷積神經網絡訓練中良性和有害過擬合的現象。然后,他討論最近在圖像分類任務中發現的Adam和隨機梯度下降之間的泛化差距現象,并提供一個直觀的解釋,再給出支持這種泛化差距的嚴格理論。
在討論環節,與會師生就實驗網絡的優化器、數據訓練中的過擬合現象等問題展開討論,現場氛圍熱烈。最后,董軍宇教授為本次講座做總結,并再次感謝曹原教授的來訪。