大神迴歸學界:何愷明宣佈加入 MIT
機器之心報道
編輯:澤南、蛋醬
「作爲一位 FAIR 研究科學家,我將於 2024 年加入麻省理工學院(MIT)電氣工程與計算機科學系 EECS 擔任教職。」
AI 領域的著名學者,ResNet 發明人何愷明,最近在個人網站上宣佈即將回歸學界了。
愷明甚至換上了全新的頭像。
在最近科技公司競爭大模型、AIGC 新增長點的背景下,何愷明選擇投身研究,做出了一個有引領性的選擇。
對此人們紛紛表示歡迎,「他的學生該有福了」:
不知道未來是否會有年輕一代學會何愷明大道至簡的研究風格。
也有人表示,希望他在加入 MIT 之後仍可以和 Meta 保持緊密聯繫,因爲即使貴如 MIT 也沒有業界實驗室那樣豐富的 GPU 算力資源。
感嘆之外,人們紛紛開始預測何愷明未來的科研方向。從他個人網站上的敘述來看:「通過計算機視覺問題的視角,我的目標是開發適用於各個領域的通用方法。我目前的研究重點是構建可以學習複雜世界表示的計算機模型,並探索麪向複雜世界的智能。我研究的長期目標是通過更強大的人工智能來增強人類智能。」
這可能意味着與現實世界互動的 AI,是機器人?
衆人聚焦的轉會
何愷明的去向在四個月前成爲了 AI 領域人人關注的話題。
今年 3 月,很多人發現 MIT 的網站上出現了一條特別演講預告。
在 MIT 的 EECS,此類「特殊研討會」通常是前來申請職位的學者進行的「面試」,其內容主要是展示求職者的研究成果。沒想到作爲學術明星的何愷明的一場小活動成爲了大型追星現場,活動當天會議室爆滿之後 MIT 不得不臨時加開投屏房間,結果遠程觀看的房間依然爆滿。
圖片來自知乎
可見人們對於這位大神的認可度。
據參與活動的同學透露,在這場演講過程中何愷明主要介紹了 ResNet、Faster R-CNN、Mask R-CNN、MoCo、MAE 等過去他完成的研究。另外還對未來進行了一定程度的展望,其中包括 AI 作爲一個通用工具幫助各個科學領域開展研究,以及自監督學習的更廣泛應用。
在 MIT 之行結束後,何愷明近期還曾在紐約大學、普林斯頓進行過演講。
從高考狀元到頂尖 AI 科學家
何愷明是我們耳熟能詳的 AI 科學家之一,在計算機視覺領域沒有人不知道他的大名。
2003 年,何愷明以標準分 900 分獲得廣東省高考總分第一,被清華大學物理系基礎科學班錄取。在清華物理系基礎科學班畢業後,他進入香港中文大學多媒體實驗室攻讀博士學位,師從湯曉鷗。何愷明曾於 2007 年進入微軟亞洲研究院視覺計算組實習,實習導師爲孫劍博士。
2011 年博士畢業後,何愷明加入微軟亞洲研究院工作任研究員。2016 年,何愷明加入 Facebook 人工智能實驗室,任研究科學家至今。
何愷明的研究曾數次得獎。2009 年,湯曉鷗教授、孫劍博士和當時博士研究生在讀的何愷明共同完成的論文《基於暗原色的單一圖像去霧技術》拿到了國際計算機視覺頂會 CVPR 的最佳論文獎,也是該會議創辦二十五年來首次有亞洲學者獲得最高獎項。
湯曉鷗與何愷明
2016 年,何愷明憑藉 ResNet 再獲 CVPR 最佳論文獎,此外,他還有一篇論文進入了 CVPR2021 最佳論文的候選。何愷明還因爲 Mask R-CNN 獲得過 ICCV 2017 的最佳論文(Marr Prize),同時也參與了當年最佳學生論文的研究。
根據 Google Scholar 的統計,何愷明一共發表了 73 篇論文,H Index 數據爲 67。截至 2023 年 7 月,何愷明的研究引用次數超過 46 萬次,並且每年以超過 10 萬次的速度增長。
這是個什麼量級呢?簡而言之,他加入 MIT 之後會立刻成爲該校論文引用量最高的學者,不限學科,沒有之一。
那些年,愷明發表過的「神作」
說起愷明大神的作品,最有名的就是 ResNet 了。這篇論文發表於七年前,迄今引用已經超過十七萬。
《Deep Residual Learning for Image Recognition》在 2016 年拿下了計算機視覺頂級會議 CVPR 的最佳論文獎。該論文的四位作者何愷明、張祥雨、任少卿和孫劍如今在人工智能領域裡都是響噹噹的名字,當時他們都是微軟亞洲研究院的一員。
同樣是大神級別的學者李沐曾經說過,假設你在使用卷積神經網絡,有一半的可能性就是在使用 ResNet 或它的變種。
何愷明有關殘差網絡(ResNet)的論文解決了深度網絡的梯度傳遞問題。這篇論文是 2019 年、2020 年和 2021 年 Google Scholar Metrics 中所有研究領域被引用次數最多的論文,並建立了現代深度學習模型的基本組成部分(例如在 Transformers、AlphaGo Zero、AlphaFold 中) )。
如今大模型都在使用的 transformer 的編碼器和解碼器,裡面都有源自 ResNet 的殘差鏈接。
「在 ResNet 之後就可以有效地訓練超過百層的深度神經網絡,把網絡打得非常深,」在 2023 世界人工智能大會的演講中,湯曉鷗對何愷明的學術貢獻不吝讚美:「何愷明把神經網絡做深了,谷歌把神經網絡的入口拉大了,又深又大,才成爲今天的大模型。」
2021 年 11 月,何愷明以一作身份發表論文《Masked Autoencoders Are Scalable Vision Learners》,提出了一種泛化性能良好的計算機視覺識別模型,同樣是剛剛發表就成爲了計算機視覺圈的熱門話題。
一個初入 AI 領域的新人,在探索的過程中看到很多重要研究主要作者都是何愷明,經常會不由得感到驚訝。何愷明雖然長期身處業界,但科研態度一直被視爲標杆 —— 他每年只產出少量一篇文章,但一定會是重量級的,幾乎沒有例外。
我們也經常讚歎於何愷明工作的風格:即使是具有開創性的論文,其內容經常也是簡明易讀的,他會使用最直觀的方式解釋自己「簡單」的想法,不使用 trick,也沒有不必要的證明,有的只是美麗的直覺。
如今迴歸學界,期待愷明能帶來更多驚豔之作。
參考內容:
https://www.csail.mit.edu/event/eecs-special-seminar-kaiming-he-pursuit-visual-intelligence
https://www.zhihu.com/question/588205714