卷瘋了!美國AI博士生「人手10篇頂會」,遭歐洲同行質疑

新智元報道

編輯:Aeneas 好睏

【新智元導讀】歐洲博士生的這篇帖子火了!爲啥美國博士生人手10篇頂會,5篇一作?有人現身說法:這裡卷瘋了,博士打底每天工作10小時,7天無休,不少人都卷出了心理問題。而且頂尖機構還有豐富的GPU資源和大佬的背書,能不能站在巨人的肩膀上,自然差之千里……

明明都是人,怎麼美國的博士就人手十篇AI頂會,還有五篇是一作?

最近,歐洲博士的一篇質疑,在機器學習社區火了!

他表示,自己正在歐洲大學攻讀博士學位,研究方向是AI/機器學習/CV領域。

自己的博士學業爲期4年。

第一年,主要就是學習怎樣真正地搞研究,瞭解整個的學術運作機制。

第二年,自己就已經作爲共同作者,在頂會CVPR上發表了首篇論文。

第三年,他已經能夠管理研究項目,瞭解瞭如何申請資助,掌握了資金運作機制和其中的各種細節。

此時,他的簡歷中新增了兩篇論文,一篇是期刊論文,一篇是會議論文,都是以一作身份發表的。

在此期間,他深度參與了產業界的事務,爲和自己實驗室有合作的公司寫了大量跟AI、系統架構、後端、雲計算、部署等相關的生產級代碼。

看起來,自己應該算比較成功的博士了對不對?

然而,當他看到美國同背景的博士履歷時,直接驚呆了!

他們幾乎人手十篇頂會論文,全是CVPR、ICML、ICLR、NeurIPS級別的頂會,而且還有五篇是一作!

這位歐洲博士表示,自己受到相當大的衝擊——

這些人究竟是怎麼做到完成這麼多工作,還能每年在A類期刊上發3篇論文的?他們難道不需要睡覺嗎?

這位博士表示,我並不認爲這些人比我聰明。

每當自己有了新idea,就會去查找是否已經有人研究過。

他時常發現,某個斯坦福或者DeepMind的博士生剛好在一個月前發表了類似的研究,這就證明自己的思路是很前沿的,並不落伍。

然而如果要深入理解這些論文中的概念,就要需要投入的努力,再加上有獲取所有必要資源的過程,會耗費大量時間,絕不可能是2-3個月的項目就能搞定的。

最後,這位博士發出了心底的疑問——

面對網友們的各種反應,他也澄清道:自己並不是喜歡拿自己和別人比較的人,因爲每個人所處環境不同。

但是,對於僅有3-4年研究經驗的人來說,短短一年內就源源不斷地產出高質量研究和創新成果,這從人類角度來看是不可能的事!自己彷彿完全被矇在鼓裡。

背後到底有什麼因素,導致了人和人之間的這種巨大差別?

美國彙集世界頂尖人才,個個都是「卷王」

有人現身說法表示,這是因爲,美國大學裡充滿了卷王!

首先,美國學術界存在一種很卷的發表和工作文化。

曾在美國頂尖CS項目之一的實驗室做過本科生的層主表示,自己親眼目睹了研究生們的工作節奏——

一週七天都在工作,每天超過10小時,全年無休。

有一次,他無意中晚上7點去實驗室,發現自己的研究生同學還在那裡。

因爲好奇他究竟會工作到多晚,層主幹脆在實驗室等他,結果是——直到凌晨1點,他纔回家!

當然,這並非實驗室的強制要求,每個人都可以和項目負責人約定自己的工作界限。

但在美國這個人才競爭如此激烈的領域,每個人都會感受到巨大的壓力,沒有誰能不受影響。

第二點,美國實驗室的顯著優勢,就是吸引了來自世界各國都頂尖人才。

這裡層主特意拿清華舉了例子,據悉這個頂尖項目對於清華學生的錄取率僅有0.1%……

如果能吸引到中國和其他國家的頂尖人才,還讓他們每天工作10小時,那你很難不產生一些瘋狂的成果。

總之,全球頂尖人才,匯聚在了一個高強度的工作環境裡,這就造成了美國研究生驚人的學術產出。

基於NeurIPS 2022被接收論文作者數據

的確,立馬有人證實了他的說法。

他表示,在自己的實驗室,每週工作六十小時簡直是家常便飯。

在緊急時期,甚至可能飆到每週七十小時。

另一位博士說,每天工作超過10小時,7天無休是很常見的,很多博士都是這樣的。

不過他也指出,研究團隊的規模也是造成這種情況的一個因素。

在大學裡,自己花了一年時間才完成一篇論文,而第二篇論文用了6個月,作者只有自己、導師和聯合導師。

但最近,當自己在谷歌兼職實習時,那裡的期望是讓他6個月寫出三篇論文……

因爲那裡有一個規模不小的研究團隊,所以這種要求應該是常態。

總之,簡單概括就是兩點原因:

1. 他們很卷,捲到不可思議。

2. 全世界最頂尖的學生都去了美國,而不是歐洲。

而且,這種情況絕不僅僅是在AI領域存在,幾乎所有的STEM(科學、技術、工程和數學)領域都是如此!

有人說,自己在讀物理學博士的時候,也是這種狀態:生活里根本沒有除了學習以外的東西。

這種影響其實很殘酷,不少在讀博士的心理健康狀態都不太好,已經有大量文章討論這一現象了。

既不缺GPU和資源,還有大廠/大佬背書

GPU Rich vs GPU Poor

此外,帖子中還有人一語道破:大家都沒提的一個重要因素,就是資源。

的確,即使在美國的不同高校,手握GPU的資源也差別巨大。

他表示在自己讀博期間,計算資源是主要瓶頸。如果能有更多高性能的GPU,計算時間會顯著縮短,研究進度也會快很多。

普林斯頓、哈佛這樣的「GPU豪門」,手上的H100至少以三四百塊打底,但是連AI教母李飛飛的斯坦福自然語言處理(NLP)小組,也只有64塊A100 GPU。

在這種巨大的差異面前,出成果的速度自然也是一個天上,一個地下。

「名人效應」

有人提到,知名機構的title,就是很有分量的隱形資產。

首先,很多知名機構和美國的大型科技公司保持着密切聯繫。

這種關係不僅會激發出創新項目的靈感,還能提供額外的資源支持。

另外,斯坦福大學或者谷歌等知名機構的title,也無形中起了很大作用。

當你看到標有這些機構的logo的預印本論文在截止日期前幾周出現在arXiv上時,情況就複雜了。

這些論文,通常都配有專業的圖表、完整的項目網站和精心策劃的公關宣傳。

這篇文章,就被大佬戲稱爲「PR工作的典範」

這種情況下,每個人都知道是誰的工作,爲什麼這項工作很重要。

你敢說審稿人不會受此影響嗎?

這種情況下,他們很可能不敢給出過於嚴厲的批評。

即使他們認爲論文質量很差,但這是DeepMind論文,誰敢在評審意見中直接開麥diss呢?

總之,這些頂尖機構擁有雄厚的資源,自然而然就吸引了最有抱負、最優秀的學生,可以快速推進各種項目。

而在這些機構中,也就培養出了一種跨越好幾代學生和教師的機構文化——優先考慮如何在最短時間內,發表儘可能多的高影響力論文。

其實是「倖存者偏差」?

稍顯安慰的是,也有人對歐洲博士表示,其實這就是倖存者偏差。

可能他關注的都是美國頂尖的機器學習項目,他們的成果自然也是世界一流的。

但如果去了解一下普通大學裡博士生的情況,就會發現他們作爲一作在頂會上發論文的情況並不常見。

當然也有不那麼成功,或者乾脆轉行了的人。

有些人可能費了老勁也就發表了一篇論文,然而選擇去私營企業上班,不混學術圈了。

有人對這位博士表示,你所觀察到的樣本,並不具有統計學意義上的隨機性和代表性。

被偶然看到的美國博士生的論文或簡歷,幾乎可以肯定地說,代表了學術成就分佈中最爲top的那一波。

這些高產出的學生,往往會被他們所在的知名實驗室和機構更多地推廣。他們的成功可能源於良好的科研環境、出色的個人能力、一定的運氣成分、嚴格的競爭性選拔以及其他因素。

其實這就類似於社交媒體會導致人們焦慮和抑鬱。

在社交平臺上,人們傾向於展示自己最好的一面,這導致我們常常將自己與一個經過篩選、存在偏差且被美化過的樣本進行比較。

在學術界也是如此,每個研究者都在某種程度上「推銷」自己的研究成果,而那些最引人注目的成果,自然會得到更多關注。

在這種情況下,退一步、獲得更廣闊的研究視角,會很有幫助。他強烈推薦這位博士去讀一下閱讀Richard Hamming的經典演講稿「你和你的研究」(You and Your Research)。

也有人指出,雖然樓主的描述有些誇大了,但的確存在一個臨界點,超過這個點之後,單純增加數量和投入時間並不能等同於提高質量。

參考資料:

https://www.reddit.com/r/MachineLearning/comments/1g7dzkp/d_why_do_phd_students_in_the_us_seem_like/