深度學習十年後是撞牆了嗎？Hinton、LeCun、李飛飛可不這麼認爲

選自venturebeat

作者：Sharon Goldman

機器之心編譯

編輯：蛋醬、杜偉

自 2012 年，以 AlexNet 爲代表的深度學習技術突破開始，至今已有 10 年。

10 年後，如今已經成爲圖靈獎得主的 Geoffrey Hinton、Yann LeCun，ImageNet 挑戰賽的主要發起人與推動者李飛飛如何看待過去十年的 AI 技術突破？又對接下來十年的技術發展有什麼判斷？

近日，海外媒體 VentureBeat 的一篇專訪文章，讓 AI 社區開始討論起這些問題。

在LeCun看來，過去十年最重要的成果包括自監督學習、ResNets、門-注意力-動態連接圖、可微存儲和置換等變模塊，例如多頭自注意力-Transformer。

Hinton 認爲，AI 領域的快速發展勢頭將繼續加速。此前，他與其他一些 AI 領域知名人士對「深度學習已經碰壁」這一觀點進行了反駁。Hinton 表示，「我們看到機器人領域出現了巨大進步，靈活、敏捷且更順從的機器人比人類更高效、溫和地做事情。」

Geoffrey Hinton。圖源：https://www.thestar.com/

LeCun 和李飛飛贊同 Hinton 的觀點，即 2012 年基於 ImageNet 數據集的一系列開創性研究開啓了計算機視覺尤其是深度學習領域的重大進步，將深度學習推向了主流，並引發了一股難以阻擋的發展勢頭。李飛飛對此表示，自 2012 年以來的深度學習變革是她做夢也想不到的。

李飛飛

不過，成功往往會招致批評。最近，很多觀點紛紛指出了深度學習的侷限性，認爲它的成功僅限於很小的範圍。這些觀點認爲深度學習無法實現其宣稱的根本性突破，即最終幫助人類實現期望的通用人工智能，其中 AI 的推理能力真正地類似於人類。

知名 AI 學者、Robust.AI 創始人 Gary Marcus 在今年三月發表了一篇《深度學習撞牆了》的文章，他認爲純粹的端到端深度學習差不多走到盡頭了，整個 AI 領域必須要尋找新出路。之後，Hinton 和 LeCun 都對他的觀點發起了駁斥，由此更引發了圈內熱議。

雖然批評的聲音不斷，但他們不能否認計算機視覺和語言等關鍵應用已經取得了巨大進展。成千上萬的企業也見識到了深度學習的強大力量，並在推薦引擎、翻譯軟件、聊天機器人以及更多其他領域取得了顯著的成果。

2022 年了，當我們回顧過往蓬勃發展的 AI 十年，我們能從深度學習的進展中學到什麼呢？這一改變世界的變革性技術未來會更好還是走下坡路呢？Hinton、LeCun、李飛飛等人對此發表了自己的看法。

2012 年，深度學習變革的開始

一直以來，Hinton 堅信深度學習革命的到來。1986 年，Hinton 等人的論文《Learning representations by back-propagating errors》提出了訓練多層神經網絡的反向傳播算法，他便堅信這就是人工智能的未來。之後，1989 年率先使用反向傳播和卷積神經網絡的 LeCun 對此表示贊同。

Hinton 和 LeCun 以及其他人認爲多層神經網絡等深度學習架構可以應用於計算機視覺、語音識別、自然語言處理和機器翻譯等領域，並生成媲美甚至超越人類專家的結果。與此同時，李飛飛也提出了自己深信不疑的假設，即只要算法正確，ImageNet 數據集將成爲推進計算機視覺和深度學習研究的關鍵。

到了 2012 年，Alex Krizhevsky、Ilya Sutskever 和 Hinton 的論文《ImageNet Classification with Deep Convolutional Neural Networks》問世，使用 ImageNet 數據集創建了今天大家非常熟悉的 AlexNet 神經網絡架構，並獲得了當年的 ImageNet 競賽冠軍。這個在當時具有開創性意義的架構在分類不同的圖像方面比以往方法準確得多。

論文地址：https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

可以這麼說，這項研究在 ImageNet 數據集和更強大 GPU 硬件的加持下，直接促成了下個十年的主要 AI 成功案例，比如 Google Photos、Google Translate、Amazon Alexa、OpenAI DALL-E 和 DeepMind AlphaFold 等。

在 AlexNet 推出的 2012 年，也有其他人和機構開始轉向深度學習研究領域。Google X 實驗室構建了一個由 16000 個計算機處理器組成的神經網絡，它具有 10 億個連接，並逐漸能夠識別類貓（cat-like）特徵以及高度準確地識別 YouTube 上的貓視頻。

與此同時，Jeffrey Dean 和 Andrew Ng 也在大規模圖像識別領域進行突破性工作。Dan Ciregan 等人中稿 CVPR 2012 的論文顯著提高了卷積神經網絡在多個圖像數據集上的 SOTA 性能。

論文地址：https://arxiv.org/pdf/1202.2745.pdf

總而言之，到了 2013 年，「幾乎所有的計算機視覺研究都轉向了神經網絡，」Hinton 說，他從那時起就在 Google Research 和多倫多大學之間分配時間。他補充說，從最近的 2007 年算起，幾乎發生了一次人工智能的徹底改變，遙想當時，「在一次會議上發表兩篇關於深度學習的論文甚至是不合適的」。

十年深度學習進展

李飛飛表示，她深度參與了深度學習的突破——在 2012 年意大利佛羅倫薩會議上親自宣佈了 ImageNet 競賽的獲勝者——人們認識到那一刻的重要性也就不足爲奇了。

「ImageNet 是一個始於 2006 年的願景，當時幾乎沒有人支持，」李飛飛補充說，它後來「在事實上以如此具有歷史意義的重大方式獲得了回報。」

自 2012 年以來，深度學習的發展速度驚人，深度也令人印象深刻。

「有一些障礙正在以令人難以置信的速度被清除，」LeCun 說，他引用了自然語言理解、文本生成翻譯和圖像合成方面的進展。

有些領域的進展甚至比預期中要快。對於 Hinton 來說，這種進展包括在機器翻譯中使用神經網絡，其在 2014 年取得了長足的進步。「我本認爲那會是很多年，」他說。

李飛飛也承認了計算機視覺的進步——比如 DALL-E——「比我想象的要快。」

駁回深度學習批評者

然而，並不是所有人都同意深度學習的進展令人瞠目結舌。2012 年 11 月，Gary Marcus 爲《紐約客》寫了一篇文章，他這麼說：「套用一句古老的寓言，Hinton 建造了一個更好的梯子，但更好的梯子並不一定能讓你登上月球。」

Marcus 認爲深度學習沒有比十年前更接近「月球」，此處的月球是指通用人工智能或人類水平的人工智能。

「當然有進步，但爲了登上月球，你必須解決因果理解和自然語言理解及推理，」他說。「在這些事情上沒有太大進展。」

Marcus 認爲將神經網絡與符號 AI（在深度學習興起之前主導該領域的 AI 分支）相結合的混合模型是對抗神經網絡極限的前進方向。不過 Hinton 和 LeCun 都駁斥過 Marcus 的批評。

「深度學習沒有撞牆——如果你看看最近的進展，那真是太棒了，」Hinton 說，儘管他曾承認深度學習在它可以解決的問題範圍內是有限的。

LeCun 補充說，「沒有被撞到的牆」。「我認爲有一些障礙需要清除，而這些障礙的解決方案並不完全清楚，」他說。「但我根本沒有看到進展放緩…… 進展正在加速。」

不過，Bender 並不相信。「在某種程度上，他們只是在談論根據 ImageNet 等基準提供的標籤對圖像進行分類的進展，看來 2012 年取得了一些質的突破。但如果他們在談論比這更宏大的事情，那都是炒作。」

人工智能偏見和道德問題迫在眉睫

在其他方面，Bender 也認爲人工智能和深度學習領域已經走得太遠了。

「我確實認爲，將非常大的數據集處理成可以生成合成文本和圖像的系統的能力（計算能力 + 高效算法）已經讓我們在幾個方面脫軌了，」她說。比如，人們似乎陷入了一個循環：發現模型有偏見，並提議嘗試去掉偏見，不過公認的結果是，目前並沒有完全去偏見的數據集或模型。

此外，她表示希望看到該領域遵守真正的問責標準，無論是針對實際測試還是產品安全——「爲此，我們需要廣大公衆瞭解以及如何看穿人工智能炒作的說法都處於危險之中，我們將需要有效的監管。」

然而，LeCun 指出，這些都是人們傾向於簡化的複雜而重要的問題，而且很多人「有惡意的假設」。他堅持認爲，大多數公司「實際上都想做正確的事」。

此外，他還抱怨了那些不參與人工智能技術和研究的人。「這是一個完整的生態系統，但一些人在看臺上射擊，」他說，「基本上只是在吸引注意力。」

關於深度學習的辯論肯定會繼續

儘管辯論看起來很激烈，但李飛飛強調，這些是科學的全部內容。「科學不是真理，科學是尋求真理的旅程。這是發現和改進的旅程——所以辯論、批評、慶祝都是其中的一部分。」

然而，一些辯論和批評讓李飛飛覺得「有點做作」，無論是說 AI 都是錯誤的，還是說 AGI 即將來臨，都屬於極端情況。「我認爲這是一場更深入、更微妙、更細微、更多維度的科學辯論的相對普及版本。」

當然，李飛飛指出，在過去十年中，人工智能的進步令人失望——而且並不總是與技術有關。

人工智能和深度學習的未來

LeCun 承認，一些人們投入大量資源的 AI 挑戰尚未得到解決，例如自動駕駛。「我會說其他人低估了它的複雜性，」他說，並補充說他沒有將自己歸入這一類別。

「我知道這很難，而且需要很長時間，」他聲稱。「我不同意一些人的說法，他們說我們基本上已經弄清楚了…… 這只是讓這些模型更大的問題。」

事實上，LeCun 最近發佈了一份創建「自主機器智能」的藍圖，這也表明他認爲當前的人工智能方法並不能達到人類水平的人工智能。

但他也看到了深度學習未來的巨大潛力，表示自己最興奮的是讓機器更高效地學習，更像動物和人類。

LeCun 表示，對他本人來說，最大的問題是動物學習的基本原則是什麼，這也是他一直提倡自監督學習等事物的原因之一。

「這一進展將使我們能夠構建目前遙不可及的東西，比如可以在日常生活中助力智能系統，就好像它們是人類助手一樣。這是我們將需要的東西，因爲所有人都將戴上 AR 眼鏡，我們將不得不與其互動。」

Hinton 同意深度學習正在取得更多進展。除了機器人技術的進步，他還相信神經網絡的計算基礎設施將會有另一個突破，因爲目前的設施只是用非常擅長做矩陣乘法器的加速器完成數字計算。他說，對於反向傳播，需要將模擬信號轉換爲數字信號。

「我們會找到在模擬硬件中工作的反向傳播的替代方案，」他說。「我非常相信，長遠來看我們幾乎所有的計算都將以模擬方式完成。」

李飛飛認爲，對於深度學習的未來，最重要的是交流和教育。「在 Stanford HAI，我們實際上花費了過多的精力來面對商業領袖、政府、政策制定者、媒體、記者和記者以及整個社會，並創建專題討論會、會議、研討會、發佈政策簡報、行業簡報。」

對於如此新的技術，李飛飛比較擔心的是缺乏背景知識無助於傳達對這個時代的更細緻和更深思熟慮的描述。

10 年來的深度學習將如何被銘記

對於 Hinton 來說，深度學習在過去十年取得了超出想象的成功，但他也強調了，這種巨大的進步應該被歸功於「計算機硬件的進步」。

Marcus 是一位批評者的角色，他認爲深度學習雖然取得了一些進展，但之後看來這可能是一種不幸。

「我認爲 2050 年的人們會從 2022 年開始審視這些系統，並且會說：是的，它們很勇敢，但並沒有真正發揮作用。」

但李飛飛希望過去十年將被銘記爲「偉大的數字革命的開端」：「它讓所有人而不僅僅是少數人或部分人類的生活和工作更好了。」

她還補充道，作爲一名科學家，「我永遠不會認爲今天的深度學習是人工智能探索的終結。」

在社會層面，她說她希望將人工智能視爲「一種令人難以置信的技術工具，它以最以人爲本的方式被開發和使用——我們必須認識到這種工具的深遠影響，並接受以人爲本的思維框架以及設計和部署人工智能。」

最後，李飛飛表示：「我們如何被記住，取決於我們現在正在做什麼。」

原文鏈接：https://venturebeat.com/business/10-years-on-ai-pioneers-hinton-lecun-li-say-deep-learning-revolution-will-continue/