張亞勤院士談“智能計算新趨勢”

來源:人工智能計算大會

作爲第四次工業革命的核心,人工智能已經成爲全球新一輪科技革命和產業變革的核心驅動力。在2021人工智能計算大會(AICC 2021)上,清華大學智能科學講席教授、美國藝術與科學院院士張亞勤帶來了《智能計算新趨勢》主題演講,分享了在信息、物理和生物智能融合的新時代下,AI計算面臨的新挑戰及突破傳統範式的新趨勢。同時,張亞勤教授分享了人工智能在生命科學、綠色計算及自動駕駛領域最前沿的應用成果,探討人工智能的技術如何真正賦能各產業,推動社會的進步。

以下是張亞勤教授演講原文(有刪減):

大家好,特別高興參加人工智能計算大會,我今天分享的是有關於產業發展的新趨勢,包括人工智能在生命科學、雙碳趨勢下的綠色計算、自動駕駛等領域中扮演的一些角色。

AI計算趨勢

在過去30年中,如果說有一件事是最重要的,那無疑是“數字化”,在80年代、90年代我們所做的是把內容和企業數字化。從當時的語音、圖像、視頻、文本,後來到企業ERP、CRM,包括雲計算,其實是數字化的1.0和2.0階段。

現在,我們進入了新一輪的數字化3.0,這包括兩個世界的數字化。

■ 一是物理世界數字化,我們的路、車、交通燈,家庭、車間車牀工廠,甚至整個城市都在數字化。

■ 二是生物世界,即我們的生命世界也在數字化,我們的大腦、身體器官、DNA基因、蛋白質等正在走向數字化,同時各種新的生物電子芯片、腦機接口技術也在不斷髮展。

麻省理工學院多媒體實驗室主任Nicholas Negroponte寫的《數字化生存》,談的就是數字化1.0,他認爲這是從原子到信息再到比特的變革過程。至於數字3.0階段,我認爲是從比特回到原子、分子的過程,可以說是原子、分子和比特的雙方映射。

第三次數字化和第一輪、第二輪有完全不同的一些特點。一方面是指數級的數據,比如在無人車領域,每天一輛車產生的數據量是5T;在基因測序領域,每一次測序產生的數據是3T,蛋白質三維結構的數據10300,所以數據在海量地增長。另一方面,這些數據主要不是給人而是給機器做決策的,是機器到機器的環節。

人工智能經過了很多發展階段,最早是更多依靠知識的符號邏輯推理,但知識並不完備,所以造成了AI的第一個冬天。而現在,更多是數據驅動的深度學習;未來,我認爲是知識和數據的融合,包括關於大腦的知識,以及大量的現實世界數據,同時也包括第一性原理方程式,比如薛定諤方程、分子動力學方程等等

深度學習可以說是這十年來的主流,從RNN、LSTM、CNN,到現在的GAN和Transformer,其經歷了豐富的發展階段,當下的方向是預訓練、多模態、大模型。其中有不少挑戰,包括因果性、可解釋性、透明性,但也有新的解決方案。

目前,在感知方面,機器已經達到和人類相當的水平,甚至在某些方面還要更好,雖然認知能力還有一定的差距,但我認爲在未來十年左右也將縮小。

人工智能發展中很重要的一點,就是三要素裡面的“算力”,也即“計算”。摩爾定律已經遇到瓶頸,因此,現在的深度學習,特別是大模型、大計算,其算力不僅僅要達到摩爾定律,而且要超越摩爾定律。它們每年的計算需求幾乎達到10倍增長。

例如GPT-3,它是1000多億參數的大模型。OpenAI團隊後面沒有資金繼續做,微軟投資把GPT-3模型訓練出來。

中國和美國在這個領域你追我趕。鵬城的盤古、智源的悟道、浪潮的“源1.0”、微軟-AMD的圖靈,不管是算力還是參數、數據,都比GPT-3大很多。在此方面,GPT-4可能也會馬上出現,一旦出現,我認爲中國的企業、科研機構也會超越GPT-4。這是一個好現象,中美兩國在這個行業的科技、產業方面形成良性競爭,對整個行業的發展都是有益的。

IT產業有三個定律,一個是香農定律,一個是馮·諾依曼架構,另外一個是摩爾定律。我們現在所做的,就是突破這三個極限,特別是馮·諾依曼架構,它已經被使用了將近60年,依然是目前計算的主流架構。在人工智能時代,它有諸多侷限,現在很多科研、產業都在想怎麼去突破它。比如,在聽覺、視覺、觸覺、味覺之外打造新的感知,如激光雷達、三維結構、光傳感、生物的傳感;另外,我們有新的數據流,需要海量的並行計算,包括AI的一些算法,如矩陣、算子、波爾代數等,都需要超越馮·諾依曼架構。我們看到,很多新興科研產品出現,一些非傳統的芯片公司現在也都進入了芯片和程序庫領域。

長期來看,我們需要突破計算的範式。目前類腦計算、量子計算、光計算、生物計算都有重大進展;在空間分佈方面,我們的計算也有很大變化:最早IBM大型機是完全的中央計算,PC階段則變爲完全分佈式的,到雲計算時又回到中央式的,現在我們正走向雲+邊+端的協同智能。未來,許多計算將走向邊緣,我相信,在未來十年中,90%以上的計算能力可能會到邊緣,整個計算會更動態化、分佈化。

AI+生命科學

下面我簡單講人工智能在三個領域的應用,也是我們主要在做的一些科研工作。

在生命科學領域,一是剛纔講過生物世界在數字化,產生了天文級的組學數據,基因組學,蛋白質組學,轉錄組學,細胞組學,這些組學數據再加上各種組合帶來的數量是天文級的。二是,整個生物的實驗,幹實驗和溼實驗完全閉合會走向自動化,未來越來越少的人介入,這是在實驗範式上很大的突破。三是,人工智能科學計算,我們現在生物世界裡面更多的是分子動力學,未來AI將走進科學計算。

簡單看一下,AI在生命科學方面的進展,第一個是基因編輯,編輯的基底清楚之後,AI的算法可以更精準的找到治病基因,治療的方式讓靶點更加準確。其實就是把這個搜索空間大大的減少了。

另外,我們不僅僅可以做小分子的製藥,也可以做大分子,抗體,以及TCR個性化的疫苗和藥物,還有我們看到最近AlphaFold在蛋白質解析方面的進展,從一維的序列到三維的結構到功能,都會加速發展。其次,隨着高通量自動化的實驗發展,新的範式正在構成。最近新冠疫苗的研發就是一個例子,從2020年1月基因的序列被髮布之後,可以看到3個月之後,蛋白質的結構很快就解析出來了,1個月之後,病毒和人的交互方式就被解析了,很快滅活疫苗研發成果,這在人類歷史上是最快的一個週期,僅不到一年時間,我們的疫苗就出來了。

另外一個工作是我們彭健教授所做的,根據目前我們已有的腫瘤細胞繫上藥物數據,加上動物的模型、老鼠的模型產生的數據來預測藥效。因爲人類的這些數據比較少,可解釋型的機器學習能夠很快的去遷移到人體內藥效預測上。右邊是乳腺癌患者的實例,可以看到用這樣的方式不僅僅加快研發速度而且對於藥物推薦使用的準確度也提高了5倍。另外一個例子是我們最近也是彭健教授團隊,用幾何深度學習,先把蛋白質表面的幾何表徵訓練起來,然後用深度的圖網絡來做抗體親和力預測。我們抗體設計不僅僅在過程上加速了很多,也已經成功的應用到新冠的中和抗體藥物的開發上。

還有我們在基因大數據方面的工作,由蘭豔豔教授帶領學生完成,我們現在知道基因10%是已經編碼的,90%是沒有編碼的,這些開放區域與轉錄因子的結合以及和目標基因的調控關係,最終會影響生物的性狀。但這些數據過去大家都不用,也不知道怎麼用。那我們現在通過人工智能最前沿的預訓練技術,通過構造一個全新的模態,建立基因數據的有效表達,繼而對下游的基因表達預測,剪切預測,治病性預測等任務都有顯著的幫助。這個工作剛剛開始,未來還有很大的發展空間。

很重要的是,我們發現這裡面有非常大的挑戰,我們做人工智能或者說計算機科學,和生命科學,是兩個不同的語言體系。過去的合作方式都是比較機械的,或者是生物科學家去調程序包,或者把算法用到生命科學領域。爲了打通兩個領域,我們做了一系列的工作,從硬件層到數據層,然後到算法層,這些工作叫“破壁計劃”。

這方面很好的例子是AlphaFold。首先第一點問題——從蛋白質一維序列到三維結構,它是一個科學的問題;第二點的話,就是每次破解蛋白質的結構之後,大家把數據拿出來共享,就可以看到積累的數據越來越多。

隨着數據更多、算力更大、算法更新,我們希望做的是,把這樣的一種方法論用到更廣闊的領域,不僅是蛋白質,還有抗體、基因預測等方面。

AI+綠色計算

人工智能在綠色計算雙碳領域也有重要的的應用。當環境與氣候已經成爲一種挑戰,碳中和是可持續發展的必然選擇,同時也是能源結構調整的大機遇。

人工智能在這個領域也有很多應用。一個方向是物聯網,做AIOT,重要的是要感知這個世界,知道碳排放、能源從哪裡來、怎麼消耗的;第二,有了數據之後,就可以用算法進行智能決策,然後配製資源、進行資源循環。比如在能源融合方面,怎樣讓火電、核電、水電、風電、太陽能更好地融合到電網裡去,在供電、儲能、用電各環節都進行數據監控、優化、感知和均衡,這是大問題,人工智能算法會在其中扮演不同角色。

講到雙碳排放,IT行業和ICT行業也是一個大的排放源。我和團隊講,先把我們自己的排放問題解決了:數據中心運行的大數據、大計算產生了很多排放;5G本身是特別好的技術,但由於需要很多基站、天線,所以功耗也比較高;另外大的算法、模型也有很多排放。

我們近期的一個工作是5G基站。衆所周知,5G用的Massive MIMO裡面有很多基站,這樣計算一下,比如50個基站就有64個MIMO,組合數就很高了,正常應用的時候還要做最優的佈陣、部署,有很多種可能性,數量絕對會達到天文級。我們最近做了一些工作,是真實的基站加上一些模擬的場景,用多Multi-agent cooperative Contextual Bandits這個算法,其實也不是特別複雜,也包括一些離散正向學習算法,使得功耗降低了15%左右、5G網絡覆蓋質量提高了5%左右。這個工作其實才剛剛開始,我想告訴大家,人工智能算法在很多領域都會有應用,應用之後可以起到很好的效果。

另一個工作更理論化:現在的大模型、大數據、大計算,能否也走向另一端,即小模型、小計算、小功耗,在邊緣處用傳感器或手機就可以做類似的計算。當然精度可以低一點,比如80%、90%,但功耗、計算量、模型可能是百分之一、甚至是千分之一。其中很多大家可能都比較熟悉,像蒸餾、壓縮、量化,對模型本身進行重新優化和部署。

AI+自動駕駛

最後是人工智能在自動駕駛方面的應用,這也是我自己研究時間比較多的領域。

汽車產業已有上百年的歷史,這個產業最近在經歷百年未有之大變局,無論產業結構還是技術要素都進入了新階段。其中,智能化是無人駕駛最關鍵的環節。爲什麼這麼說?首先是更安全,90%以上的交通事故是人爲事故,而自動駕駛可以把它降到最低;其次是更綠色,它的效率更高,可以節能減排。

我認爲自動駕駛也是人工智能領域目前最有挑戰、最難、最複雜的一個技術問題,但同時可以解決。它是一個複雜的大系統,但可以解剖成子問題,逐個解決;但如果沒有邊界的話可能就沒法解決。最具挑戰、但又有邊界的是AI垂直領域問題。

自動駕駛領域有一些關鍵的議題。這個領域有市場的力量,也有非市場的力量;市場力量包括技術是否可行、用戶是否有需求、產業生態、商業模式等,非市場的力量包括政策法規、倫理隱私等。在技術方面,完全無人的L4級別自動駕駛,究竟是夢想還是現實?究竟是以視覺爲主,還是採取激光雷達多傳感器的模式?究竟是以單車智能爲主,還是需要車和路、車和車協同?是漸進式跳躍,L2、L3走上去,還是直接跳躍到L4?是像安卓一樣開源,還是像Apple一樣封閉?到底是現在的汽車OEM會贏得這場競爭,還是造車新勢力?我注意到有很多的問題。要真正實現大規模無人駕駛,還需要一些時間。

我們開車的時候,是在用最安全且實時的方式,加上對時間的預測,構建一個三維環境場景,做這件事是很難的。其中很重要的是,要有大量的數據、做很多測試、不斷改進算法。實際駕駛中永遠都會遇到此前訓練中沒有的場景。圖片上就是這輛特斯拉撞上一輛白色卡車,當時天氣特別好,藍天白雲,它用視覺一看,以爲前面沒有東西,就直接撞上去了。很多時候AI必須能預測,泛化的能力是人工智能的一個大挑戰,對自動駕駛、無人駕駛更加重要,因爲一旦出現問題,就關乎生命安全。

關於視覺與多傳感器的問題,我的觀點是能拿到多少數據就拿多少數據。新的傳感給我們提供了新的數據和新維度的信息,AI的感知能力是唯一可以超過人類的點。攝像頭、激光雷達或各種不同傳感器可以看到人類眼睛看不到的東西,這是AI的優勢,必須加以利用。運用視覺也可以實現無人駕駛,但其本身的魯棒性及安全性受限;而用激光雷達加上算法,就可以檢測出深度的信息,分辨車、行人,分辨運動或不動的物體,這就是有深度、有結構的物體信息。所以視覺攝像頭和激光雷達相結合是最佳的方式。大家有顧慮,認爲激光雷達太貴了,其實現在混合雷達價格已是可接受的。我想,固態雷達一定會是未來的趨勢,L2、L3的車上也會用到。

自動駕駛本身需要很強的智能,交通燈和道路配合也可以提供更高維的數據,車端和路端完全可以互補。有些東西車是看不到的,車只能看到100多米,而且經常會被遮擋,交通燈則可以提供新的信息,這對自動駕駛安全提供了很重要的保障。

現在車的分級是從L0一直到L5,L5就是完全無人,可以在所有的場景、所有的氣候中行駛。最近清華大學智能產業研究院(AIR)和百度有個聯合項目,把路也分成C0-C5,到C4就是任何車都能無人駕駛,但這是比較極端的情況,我們希望最終的結果是車和路的融合。

我們做的物理模型和數學模型也顯示,車和路協同能夠大幅度提高安全性。在超距離跟車、換道、左轉這三個不同場景中,都可以看到路、燈的信息大幅度提高了車的安全程度。

總結

最後總結一下:在前三次工業革命中,蒸汽機時代、電氣時代、信息時代,我們都是跟隨者、旁觀者,而現在進入第四次工業革命,到了智能時代,我們國家的體量、政策的優勢、大量的科研人才,一定能讓我們成爲第四次工業革命的領軍者!感謝大家。

未來智能實驗室的主要工作包括:建立AI智能系統智商評測體系,開展世界人工智能智商評測;開展互聯網(城市)大腦研究計劃,構建互聯網(城市)大腦技術和企業圖譜,爲提升企業,行業與城市的智能水平服務。每日推薦範圍未來科技發展趨勢的學習型文章。目前線上平臺已收藏上千篇精華前沿科技文章和報告。

如果您對實驗室的研究感興趣,歡迎加入未來智能實驗室線上平臺。掃描以下二維碼或點擊本文左下角“閱讀原文”