萬億造芯?OpenAI能否成爲下一個英偉達?
從2023年底開始,英偉達開啓了暴漲模式,三個月翻了快一倍,女神節那天最高漲到926.69美元,總市值達到2.32萬億美元,僅次於微軟和蘋果,成爲全球市值第三大的公司,而且只離蘋果一步之遙。單從數字來看,英偉達的2.32萬億市值已經超過地球上絕大多數國家的GDP,僅次於美中德日印英法,排名第八。
眼看英偉達富可敵國、遙遙領先,買了英偉達股票的人在財富暴漲的同時、期待着英偉達股價超過1000美元;沒買英偉達的人一邊說着泡沫太大,一邊祈禱這趟飛馳的列車什麼時候能停一停讓他們上車。而整個科技圈和全球投資者都在尋找,看誰會成爲下一個英偉達。
從傳統的芯片巨頭,到初創公司,再到互聯網大廠和人工智能公司,算力已經成了人工智能時代最重要的鏟子。誰能掌握鏟子的銷售權,誰就拿到了通往萬億市值的鑰匙。
今天要討論的這家公司,和芯片沒毛線關係。但在人工智能領域,它已經是像英偉達那樣遙遙領先的存在了。更有意思的是,它是算力這把鏟子的最大買家,或許也是英偉達最大的金主爸爸。
是的,這家公司就是OpenAI。OpenAI這個濃眉大眼的傢伙,也要自己造芯片了,而且一出手就是七萬億美元。不僅要造芯,如今又傳出OpenAI要和微軟共建一個地表最強的AI數據中心,代號「星際之門」,耗資1150億美元。
這些操作,簡直和英偉達的佈局一毛一樣。那麼問題來了,OpenAI能否成爲下一個英偉達?
英偉達,如何成爲英偉達?
在詳細分析OpenAI的造芯前景之前,我們得先弄明白英偉達走到現在的高度,到底是因爲什麼原因、它到底做對了什麼。先說結論,在我看來英偉達做對了四點,分別是領導者、技術、生態、運氣,缺一不可。
先說領導者。打工人肯定都有體會,一個靠譜的老大是多重要。不過我們這裡說的領導者,顯然要更高一層,是帶領整個公司甚至行業發展的真正領袖。不用多說,英偉達老大黃仁勳應該是當前全球最炙手可熱、而且還在一線工作的科技領袖之一。
31年前,老黃在美國加州的一個小餐廳裡創立英偉達,目標是要開拓一個「0億美元市場」,也就是從0到1進軍一個大家從未聽說過的領域,而不是在存量市場裡不斷內卷。事實證明,正是因爲老黃非凡的想象力和前瞻性,帶領英偉達踩中了過去三十年的幾乎所有風口,也把英偉達帶到了現在前所未有的高度。
所以對於科技領袖來說,最重要的就是「預見未來」的能力、以及開疆破土的勇氣。所有萬億美元的產業,都是來自於0億美元的市場。這對於我們的創業者來說也是一個很重要的啓示。比如在ChatGPT出現之後,一堆初創公司去自研大模型,並不是說這沒有意義,而是或許這並不是個0億美元的市場。如何把握公司的未來方向,領導者起到的作用至關重要。
再來說技術和生態。這是英偉達遙遙領先的兩個最重要護城河,之前視頻裡也說過多次了。一方面通過對GPU架構的不斷優化,集成更多AI算力,讓GPU成爲人工智能掘金路上不可或缺的鏟子。另一方面通過CUDA構建軟件和開發者生態,培養加強AI從業者對英偉達GPU的依賴。
就像我們從小學中文;長大後是可以再學英語法語,但肯定不如母語用起來順手。技術和生態構成了一個不斷旋轉的飛輪,芯片和技術做的好,會吸引更多人來用,從而形成了生態;生態做的好,用戶就習慣留在這裡,同時提出更多需求,幫助下一代芯片再上一個臺階。其他公司想要成爲下一個英偉達,技術和生態缺一不可。
最後再說運氣。不管是99%的努力加1%的運氣,還是1%的努力加99%的運氣,運氣本身都是取得成功的必要因素。英偉達之所以達到今天富可敵國的程度,很重要的原因就是踩中了過去三十年幾乎所有的風口。從遊戲到雲計算到數字貨幣挖礦到元宇宙到汽車再到現在的人工智能,無一例外。
但是,我想說的並不是創業公司要像「周處除三害」裡的陳桂林一樣去找關聖帝笅杯占卜,而是要不斷提升好運到來的概率,這樣當運氣沒來時蟄伏、運氣一旦來到就能一把抓住。就像英偉達本質上並不是在追風口,而是構建GPU的基礎技術,讓它靈活到能適用於前面說的這麼多領域,但又足夠強大,能成爲風口到來時的唯一選擇。當然,運氣和產業本身的發展狀態、甚至和領導者的造勢能力也有很大關係。
所以,領導者、技術、生態、運氣這四點,是衡量一個公司未來發展的重要因素。接下來我們就用這個框架來看看,到底OpenAI能否成爲下一個英偉達。
OpenAI造芯,到底是誰瘋了?
很多朋友應該會疑惑,OpenAI不是做大模型的人工智能公司嗎?他應該是英偉達的金主爸爸啊。但事實上在大模型領域,算力和模型,誰是爸爸誰是兒子還不一定。由於訓練一個大模型特別吃GPU算力,所有公司都在瘋狂買卡,這就形成了一個賣方佔主導的市場。
強如OpenAI,雖然有微軟數據中心近乎all-in的強力支持,也逐漸遇到了算力瓶頸。要知道GPT3的訓練成本大概400萬美元,到了GPT4就飆升到1億,有人預估GPT-5的訓練成本會高達驚人的25億美元,其中絕大部分都要用來買英偉達的GPU算力。
於是,OpenAI的CEO Sam Altman大筆一揮,宣佈要籌措7萬億美元自己造芯(後來他在Lex Freddman的播客裡說「我從來沒說過7萬億」,Lex說「OK,但你說了8萬億」……)。聽到這個消息,我感覺不是他瘋了,就是我瘋了。根據他的說法,要用這筆錢徹底改造全球的半導體行業。所以他不止要做芯片設計,還要自己造晶圓廠。
7萬億美元是什麼概念呢,網友也幫我們算了一筆賬,7萬億可以買下包括英偉達在內的全球前20名芯片公司,外加Meta,然後奧特曼還能剩下三千億美元,就是這麼誇張。你把所有芯片公司都買了,搞個OpenChip公司自己玩就行了唄。爲此,硅仙人Jim Keller現場打臉,在社交媒體隔空喊話,說這些事兒給我一萬億就搞定了。
話說回來,且不論7萬億美元造芯有多瘋狂,我覺得OpenAI造芯是在算力緊缺情況下的一個理智的選擇。那麼套用我們的領導者-技術-生態-運氣框架,OpenAI能否成爲下一個英偉達呢?領導者方面,Sam Altman可以說是現在全球科技圈最有名的八零後領袖。不管是ChatGPT、GPT應用商店,還是年初發布的Sora,OpenAI在他的帶領下已然成爲了人工智能領域創業公司的王者公司。他自己的個性也很鮮明,把硅谷搞成了好萊塢,把OpenAI搞成了宮鬥現場,還上演了熹貴妃歸來的大戲。不過和老黃相比,奧特曼個性有餘、從容親和略顯不足。
所以領導者這一項,我給OpenAI四顆星。
再來看技術維度,OpenAI七萬億造芯到底能幹成嗎?先看芯片架構的選擇。根據現在披露的非常有限的信息,我們不知道OpenAI是做專用芯片還是通用芯片,但我猜大概率是以AI專用芯片開始,可能會通過收購一些初創AI芯片公司快速起步,之前就有傳言說OpenAI看上了來自英國的Graphcore,這也是很多大廠自研芯片的常用套路。外加OpenAI的看家本領是大模型本身,因此會爲芯片設計提供非常理想的應用和優化的場景。所以如果OpenAI真的下場造芯,我毫不懷疑他們能設計出一個高性能的AI芯片。
不過,在奧特曼的七萬億規劃中,還包含芯片製造的部分,這就有點不靠譜了。當前芯片行業的主流模式是fabless、也就是無晶圓廠模式。這個模式的核心是絕大部分芯片公司只負責芯片設計,只有少數公司負責芯片製造,讓大家專注在擅長的領域、發揮各自的優勢,不用既要又要還要,從而實現資源的合理分配。這種無晶圓廠模式也是芯片行業經過幾十年的發展分工逐漸形成的穩定而高效的模式。
具體來看芯片製造,如今有高端芯片製造能力的公司只有三個:臺積電、三星和英特爾。這是個資本和技術極度密集且門檻極高的行業,沒錢不行,只有錢也是萬萬不夠的,必須得有幾十年行業經驗和工程實踐的技術積累。這麼說吧,如果你從來沒做過包子,想在你家小區旁邊開一家包子鋪應該都費勁。更不用說從來沒做過芯片的人上來就去蓋芯片廠了。這麼深的水,我怕你把握不住。
也有分析說,奧特曼爲了動用鈔能力彎道超車,打算搞加盟模式,也就是把錢給臺積電,請臺積電建廠和運營,只爲OpenAI服務,硬生生把臺積電搞成7-11,果然有錢就是任性。
綜上,開啓買買買模式的OpenAI造芯,在技術維度我給四顆星。
GPT7和暗硅效應
再來看生態。OpenAI在人工智能領域有着夢幻開局,但先發優勢能否轉化爲像英偉達那樣的萬億市值和技術統治力,還取決於生態的發展和未來路線圖的設計,而這恰恰也是我認爲最存疑的地方。
爲什麼這麼說呢?四年前,OpenAI發表了一篇論文,提出了大語言模型的縮放定律(scaling law)。這個定律表明,只要對大語言模型投入更多算力和數據進行訓練,就能提高它下一個單詞的預測準確性。有人也把這個定律簡單描述爲:scaling is all you need,好像只要不斷投算力和數據,大模型就能不斷髮展下去。
但事實真的是這樣嗎?有人做了一個計算,如果保持現在GPT1234發展的速度,到2030年左右的GPT7就需要全世界所有計算機提供算力、需要一個超過三峽大壩或者現在任何核電站的巨型發電廠提供能源,以及超過現在地球上所有的數據,這顯然是不現實的。
OpenAI提出的縮放定律,讓我想到了芯片領域的兩個非常類似的縮放規律,一個是登納德縮放定律(Dennard Scaling Law),一個是阿姆達爾定律(Amdahl's Law)。登納德縮放定律認爲,隨着晶體管體積的縮減,它們的工作電壓也會降低,從而使得芯片單位面積功耗保持不變。
也就是說,隨着芯片技術的發展,我們可以同樣的芯片面積上放更多晶體管,性能更高,但功耗不變;或者爲了實現同樣的性能,芯片面積會更小、功耗會更低。阿姆達爾定律認爲,要顯著提升一個程序的執行速度,就需要儘可能減少他串行部分的執行時間,同時增加並行代碼的比例。
因此十幾年前,芯片領域學術界和工業界的主要發展趨勢就是多核心架構。雖然這還沒有完全成爲一個正式的全球性共識,但在當時,多核架構是非常熱門的研究方向。人們認爲,如果可以找到編寫和運行並行軟件的方法,我們就能直接將處理器架構擴展到數千個核心,從而帶來芯片性能成百上千倍的提升。
然而,我們現在知道,這種趨勢是不能無限擴展的。2011年,德州大學奧斯汀分校的道格博格爾教授發表了一篇論文,提出並研究了所謂的“暗硅效應”。我的骨灰級老粉應該聽過這個概念,因爲我的第一期視頻就講了這個,大家可以去考古一下,鏈接在「閱讀原文」中查看。
那麼什麼是暗硅效應呢?它指的是雖然我們可以不斷增加處理器核心的數量,但是由於能耗限制,我們卻無法讓這些計算核心同時工作。這就好像一幢大樓裡有很多房間,但由於能耗限制,你無法同時開啓每個房間的燈光,使得這幢大樓在夜裡看起來有很多黑暗的部分。這就是暗硅這個詞得名的原因。
暗硅效應的本質原因是,在後摩爾定律時代,晶體管的能效發展已經趨於停滯。這樣,即使人們開發出了並行軟件,並且不斷增加了核心數量,所帶來的性能提升也會非常有限。所以爲了克服“暗硅效應”帶來的問題,業界還需要在其他的方面帶來更多進展,包括定製計算等等。道格博格爾之後也加入了微軟,並且領導了微軟的FPGA項目,這個就不多說了。
再回到OpenAI的大語言縮放定律,OpenAI萬億造芯的本質,其實就是奧特曼希望通過提供「無限的計算能力,帶來全能的人工智能」,但現在OpenAI的這種暴力堆算力和數據的方法,或許並不是實現超級人工智能的可行途徑。
再進一步,大模型究竟是人工智能的終點、還是人工智能發展過程中的一個重要節點,也是很多人一直在思考的問題。比如圖靈獎得主、人工智能教父之一的LeCun就公開反對OpenAI的自迴歸生成模型的技術路線,並認爲Sora「通過生成像素來模擬世界的行爲,既浪費資源且註定會失敗」。
所以,生態部分我給OpenAI三星半。
AI的黃金時代
最後來看看運氣。前面說隨着芯片的縮放臨近極限,迫使人們不得不去尋找更多更高效的芯片設計方法,這反而促進了芯片行業的發展。圖靈獎得主John Hennessy和David Patterson也在此時提出了著名的論斷,未來十年會是體系結構的黃金時代。至少現在我們可以看到,在這個黃金年代中,英偉達是最大的贏家,沒有之一。
所以,當AI縮放定律走到盡頭時,是否也會開啓AI芯片的下一個黃金時代?從這個角度看,是不是OpenAI造芯的好日子還在後頭?芯片是個長週期行業,從現在開始佈局,少則兩三年,多則五六年才能看到結果。運氣方面OpenAI從來沒輸給過誰,它已經踩中了大模型這個超級大風口,而芯片,或許會成爲OpenAI踩中的下一個風口。
所以,運氣方面,我給OpenAI四星半。
以上就是我對OpenAI造芯未來的想法,不知道你是否同意?你覺得OpenAI會成爲下一個英偉達嗎?歡迎在評論區說說你的想法。感謝你一直看到這裡,所以我給你準備了一個福利:我列了四個可能成爲英偉達的公司,分別是AMD、谷歌、特斯拉、Tenstorrent,你希望我先講誰?把你的選擇寫在評論區,我優先安排。
(注:本文不代表老石任職單位的觀點。)