2美元/小時出租H100：GPU泡沫破滅前夜
紅杉資本的報告曾指出，AI產業的年產值超過6000億美元，纔夠支付數據中心、加速GPU卡等AI基礎設施費用。而現在一種普遍說法認爲，基礎模型訓練的資本支出是“歷史上貶值最快的資產”，但關於GPU基礎設施支出的判定仍未出爐，GPU土豪戰爭仍在進行。尤其是，以OpenAI爲代表的大模型公司在訓練+推理上的支出超過了收入，最近他們在有史以來最大的風險投資輪中籌集了66億美元，同時預計2026年的虧損將達到140億美元。
近期，NVIDIA的新一代Blackwell系列芯片交付給了OpenAI，他們還表示接下來一年的產品已經售罄，NVIDIA CEO黃仁勳指出這可能是行業歷史上最成功的產品。與此同時，AMD CEO蘇姿豐推出了MI325X，而提交了IPO申請。
隨着數十億美元投入到AI基礎設施層，這會促進AI上層的 繁榮還是泡沫？現在，是時候深入探討GPU市場的時候了。
本文作者Eugene Cheah深入研究了H100市場，可能爲即將到來的Blackwell芯片的未來走向提供一些參考。他指出，由於預留計算資源的轉售、開放模型的微調以及基礎模型公司的減少，市場上的H100算力已經供過於求，尤其是H100從去年以8美元/小時到現在多家算力轉售商以低於2美元/小時的價格出租。經過深度分析後，他建議用戶在需要時租用而不是購買算力。
（Eugene Cheah是AI推理服務供應商Featherless.AI的聯合創始人，也是 RWKV開源基礎模型項目的聯合負責人
。本文由OneFlow編譯發佈，轉載請聯繫授權。原文：https://www.latent.space/p/gpu-bubble ）
作者 |Eugene Cheah
OneFlow編譯
題圖由平臺生成
1
AI競賽簡史
2022年11月30日，基於A100 GPU系列訓練的GPT3.5與 ChatGPT彷彿一夜之間吸引了全世界對 AI 的想象，並開啓了AI競賽。2023年3月21日，隨着驚人的AI勢頭，H100很快就來了。
如果OpenAI可以用“舊”的A100構建智能，那麼使用新推出的性能高3倍、價格多2倍的H100，你也能夠構建一個更大、更好的模型，甚至可能超越OpenAI率先到達AGI——如果你的財力比OpenAI還雄厚。
第一個成功實現這一目標的AI公司，將獲得新AI經濟中的一大塊份額——每一個分析師的粗略計算都表明，取代通用的人類智能將意味着數萬億美元的市場。如果能夠成功，你將比地球上一半的國家或歷史上任何王國都要富有。懷着這樣的渴望，有100億到1000億美元的資金投入到AI公司和創始人身上，以推動新一輪科技革命，這導致H100的需求突然激增。
市場價飆升，H100的初始租賃價格約爲4.70美元/小時，但實際價格超過了8美元/小時。所有急切的創始人紛紛涌入，急於訓練他們的模型，以說服投資者進行下一輪億級美元的融資。
在2023年的投資者會議上，英偉達向他們的投資者和數據中心客戶推介了以4美元/小時的價格出租H100的“市場機會”。
對於GPU農場來說，這感覺像是不勞而獲的錢——如果你能讓這些創始人以4.70美元/小時或更高的價格租用你的H100 SXM GPU，甚至讓他們提前支付，投資回報期將少於1.5年。從那以後，每個GPU每年將帶來超過10萬美元的現金流。
由於GPU需求似乎沒有盡頭，他們的投資者同意了，甚至進行了更大規模的投資……
《鬱金香狂熱》——描繪了有記錄以來歷史上第一次投機泡沫，鬱金香價格在1634年持續攀升，並於1637年2月崩盤。
2六千億美元的投資之後
與數字商品不同，實物商品會受到延遲發貨的影響，尤其是在多次發貨延遲的情況下。2023年的大部分時間裡，H100的價格感覺會永遠高於4.70美元/小時以上（除非你願意支付一大筆預付款）。2024年初，H100的價格在多個供應商那裡降至大約2.85美元/小時。
然而，隨着更多供應商的加入……我開始收到這樣的郵件：
雖然我未能以4美元/小時的價格獲得H100節點（8個H100），但我多次確認，你可以以8到16美元/小時的價格獲得。
2024年8月，如果你願意競拍一小段時間的H100使用時間（幾天到幾周），你可以找到1-2美元/小時的H100。
尤其對於小型集羣而言，我們正面臨着每年至少40%的價格下跌。NVIDIA預測的4美元/小時的GPU價格在4年內保持不變，但不到1.5年就煙消雲散了。
這非常可怕，因爲這意味着有人可能會被套牢——尤其是如果他們剛剛購買了新的GPU。那麼，到底發生了什麼？
3一張H100 SXM GPU的投資回報率（ROI）是多少？
在數據中心，平均一張H100 SXM GPU的設置、維護和運營成本（即大部分資本支出）爲50000美元或更多，不包括電費和冷卻的運營成本。本文後面將提供更詳細的計算方法。
但對今天的單元經濟和投資意味着什麼？特別是假設GPU的使用壽命爲5年的情況下。
通常，H100的租賃業務模式有兩種，我們將會覆蓋這兩種模式。
短期按需租賃（按小時、周或月）
長期租賃（3-5年）
新的H100 ROI（2024年8月）
總結來說，對於按需工作負載：
2.85美元/小時：超過股市的內部收益率（IRR）
低於2.85美元/小時：低於股市的IRR
低於1.65美元/小時：預期投資虧損
對於上述ROI和收入預測，我們引入了“混合價格（blended price）”，假設租賃價格在5年內逐步下降50%。
鑑於我們目前看到的每年價格下降>=40%，這可以被視爲一個保守/樂觀的估計，但這是一種通過考慮一定比例的價格下降的同時來預測ROI的一種方法。
在4.50美元/小時的情況下，即使考慮混合價格，我們也能看到NVIDIA最初對數據中心提供商的承諾，即在2年後幾乎可以“印鈔”，內部收益率（IRR）超過20%。
然而，在2.85美元/小時的情況下，IRR剛剛超過10%。
這意味着，如果你今天購買新的H100服務器，並且市場價低於2.85美元/小時，你的投資回報率幾乎只能勉強與市場基本回報水平持平，並且假設使用率是100%（這是一個不合理的假設）。任何低於這個價格的情況，作爲投資者，投資H100基礎設施公司不如投資股市。
如果價格降至1.65美元/小時以下，作爲基礎設施提供商，在5年內使用H100註定會虧損，特別是如果你今年剛剛購買了節點和集羣。
長期預訂租賃（3年+）
許多基礎設施提供商，尤其是那些較老的公司，並不是對此一無所知——因爲他們曾經親身經歷過GPU租賃價格在加密貨幣時代大幅上漲後的急劇跳水，他們已經經歷過這種週期。
因此，在這一週期中，去年他們大力推動3-5年的前期承諾和/或支付，價格在4美元/小時以上（通常預付50%到100%）。今天，他們推動的價格範圍在2.85美元/小時以上，以鎖定他們的利潤。
這種情況在2023年AI高峰期尤爲明顯，尤其是在圖像生成領域，許多基礎模型公司被迫簽訂高價的3-5年合同，只是爲了在新集羣客戶中排在前面，成爲第一個推出目標模型的公司，以促進完成下一輪融資。
這可能不是最經濟的舉措，但可以讓他們比競爭對手更快地行動。
然而，這導致了一些有趣的市場動態——如果你在未來3年內以3美元或4美元/小時的價格簽訂了合同，那麼你將被合同綁定。當模型創建者完成模型訓練後，他們不再需要這個集羣后會怎麼做？——他們轉售並開始收回部分成本。
4
當前H100的價值鏈
從硬件到AI推理/微調，可以大致分爲以下幾個方面：
硬件供應商與Nvidia合作（一次性購買成本）
數據中心基礎設施提供商及合作伙伴（出售長期租賃，包括設施空間和/或H100節點）
風險投資基金、大型公司和初創公司：計劃構建基礎模型（或已經完成模型構建）
算力轉售商：如Runpod、SFCompute、Together.ai、Vast.ai、GPUlist.ai
託管AI推理/微調提供商：使用上述資源的組合
雖然堆棧中的任何一層都可能實現垂直整合（例如跳過基礎設施提供商），但關鍵驅動因素是“未使用算力資源的轉售商”和“足夠好”的開放權重模型（如Llama 3）的興起，這些因素都是當前H100經濟壓力的主要影響因素。
開放權重模型的興起，其性能與閉源模型相當，正在導致市場發生根本性的變化。
5
市場趨勢：開放權重模型的興起
總體而言，隨着各種大小的開放權重模型的不斷構建，對這些模型的推理和微調的需求也在增長。這主要由兩個重大事件推動：
1. GPT-4級別的開放模型的出現（例如，4050億參數的LLaMA3，DeepSeek-v2）
2. 小型（約80億參數）和中型（約700億參數）微調模型的成熟和採用
如今，對於大多數企業可能需要的用例，已經有現成的開放權重模型。這些模型在某些基準測試中可能略遜於專有模型，但提供了以下優勢：
靈活性：特定領域/任務的微調。
可靠性：不再有小的模型更新導致用例失效（目前，社區對模型權重在沒有通知的情況下在公共API端點上悄悄更改導致不可解釋的效果退化缺乏信任度）。
安全性和隱私：確保他們的提示詞和客戶數據的安全。
所有這些因素都導致了當前開放模型的持續增長和採用，以及對推理和微調需求的增長。
但這確實帶來了另一個問題……
小型和中型模型創建者的崩潰
許多企業，以及多個小型和中型基礎模型創建初創公司——尤其是那些以“更小、更專業領域模型”爲賣點的公司——都是沒有長期計劃或目標從零開始訓練大型基礎模型（>= 700億參數）的羣體。
對於這兩個羣體，他們都意識到，微調現有的開放權重模型比“自行訓練”更經濟和高效。
這最終導致了對H100需求的三重打擊！
1. 微調比從零開始訓練便宜得多
微調的計算需求顯著較低（通常需要4個節點或更少，通常是一個節點），而從零開始訓練則需要16個節點或更多（對於70億參數及以上的模型需要更多節點）。
這一行業轉變基本上消滅了大量小型集羣的需求。
2. 減少對基礎模型的投資（小型和中型）
2023年，文本和圖像領域出現了大量小型和中型基礎模型。
然而，如今，除非你非常有信心能夠超越LLaMA3，或者你帶來了新的東西（例如，新的架構、100倍更低的推理延遲、100多種語言支持等），否則幾乎沒有新的基礎模型公司從零開始構建模型。
總體而言，大型玩家（如Facebook等）創建的小型和中型開放模型，使得小型玩家很難證明訓練基礎模型的合理性——除非他們有強大的差異化優勢（技術或數據）——或者有計劃擴展到更大的模型。
這一點在投資者中也有所反映，因爲新的基礎模型創建者的資金急劇減少。大多數小型團隊已經轉向微調。（這種情緒與最近多家公司不盡如人意的退出相吻合。）
目前，據我估計，全球大約有：<20個大型模型創建團隊（即700億參數及以上模型，也可能創建小型模型）；<30個小型/中型模型創建團隊（70億到700億參數模型）。
總體而言，全球只有不到50個團隊在任何時間點會需要16個節點的H100（或更多）來進行基礎模型訓練。
全球有超過50個H100集羣，每個集羣擁有超過16個節點。
3. 預留節點的過剩算力資源正在上線
對於集羣所有者，特別是那些在2023年初“搶購”中進行了長期租賃的各種基礎模型初創公司和風險投資公司。
由於轉向微調，以及H100交付時需要非常長的等待時間（最高峰時達到6個月或更長），許多團隊可能在做出改變之前已經支付了預付款，這使得他們的預付硬件“到貨即過時”。
另一方面，那些硬件按時到貨，用於訓練最初幾個模型的團隊，也意識到最好在下一次迭代中微調模型會更好，而不是自行構建新模型。
在這兩種情況下，他們都會有未使用的算力資源，這些過剩資源通過“算力轉售商”進入市場供應。
6
導致算力供應增加和訓練需求減少的其他因素
1. 大型模型創建者離開公共雲平臺
另一個主要因素是，所有主要的模型創建者，如Facebook、X.AI，以及OpenAI（如果你認爲它們是微軟的一部分），都在從現有的公共雲提供商轉向，通過構建自己的數十億美元規模的集羣，從而減少了對現有集羣的依賴。
這一轉變主要出於以下幾個原因：
現有的約1000節點集羣（建造成本超過5000萬美元）已經不足以訓練更大的模型。
在數十億美元的規模上，購買資產（如服務器、土地等）對資產計算更有利，這些資產有賬面價值（是公司估值和資產的一部分），而不是純粹的租賃費用。
如果你沒有相關的人才（他們有），你可以直接購買小型數據中心公司，這些公司有構建這些集羣的專業知識。
隨着需求逐漸分階段減少，這些集羣正在進入公共雲市場。
Vast.ai 基本上實行的是自由市場系統，全球的供應商被迫相互競爭。
2. 未使用/延遲供應的算力上線
回憶一下2023年的H100大批量發貨延遲，或6個月或更長時間？這些延遲的算力供應現在正在上線，同時還有H200、B200等芯片。
這還伴隨着各種未使用的算力資源上線（來自現有的初創公司、企業或風險投資公司，如前所述）。
這些資源的大部分是通過算力轉售商上線的，例如：together.ai、sfcompute、runpod、vast.ai等。
在大多數情況下，集羣所有者擁有的是一個小型或中型集羣（通常爲8-64個節點），這些集羣的利用率較低。而購買這些集羣的資金已經“花掉”了。
爲了儘可能收回成本，他們更願意以低於市場價的方式保證資源的分配，而不是與主要提供商競爭。
這通常通過固定費率、拍賣系統或自由市場列表等方式實現。後兩種方式通常會推動市場價格下降。
3. 更便宜的 GPU 替代品（特別是用於推理）
另一個主要因素是，一旦你離開訓練/微調領域，特別是如果你運行的是較小的模型，推理領域充滿了替代方案。
你不需要爲H100的Infiniband和/或Nvidia的高端功能支付溢價。
a) Nvidia市場細分
H100的高端訓練性能已經反映在硬件價格中。例如，Nvidia自己推薦L40S，這是一個在推理方面更具價格競爭力的替代方案。
H100 Infiniband集羣（2024年8月）
L40S的性能是H100的1/3，價格是H100的1/5，但不適合多節點訓練。這在一定程度上削弱了H100在這個細分市場的競爭力。
b) AMD和Intel的替代提供商
AMD和Intel的MX300和Gaudi 3雖然進入市場較晚，但已經經過測試和驗證。我們使用過這些系統，它們通常具有以下特點：
價格低於H100
內存和計算能力超過H100，並在單節點上表現更優
總體上是很好的硬件
缺點？它們在訓練時存在一些驅動問題，且在大型多節點集羣訓練中尚未得到驗證。
然而，正如我們前面所討論的，這在當前市場中並不重要。除了少數不到50個團隊外，H100市場已經轉向推理和單節點或小集羣微調。
這些GPU已經證明在這些用例中表現良好，能滿足大多數市場的需求。
這兩個競爭對手是完全的即插即用替代方案，支持現成的推理代碼（如VLLM）或大多數常見模型架構（主要是LLaMA3，其次是其他模型）的微調代碼。
因此，如果你已經解決了兼容性問題，強烈建議你考慮這些方案。
c) 加密貨幣/Web3領域GPU使用量的下降
隨着以太坊轉向權益證明（Proof of Stake, PoS），ASIC在比特幣挖礦中佔據主導地位，用於加密貨幣挖礦的GPU使用量呈下降趨勢，在許多情況下甚至無利可圖。這導致了大量的GPU涌入公共雲市場。
雖然這些GPU中的大多數由於硬件限制（如低PCIe帶寬、網絡等）無法用於模型訓練，甚至不適合用於推理，但這些硬件已經涌入市場，並被重新用於AI推理工作負載。
在大多數情況下，如果你的模型參數少於100億，你可以以非常低的價格通過這些GPU獲得出色性能。
如果你進一步優化（通過各種技巧），甚至可以在這種硬件的小集羣上運行4050億參數的大型模型，成本低於一個H100節點。
H100的價格正在變得像大宗商品一樣便宜。甚至有些時候是以低於成本的價格出租——如果是這樣，接下來該怎麼辦？
7
可能意味着是什麼？
中立觀點：H100集羣價格的分層
從宏觀層面來看，預計大型集羣仍然會收取溢價（>=2.90美元/小時），因爲對於真正需要它們的客戶來說，沒有其他選擇。
我們已經開始看到這種趨勢，例如在Voltage Park，配備Infiniband的集羣被收取更高的費用。而基於以太網的實例，對於推理任務來說已經足夠好，其價格則定得較低。根據不同的使用場景和可用性調整價格。
儘管基礎模型團隊的數量總體上有所減少，但很難預測隨着開放權重的增長和/或替代架構的出現，是否會迎來複蘇。
同時，預計未來我們將看到按集羣規模進一步分層。例如，一個擁有512個節點且配備Infiniband的大型集羣，其每塊GPU的收費可能會高於16個節點的集羣。
消極觀點：新的公共雲H100集羣進入市場較晚，可能無利可圖——一些投資者可能會遭受損失。
如果你將價格定在2.25美元以下，根據你的運營成本（OPEX），你可能會面臨潛在的無利可圖的風險。 如果你將價格定得過高，比如3美元或以上，你可能無法吸引足夠的買家來最大化使用算力資源。 如果你進入市場較晚，可能無法在早期以 4美元/ 小時 的價格收回成本。
總體而言，這些集羣投資對於關鍵利益相關者和投資者來說將非常艱難。
雖然我懷疑這種情況會發生，但如果新集羣在AI投資組合中佔據了很大一部分，我們可能會看到由於投資者遭受損失而對融資生態系統產生連鎖反應。
中立觀點：中型到大型模型構建者，已經通過長期租賃榨取了算力價值
不同於消極看法，一種中立看法是，一些未使用的算力資源的模型構建者實際上已經支付了費用。 資金市場已經將這些集羣及其模型訓練的成本計算在內，並“榨取了其價值”，用於他們當前和下一輪融資的籌碼。
其中的大多數算力購買是在算力轉售商流行之前進行的，成本已經計包含在內。如果有什麼影響的話，他們是從多餘的H100算力資源中獲得的當前收入，而我們獲得的是降價的算力資源，這對雙方都是有利的。
如果情況確實如此，市場負面影響將是最小的，整體上對生態系統來說是一個淨正收益。
正面觀點：便宜的H100可能加速開放權重AI的採用浪潮
鑑於開放權重模型已經進入GPT-4級別的領域，H100價格的下跌將成爲開放權重AI採用的倍增器。
對於業餘愛好者、AI開發者和工程師來說，運行、微調和探索這些開放模型將變得更加實惠。 特別是如果沒有GPT-5++這樣的重大飛躍，這意味着開放權重模型與閉源模型之間的差距將變得模糊。
這是非常必要的，因爲目前市場是不可持續的。應用層缺乏爲付費用戶創造價值的能力（這會影響到平臺、模型和基礎設施層）。
在某種程度上，如果大家都在造鏟子，而沒有構建能夠吸引付費用戶的AI應用（並且沒有產生收入和價值）。 但當AI推理和微調變得比以往任何時候都便宜時，這可能會激發AI應用的浪潮——如果這一趨勢還沒有緩慢開始的話。
8結論：不要購買全新的H100
在新H100硬件上的支出很可能是虧損的。除非你有以下某種組合： 折扣的H100、折扣的電力，或者有一個主權AI的需求（即你的GPU所在地對客戶來說至關重要）。 或者你有數十億美元，需要一個超大型集羣。
如果你在投資，建議考慮投資其他領域。或者投資股票市場指數以獲得更好的回報率。
參考來源：
GPU數據：Tech Power Up數據庫。A100 SXM的bf16 TFlops 爲624，H100 SXM的bf16 TFlops爲1979。https://www.techpowerup.com/gpu-specs/h100-sxm5-80-gb.c3900
微軟和AWS在AI基礎設施上投入了超過400億美元（華爾街日報，https://www.wsj.com/tech/ai/big-tech-moves-more-ai-spending-abroad-088988de）
英偉達投資者PPT，2014年10月，第14頁的“數據中心”內容
https://s201.q4cdn.com/141608511/files/doc_presentations/2023/Oct/01/ndr_presentation_oct_2023_final.pdf
Semi Analysis：對H100集羣的深入研究，組件的生命週期大約爲 5 年（https://www.semianalysis.com/p/100000-h100-clusters-power-network）
新H100 ROI（2024 年 8 月，https://docs.google.com/spreadsheets/d/1kZosZmvaecG6P4-yCPzMN7Ha3ubMcTmF9AeJNDKeo98/edit?usp=sharing）
H100 Infiniband集羣（2024年8月，https://docs.google.com/spreadsheets/d/1Ft3RbeZ-w43kYSiLfYc1vxO41mK5lmJpcPC9GOYHAWc/edit?usp=sharing）
其他人都在看
讓超級產品開發者實現“Token自由”
，狂送2000萬Token/人
邀請越多，Token獎勵越多siliconflow.cn/zh-cn/siliconcloud掃碼加入用戶交流羣