Kimi掀起國產大模型長文本競賽

作爲月之暗面的創始人，楊植麟常把他的AGI夢想形容爲“登月計劃”，長文本就是這個偉大計劃的第一步。但現在，隨着Kimi的爆火出圈，賽道瞬間變得擁擠，24小時內，阿里、360、百度緊急“出手”，紛紛入局長文本賽道。

大廠的加入，讓月之暗面充滿理想化色彩的“登月計劃”有了更接地氣、更市場化的一面——從千億參數到千萬長文本，大模型好像又“卷”出了新高度。而一同被“卷”起來的，還有大模型的商業化進程。

內卷長文本

Kimi像條“鮎魚”，用200萬字無損上下文激活了整個國產大模型市場。3月23日，360智腦宣佈正式內測500萬字長文本處理功能，該功能即將入駐360 AI瀏覽器，同時360 AI瀏覽器App也即將上線。

3月22日晚上，阿里通義千問宣佈，向所有人免費開放1000萬字的長文檔處理功能，成爲全球文檔處理容量第一的AI應用。與此同時，也有媒體從知情人士處獲悉，百度文心一言下個月將進行版本升級，屆時也將開放長文本能力，文字範圍會在200萬—500萬。

Kimi是月之暗面推出的一款智能助手。3月18日，月之暗面宣佈Kimi智能助手已支持200萬字超長無損上下文，並於即日起開啓產品內測。去年10月剛發佈時，Kimi可支持的無損上下文輸入長度爲20萬字。3月21日，因過於火爆，Kimi一度“宕機”。

天使投資人、資深人工智能專家郭濤對北京商報記者分析稱，200萬字的長文本處理能力是一個巨大的技術突破，這意味着AI模型可以理解和生成更復雜、更豐富的內容，這對於許多應用場景，如自動寫作、內容生成、信息檢索等，都具有重要的價值。

這可能也是Kimi引爆市場的關鍵。

3月22日，“Kimi概念”進入持續火爆的第四天，不過資本市場上已出現分化跡象，當天收盤，掌閱科技、中廣天擇收穫三連板，因賽集團股價則跌超4%，電廣傳媒跌超3%。

財經評論員張雪峰對北京商報記者提到，這一突破意味着在自然語言處理領域，特別是文本生成和理解方面，Kimi取得了重大進展，其主要技術突破包括長文本處理能力、上下文理解和訓練技術三個方面。

以長文本處理能力爲例，Kimi能夠處理長達200萬字的文本，而且在處理過程中不會出現信息丟失或失真的情況。這種能力在以往的自然語言處理模型中很難實現，因爲長文本的處理需要更大的內存和更復雜的模型結構。

AGI的初心

20萬到200萬的變化，不止在於字數的簡單累積，更在於“無損”和它們共同指向的AGI目標。

楊植麟曾解釋稱，通往AGI，無損的長上下文將會是一個很關鍵的基礎技術。從Word2vec到RNN、LSTM，再到Transformer，歷史上所有的模型架構演進，本質上都是在提升有效的、無損的上下文長度。

“上下文長度可能存在摩爾定律，但需要同時優化長度和無損壓縮水平兩個指標，纔是有意義的規模化。”楊植麟說。

月之暗面曾介紹，從20萬字到200萬字，由於沒有采用常規的漸進式提升路線，月之暗麪糰隊遇到的技術難度也是指數級增加的。

爲了達到更好的長窗口無損壓縮性能，月之暗面研發和技術團隊從模型預訓練到對齊、推理環節均進行了原生的重新設計和開發，不走“滑動窗口”“降採樣”等技術捷徑，攻克了很多底層技術難點。

但字數累積的表象以及大廠相繼亮出同類型產品的情況，也讓“吃瓜羣衆”對於所謂的技術突破有些疑慮。

在接受北京商報記者採訪時，伽利略資本合夥人鄭譞做了一個類比，對象就是不久前火爆全球的文生視頻大模型Sora。

鄭譞解釋稱，文生視頻可以看做是連續的文生圖，從理論層面上，可能並不是顛覆性的突破，但是做到穩定生成長視頻確實有難度，更多解決的是工程上的問題。但也不能說工程上的創新就不是創新，月之暗面無損長文本可能也是這個道理。

概括起來，從底層技術上來看，Kimi可能確實沒有顛覆性的突破，更像是一個突破性技術的前序技術。

“長文本技術上需要解決上下文理解、長期記憶、複雜推理、多任務適應性以及計算效率等問題，學界其實早就有一些相應的解決方案，比如長文本處理、注意力機制優化等，但是在複雜推理和計算效率上工程難度還是很大的，各大廠也都給出了自己的方案，只不過之前大家並沒有將‘長文本’當成關鍵詞給予足夠的關注度。”鄭譞稱。

郭濤也提到，從目前公開資料來看，Kimi的技術確實具有一定的競爭優勢，但還不具備技術壁壘。長文本可能會成爲大模型的下一個“卷”的領域，因爲這是一個具有廣泛應用前景和商業價值的研究方向。

不過在鄭譞看來，月之暗面與其他人工智能企業真正的不同點，並不在於技術乃至商業化路線的差異，而在於“初心”的不同。

鄭譞將楊植麟形容爲一個“富有理想主義的創始人”“他的目標就是打造自己理想的AGI，而不是從落地或者務實的視角去思考當下的問題”。

商業化“肉搏”

理想化的月之暗面，也不能完全“脫俗”。Kimi爆火時，有媒體報道稱，月之暗面相關負責人提到，年內將有商業化初步方案。對於具體的商業化路徑以及大廠競相加入是否會對Kimi的商業化產生影響等問題，北京商報記者聯繫了月之暗面，但截至發稿未收到回覆。

鄭譞猜測，相較於特定應用，Kimi的商業化可能類似於OpenAI，更傾向於一種通用性的商業化，例如商業化的高端接入入口用以擴展客戶的應用等。

目前已有多家企業確認了與Kimi的合作。例如3月24日，萬興科技對外透露，公司旗下視頻創意軟件萬興喵影已率先接入Kimi，其AI寫文案功能當前已採用Kimi大模型服務，萬興科技正加速旗下其他產品對Kimi的對接測試。

而對於大廠紛紛加入長文本競爭的原因，張雪峰認爲，長文本處理能力是自然語言處理領域的一個重要方向，而且隨着信息量的增加，對長文本處理能力的需求也越來越迫切。

張雪峰進一步補充稱，Kimi的技術突破錶明長文本處理已經成爲可能，因此大廠紛紛投入研發長文本處理技術，以保持競爭力和領先地位。另外，長文本處理也是滿足用戶需求的重要途徑，可以爲用戶提供更全面、準確的信息服務。

至於大廠的入局，是否會給月之暗面商業化造成影響，鄭譞則給出了否定的回答，原因在於“雖然都在講長文本，但大家的側重點顯然是千差萬別的，而且各家所追求的願景也有着天壤之別”。

迴歸“爲什麼是Kimi”的問題，中信建投研報提到，月之暗面打造高關注度應用Kimi Chat，一方面在於核心團隊技術背景深，另一方面在於產品面向C端免費開放，注重產品運營。

據悉，月之暗面目前在招的31個崗位中，其中6個爲市場、運營類崗位，包括達人運營、國內廣告投放等。“目前招募更多市場、運營類人才，後續有望推動產品進一步破圈。”研報稱。

北京商報記者 楊月涵