扎克伯格大招被扒光！開源大模型打臉GPT-4o 商業化路徑也已隱現

《科創板日報》7月23日訊 扎克伯格的開源大模型豪賭贏了？

據美國科技網站The Information此前援引Meta員工的話稱，Meta計劃於當地時間7月23日發佈LLaMA 3模型的最大版本。該版本擁有4050億個參數和多模態能力，能夠理解並生成圖像和文本。

不過，在正式發佈前，這款模型就在開源AI社區Hugging Face上被泄露了，並迅速引起了轟動，Hugging Face網站隨即刪除了相關信息。

泄露的信息顯示，這款模型名稱從LLama 3 405B更名爲LLama 3.1 405B。這款模型基於超過15T tokens進行訓練，微調數據包括公開微調數據集和1500萬個合成樣本。

回顧2024年4月，Meta推出了新一代的開源大模型LLaMA 3。儘管LLaMA 3前兩個型號，即LLaMA 3 8B和70B，當時在同類規模的LLMs中樹立了新的基準，但短短三個月內，已被其他大模型趕超。

然而，LLaMA 3.1 405B的泄露數據表明，這款模型在多個關鍵的AI基準測試中表現優異。

具體來說，經過調教的405B模型在MMLU-Pro評估中超過了Claude 3.5 Sonnet，設定了新的行業標杆（SOTA）。儘管在其他一些評估中，它仍略遜於3.5 Sonnet，但總體表現已在同一水平線上。

該模型在GSM8K、Hellaswag、Boolq、MMLU-humanities、MMLU-other、MMLU-stem和Winograd等多項測試中均優於OpenAI的GPT-4o，但在HumanEval和MMLU-social sciences方面略遜一籌。

這是開源大模型的一個重要里程碑，標誌着開源模型首次可能擊敗當前最先進的閉源大模型。而且，這些數據來自LLama 3.1 405B的基本模型。隨着對該模型進行進一步的調教，其性能有望得到進一步提升。

不過，OpenAI即將推出的GPT-5預計將具備先進的推理能力，可能在上述項目追趕LLama 3.1 405B。

值得注意的是，Meta在LLaMA 3.1的社區許可協議中，取消了禁止使用LLaMA改進其他模型的規定。

另據TestingCatalog報道，Llama 3.1 405B可能是Meta AI Premium計劃的專屬模型，，Meta AI Premium計劃也可能在7月23日與LLaMA 3.1 405B同時發佈。這意味着Meta正在積極爲其AI產品探索商業化路徑。

此外，Meta還爲Meta AI開發視頻生成功能。用戶除了可以進行文字對話外，還可以點擊“想象”按鈕生成圖片，並進而通過提示詞，生成多個視頻鏡頭，最後將視頻鏡頭合併，生成視頻。

同時，Meta還被指正在開發面向開發者的獨立產品AI Studio，該產品允許開發者試用Meta AI模型，並將其無縫集成到自己的產品中。

值得注意的是，開源AI賽道正變得日益擁擠，谷歌、馬斯克的xAI和Mistral等競爭對手也在積極佈局開源大模型產品。