撞上數據牆？OpenAI模型提升速度放緩 着手調整開發策略

《科創板日報》11月10日訊 高質量數據不夠用，拖累AI模型改進速度——OpenAI這位AI領頭羊又遇到了難題。

一些測試過Orion的OpenAI員工發現，雖然Orion的性能超過了OpenAI現有的所有模型，但其性能質量提升程度遠遠小於從GPT-3到GPT-4的飛躍。這意味着，隨着高質量數據趨於有限，AI模型的改進速度可能會放緩。

不僅如此，Orion的訓練中涉及來自舊模型（例如GPT-4與一些推理模型）的AI生成數據，這可能導致其重現舊模型的一些行爲。

爲此，OpenAI成立了一個“基礎”團隊，以在高質量新數據供應減少的情況下，研究能讓AI模型保持改進的新方法。據悉，公司計劃基於AI合成數據訓練Orion，並在後期訓練中對模型作出更多改進。

目前，OpenAI正在推進Orion的安全測試，計劃於明年年初發布這一模型，其可能會打破“GPT-X”的命名慣例，以反映模型開發的變化。

值得注意的是，OpenAI在今年收購了Chat.com域名，該域名已重定向至OpenAI的AI驅動聊天機器人ChatGPT。

▌“撞上數據牆”

早在2020年，OpenAI就曾在一篇論文中提出Scaling law定律，意指大模型的最終性能主要與計算量、模型參數量和訓練數據量三者的大小相關，而與模型的具體結構（層數/深度/寬度）基本無關。換言之，僅僅增加模型規模和訓練數據，就能顯著提升人工智能能力，而無需取得根本性的算法突破。

AI界許多公司都一度將Scaling Law奉爲圭臬，但如今，也有越來越多的質疑聲出現。

Meta AI人工智能研究院(FAIR)研究員及高級經理田淵棟指出，“我畫過一張圖，一開始數據量越大，模型性能表現越好，但模型離人類越近就越難獲得新的數據，模型就越來越難以改進，最後總會有些corner case（邊角案例，即無法想到的或不常見的案例）解決不了，這是data driven（數據驅動）最大的問題。”

非營利研究機構Epoch AI在今年7月更新的一篇論文中指出，未來數年內，（原始）數據增長的速度將難以支撐AI大模型擴展發展的速度，在2026-2032年之間的某個時間點，數據存量將耗盡。

實際上，OpenAI已不是第一次遭遇“數據資源不足”的問題。此前已有媒體報道指出，在訓練GPT-5時，OpenAI因文本數據不足，正在考慮使用YouTube公開視頻轉錄出的文本。

如今OpenAI再度碰上數據資源難題，甚至因此影響到了新模型進展。“但這代表‘天塌了，’”The Information這篇文章的作者之一Amir Efrati指出，OpenAI正在作出調整，或許將有新的Scaling Law取代舊Scaling Law。

值得一提的，當地時間11月9日，OpenAI安全系統團隊負責人翁荔（Lilian Weng）宣佈將離開已經工作了近7年的OpenAI。她公開分享了發給團隊的離職信，但其中並未言明具體離職原因及未來職業去向，僅表示“是時候重新出發，探索新的領域了”。