奧特曼：自認比o1聰明請舉手到o2還這麼想麼？

夢晨 發自 凹非寺量子位 | 公衆號 QbitAI

這一幕，剛剛在OpenAI開發者日最後一個環節——奧特曼爐邊談話中上演。

對話由奧特曼和OpenAI首席產品官Kevin Weil進行，奧特曼還對未來作出如下判斷：

除此之外，活動上宣佈了OpenAI API大量重磅更新：

圍繞這些功能的精彩現場演示，也引起衆人圍觀。

比如GPT-4o驅動的實時語音API， 配合函數調用+Twillio（雲通訊服務），可以直接打電話訂外賣了。

訂購400個草莓裹巧克力醬甜點，參會者人人都有的吃。

看起來演示現場是OpenAI員工在臺上扮演食品店員工，真正的訂購過程是在幕後完成。

沒過一會，還有人曬會場外草莓快被領完了。

最新發布的推理大模型o1也露了一手，從頭編程操控無人機，現場蕪湖起飛。

這邊大會辦得熱鬧，與OpenAI相關的周邊消息也不斷傳出：

剛剛離職的幾位中，前研究VPBarret Zoph已決定要成立一家新公司。

前CTOMira Murati還沒宣佈下一步要幹什麼，但投資人開始圍追堵截她，希望她儘快成立自己的公司。

還有一位此前已離職的OpenAI聯合創始人Durk Kingma，宣佈加入隔壁Anthropic。

OpenAI開發者日

與去年相比，今年的OpenAI開發者日活動不再現場直播，並拆分成三部分在不同地點舉辦（美國、英國、新加坡）。

剛剛在舊金山舉辦的第一場，宣佈了多項API更新。

Realtime API

實時語音API爲公開測試版，所有開發者都能在自己的APP中構建與ChatGPT高級語音模式類似的體驗。

價格也不貴，每分鐘音頻輸入約0.06美元，每分鐘音頻輸出約0.24美元。

語言學習應用Speak已使用Realtime API開發AI角色扮演練口語功能。

此外還在Chat Completions API中增加了音頻輸入和輸出，可以用在對時延要求不高的地方，將在未來幾周內作爲gpt-4o-audio-preview發佈。

視覺微調

開發者現在可以用圖像對GPT-4o微調，以提高視覺能力。

可以用來增強視覺搜索功能、改進自動駕駛汽車或智能城市的物體檢測以及更準確的醫學圖像分析等應用。

如外賣和共享出行公司Grab，將車道計數的準確性提高20%，將限速標誌的定位提高13%。

在UI設計上，微調過的GPT-4o生成的網頁區域也能更好匹配整個頁面的風格。

視覺微調的過程與文本微調類似，按照OpenAI指定的格式準備圖像數據集，然後將數據集上傳到OpenAI開發平臺

只需使用100張圖像就能提高GPT-4o在視覺任務中的性能，當然用的更多提升也能更大。

GPT-4o的微調費用爲$25/100萬tokens，微調後推理費用爲每 100 萬個輸入tokens 3.75美元，每100萬個輸出令牌15美元。

不過在2024年10月31日之前，每天免費爲視覺微調提供100萬個訓練token。

羊毛薅起來～

提示詞緩存

許多開發者在構建人工智能應用程序時，會在多個API調用中重複使用相同的上下文，例如在編輯代碼庫或與聊天機器人進行長時間、多輪對話時。

提示詞緩存功能可以在降低成本的同時降低推理延遲。

OpenAI推出這個功能是比較晚的，此前谷歌Gemini、Claude，以及國內DeepSeek，Kimi等都已上線。

不過OpenAI搞出來的特色在於：一切都是自動的。

從今天起，提示詞緩存已適配最新版本的GPT-4o、GPT-4o mini、o1-preview和o1-mini，以及這些模型的微調版本。

只要是AI見過的token，自動統統打五折。

緩存將在閒置5-10分鐘後清除，最多保留1小時。

模型蒸餾

讓開發者可以用o1-preive和GPT-4o等前沿模型的輸出，對GPT-4o mini等小模型微調。

此前，模型蒸餾是一個多步驟、易出錯的過程，需要開發人員在互不關聯的工具中手動協調多個操作，從生成數據集到微調模型和評估性能。

由於蒸餾本質上是迭代的，需要反覆運行每個步驟，大大增加了工作量和複雜性。

這次OpenAI推出了新的集成工作流程，可自動獲得前沿模型生成的輸入-輸出對、運行自定義評估、以及完成微調。

同樣在10月31日之前，在GPT-4o mini上每天提供200萬個免費培訓token，在GPT-4o上每天提供100萬個免費訓練token。

離職高管被資本熱捧，聯創加入Claude團隊

OpenAI持續發佈新模型、新功能的壓力，讓OpenAI內部研究和安全團隊疲於奔命，難以跟上步伐。

此前已有消息證實GPT-4o發佈前，團隊只有9天時間做安全評估，每天工作20多個小時。

財富雜誌最新消息表示，o1發佈前也遇到了同樣的情況，並且在公司高層之間引發了摩擦。

許多向前CTOMira Murati彙報工作的團隊都認爲o1還沒有做好發佈的準備，還沒有真正形成產品，不過他們的反對意見被駁回了。

除了奧特曼之外唯一還在的聯創Woijceich Zarembra發聲，承認了在o1開發階段他和後訓練團隊負責人Barret Zoph發生激烈衝突，但沒有透露詳細細節。

現在後訓練團隊仍在繼續完善o1，但Barret Zoph已經辭職了。

Barret Zoph目前表示將成立一家新公司，但目前尚不清楚他具體會做什麼，也不清楚他是否會和Murati合作。

再看Murati這邊，她本人還沒有宣佈下一步任何計劃，但投資人爭相與她會面，希望她儘快創辦自己的公司。

據Business Insider消息，許多投資人正在試圖接近她，即使以前沒有聯繫過的也會給她發冷郵件。

作爲去年11月奧特曼被短暫趕下臺的餘波，OpenAI高層持續動盪，已經流失不少研究和管理人才。

與此同時，OpenAI 一直在瘋狂招聘，規模相比去年擴大了一倍多，員工人數從不到800人增加到1800人。

有老員工開始抱怨：新員工的涌入改變了OpenAI的氛圍和文化。

離職的OpenAI研究人才中，有相當一部分去了隔壁Anthropic。

聯合創始人John Schulman、超級對齊負責人Jan Leike跳槽加入之後，Anthropic又吸引來一位早年已經離職的OpenAI聯創Durk Kingma。

Durk Kingma博士畢業於阿姆斯特丹大學，師從機器學習大牛Max Welling。

兩人合作開發了變分自編碼器VAE，相關論文於今年獲得ICLR首屆時間檢驗獎。

Durk Kingma於2018年離開OpenAI，做了一段時間天使投資人，後加入谷歌大腦，再後來被合併進了Google DeepMind。

這次他加入Anthropic將主要在荷蘭遠程辦公，沒有透露他將具體加入哪個團隊或負責哪部分工作。

總之OpenAI變得不像以前的自己，但隔壁Anthropic越來越像以前的OpenAI了。

還有人提出，如果去年11月奧特曼真的下臺了，OpenAI現在會不會更好呢？

OpenAI發佈https://openai.com/index/introducing-the-realtime-api/https://openai.com/index/introducing-vision-to-the-fine-tuning-api/https://openai.com/index/api-prompt-caching/https://openai.com/index/api-model-distillation/

參考鏈接：[1]https://x.com/swyx/status/1841262588447146133[2]https://x.com/GregKamradt/status/1841266096277696742[3]https://x.com/dpkingma/status/1841134573595312344[4] https://x.com/NickADobos/status/1841167978085433351[5]https://x.com/dicnunz/status/1841176999773262031[6]https://fortune.com/2024/10/01/openai-sam-altman-mira-murati-gpt-4o-o1-chatgpt-turbulent-year/[7]https://www.businessinsider.com/mira-murati-exits-openai-venture-capitalist-startup-2024-9