全面突圍，谷歌昨晚更新了一大波大模型產品
機器之心報道
機器之心編輯部
當地時間本週二，谷歌在 Google’s Cloud Next 2024 上發佈了一系列 AI 相關的模型更新和產品，包括 Gemini 1.5 Pro 首次提供了本地音頻（語音）理解功能、代碼生成新模型 CodeGemma、首款自研 Arm 處理器 Axion 等等。
Gemini 1.5 Pro
Gemini 1.5 Pro 是 Google 功能最強大的生成式 AI 模型，現已在 Google 以企業爲中心的 AI 開發平臺 Vertex AI 上提供公共預覽版。這是谷歌面向企業的 AI 開發平臺。它能處理的上下文從 12.8 萬個 token 增加到 100 萬個 token。100 萬個 token 大約相當於 70 萬個單詞，或者大約 3 萬行代碼。這大致是 Anthropic 的旗艦模型 Claude 3 能作爲輸入處理的數據量的四倍，也大約是 OpenAI 的 GPT-4 Turbo 最大上下文量的八倍。
官方原文鏈接：https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html
該版本首次提供了本地音頻（語音）理解功能和全新的文件 API，使文件處理變得更加簡單。Gemini 1.5 Pro 的輸入模態正在拓展，包括在 Gemini API 和 Google AI Studio 中增加對音頻（語音）的理解。此外，Gemini 1.5 Pro 現在能夠對在 Google AI Studio 中上傳的視頻的圖像（幀）和音頻（語音）進行推理。
可以上傳一個講座的錄音，比如這個由 Jeff Dean 進行的超過 117000 個 token 的講座，Gemini 1.5 Pro 可以將其轉換成一個帶有答案的測驗。（演示已加速）
谷歌在 Gemini API 方面也進行了改進，主要有以下三個內容：
1. 系統指令：現在可以在 Google AI Studio 和 Gemini API 中使用系統指令來指導模型的響應。定義角色、格式、目標和規則，以針對您的特定用例指導模型的行爲。
在 Google AI Studio 中輕鬆設置系統指令
2.JSON 模式：指示模型僅輸出 JSON 對象。這種模式使從文本或圖像中提取結構化數據成爲可能。現在可以使用 cURL，Python SDK 支持即將推出。
3. 對函數調用的改進：現在可以選擇模式來限制模型的輸出，提高可靠性。選擇文本、函數調用或僅函數本身。
此外，谷歌將發佈下一代文本嵌入模型，其性能優於同類模型。從今天開始，開發者將能夠通過 Gemini API 訪問下一代文本嵌入模型。這個新模型，text-embedding-004（在 Vertex AI 中爲 text-embedding-preview-0409），在 MTEB 基準測試中實現了更強的檢索性能，並且超越了具有可比維度的現有模型。
在 MTEB 基準測試中，使用 256 dims 輸出的 Text-embedding-004（又名 Gecko）優於所有較大的 768 dims 輸出模型
不過，需要注意的是，Gemini 1.5 Pro 對於沒有訪問 Vertex AI 和 AI Studio 權限的人來說是不可用的。目前，大多數人通過 Gemini 聊天機器人來接觸 Gemini 語言模型。Gemini Ultra 驅動了 Gemini Advanced 聊天機器人，雖然它功能強大，也能理解長命令，但它的速度不如 Gemini 1.5 Pro。
三大開源工具
在 2024 年的 Google Cloud Next 大會上，該公司推出多個開源工具，主要用於支持生成式 AI 項目和基礎設施。其一是 Max Diffusion，它是各種擴散模型參考實現的集合，可在 XLA（加速線性代數）設備上運行。
GitHub 地址：https://github.com/google/maxdiffusion
其二是 Jetstream，一個運行生成式 AI 模型的新引擎。目前，JetStream 只支持 TPU，未來可能會兼容 GPU。谷歌聲稱，JetStream 可爲谷歌自己的 Gemma 7B 和 Meta 的 Llama 2 等模型提供高達 3 倍的性價比。
GitHub 地址：https://github.com/google/JetStream
第三個是 MaxTest，這是一個針對雲中的 TPUs 和 Nvidia GPUs 的文本生成 AI 模型的集合。MaxText 現在包括 Gemma 7B、OpenAI 的 GPT-3、Llama 2 和來自 AI 初創公司 Mistral 的模型，谷歌表示所有這些模型都可以根據開發人員的需求進行定製和微調。
GitHub 地址：https://github.com/google/maxtext
首款自研 Arm 處理器 Axion
谷歌雲宣佈推出其首款自主研發的 Arm 處理器，名爲 Axion。其基於 Arm 的 Neoverse 2，專爲數據中心設計。谷歌表示其 Axion 實例的性能比其他競爭對手如 AWS 和微軟的基於 Arm 的實例高出 30%，與相應的基於 X86 的實例相比，性能提高了最多 50%，能效提高了 60%。
谷歌在週二的發佈會上強調，由於 Axion 建立在一個開放的基礎上，谷歌雲的客戶將能夠將他們現有的 Arm 工作負載帶到谷歌雲，而無需任何修改。
不過，目前谷歌還沒有發佈對此進行詳細介紹的內容。
代碼補全、生成利器 ——CodeGemma
CodeGemma 以 Gemma 模型爲基礎，爲社區帶來了強大而輕量級的編碼功能。該模型可分爲專門處理代碼補全和代碼生成任務的 7B 預訓練變體、用於代碼聊天和指令跟隨的 7B 指令調優變體、以及在本地計算機上運行快速代碼補全的 2B 預訓練變體。
CodeGemma 具有以下幾大優勢：
CodeGemma 與其他主流代碼大模型的一些比較結果如下圖所示：
CodeGemma 7B 模型與 Gemma 7B 模型在 GSM8K、MATH 等數據集上的比較結果。
更多技術細節和實驗結果請參閱谷歌同步放出的論文。
論文地址：https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf
開放語言模型 ——RecurrentGemma
Google DeepMind 還發布了一系列開放權重語言模型 ——RecurrentGemma。RecurrentGemma 基於 Griffin 架構，通過將全局注意力替換爲局部注意力和線性循環（linear recurrences）的混合，在生成長序列時實現快速推理。
技術報告：https://storage.googleapis.com/deepmind-media/gemma/recurrentgemma-report.pdf
RecurrentGemma-2B 在下游任務上實現了卓越的性能，可與 Gemma-2B（transformer 架構）媲美。
同時，RecurrentGemma-2B 在推理過程中實現了更高的吞吐量，尤其是在長序列上。
視頻編輯工具 ——Google Vids
Google Vids 是一款 AI 視頻創建工具，是 Google Workspace 中添加的新功能。
谷歌表示，藉助 Google Vids，用戶可以與文檔和表格等其他 Workspace 工具一起製作視頻，並且可與同事實時協作。
企業專用代碼助手 ——Gemini Code Assist
Gemini Code Assist 是一款面向企業的 AI 代碼完成和輔助工具， 對標 GitHub Copilot Enterprise。Code Assist 將通過 VS Code 和 JetBrains 等流行編輯器以插件的形式提供。
圖源：https://techcrunch.com/2024/04/09/google-launches-code-assist-its-latest-challenger-to-githubs-copilot/
Code Assist 由 Gemini 1.5 Pro 提供支持。Gemini 1.5 Pro 擁有百萬 token 的上下文窗口，這使得谷歌的工具能夠比競爭對手引入更多的上下文。谷歌表示，這意味着 Code Assist 能夠提供更準確的代碼建議，並具備推理和更改大段代碼的能力。
谷歌表示：「Code Assist 使客戶能夠對整個代碼庫進行大規模更改，從而實現以前不可能實現的人工智能輔助代碼轉換。」
智能體構建器 ——Vertex AI
AI 智能體是今年一個熱門的行業發展方向。谷歌現在宣佈推出一款幫助企業構建 AI 智能體的新工具 ——Vertex AI Agent Builder。
谷歌雲首席執行官 Thomas Kurian 表示：「Vertex AI Agent Builder 使人們能夠非常輕鬆、快速地構建和部署可用於生產的、由人工智能驅動的生成式對話智能體，並且能夠以指導人類的方式指導智能體，以提高模型生成結果的質量和正確性。」
https://techcrunch.com/2024/04/09/google-open-sources-tools-to-support-ai-model-development/
https://developers.googleblog.com/2024/04/gemma-family-expands.html?utm_source=twitter&utm_medium=unpaidsoc&utm_campaign=fy24q2-googlecloudtech-blog-next_event-in_feed-no-brand-global&utm_content=-&utm_term=-&linkId=9603600