Claude迎重磅升級,支持像人一樣操控計算機:不僅可以查看屏幕、移動光標,還可以單機按鈕、鍵入文本!

當地時間10月22日,Anthropic的Claude 3.5迎重磅升級!

Claude 3.5 Haiku 和升級款的 Claude 3.5 Sonnet 都來了。Claude 3.5 Sonnet 不僅編程能力更強,還帶來全新功能computer use(計算機使用), Claude 現在支持像人類一樣操作計算機,可以遵循用戶的命令在計算機屏幕上移動光標,點擊相關位置,並通過虛擬鍵盤輸入信息,模擬人們與自己計算機的交互方式。

升級版 Claude 3.5 Sonnet 現在就可以使用了。computer use測試版也開放使用。

進化後的Claude 3.5 Sonnet堪稱最強推理模型。它在各個方面得到了全面顯著的提升,尤其是業界領先的編碼能力。

甚至,Claude現在能夠像人類一樣操作計算機,不僅可以查看屏幕、移動光標,還可以單機按鈕、鍵入文本!

目前,Claude 在以與人相同的方式使用計算機的模型中處於最先進水平——也就是說,通過查看屏幕並根據屏幕內容採取行動。在一個旨在測試開發人員讓模型使用計算機的評估(OSWorld)中,Claude 目前獲得了 14.9% 的分數。這遠未達到人類水平的技能(通常爲 70-75%),但遠高於同一類別中排名第二的 AI 模型獲得的 7.7%。

Anthropic開發者關係主管表示,計算機使用是全新人機交互範式的第一步。同時也是,AI模型應該具備的全新基礎能力。

爲什麼要訓練AI操作電腦?Anthropic表示,在過去幾年裡,強大的AI開發已經達到了許多里程碑,比如執行復雜邏輯推理,以及識別和理解圖像的能力。而下一個突破點,就是AI操作電腦了!如果模型不必通過專門定製的工具進行交互,而是按指示就能使用所有軟件,這一定代表着未來的方向。

在下面這個demo中,Anthropic研究員給Claude提出了一個極有難度的挑戰:

我的朋友要來舊金山,我想明天早上和他一起在金門大橋看日出。我們將從太平洋高地出發。你能幫我們找到一個絕佳的觀賞地點,查看一下開車時間和日出時間,然後安排一個日曆活動,讓我們有足夠的時間到達那裡嗎?

Claude自行打開了Google,開始了搜索。

金門大橋和用戶居住地有多遠呢?Claude會自己打開地圖查找距離。

開發者展示出Claude如何操控了自己的筆記本電腦,絲滑地完成了一個網站編程任務。

首先,Claude在小哥的Chrome瀏覽器中導航到了Claude.ai,並且讓Claude爲自己創造了一個90年代主題的個人主頁。

只見它自己輸入網址,鍵入提示,向另一個Claude發出請求。

假設我們需要填寫一份來自螞蟻設備公司的供應商請求表,但需要填寫的數據散步在電腦的各個角落,Claude能幫我們完成嗎?

只見它開始截取操作者的屏幕截圖,並且很快發現:螞蟻設備公司並不在表格中。

這時,它立刻切換到CRM系統中,去搜索這個公司。找到後,它開始滾動頁面,查找填表所需的所有信息,然後提交了表格。這也就意味着,我們工作中許多不得不做的繁瑣事項,都可以交由Claude代勞了!

在各項行業基準測試中,升級版Claude 3.5 Sonnet性能得到了全方位提升。特別是,智能體編碼、工具使用任務中取得顯著突破。

在編碼能力方面,它在SWE-bench Verified測試中,性能從33.4%大幅提升至49.0%。

這超越了所有公開可用的模型——包括OpenAI o1-preview等推理模型和專爲智能體編碼設計的專門系統。

憑藉快速的處理速度、改進的指令執行能力和更準確的工具使用,Claude 3.5 Haiku非常適合面向用戶的產品、專門的輔助任務,以及從海量數據中生成個性化體驗。

AI操作電腦能力代表了一種全新的人工智能開發方法。

迄今爲止,LLM開發者一直在努力使工具適應模型,創造特殊的環境,讓AI使用專門設計的工具來完成各種任務。

雖然Claude已經達到了當前的最高水平,但它的操作仍然相對緩慢且容易出錯。我們日常使用電腦時的許多操作,如拖拽、縮放等,Claude都還無法做到。

此外,Claude目前觀察屏幕的方式類似於快速翻閱一本畫冊,通過連續截圖並拼接在一起,而不是觀察連續的視頻流。這意味着它可能會錯過一些短暫的動作或通知。

有趣的是,Anthropic在錄製Demo時,還遇到了一些有趣的小插曲。

比如,在一次演示中,Claude不小心點擊停止了一個長時間運行的屏幕錄製,導致所有錄像都付諸東流。

而在另一次編碼演示中,Claude則突然「走神」,開始饒有興趣地瀏覽起黃石國家公園的照片。

總之,Claude如今的表現讓人對未來充滿期待:AI操作電腦的能力將神速進步,那一天,軟件開發小白都能輕鬆使用它。

每日經濟新聞綜合公開資料