o1誕生對下一輪AI爆發的啓示：技術遠遠沒有收斂，仍在演進丨智源Workshop精華觀點回顧

大數據文摘授權轉載自智源社區

上月，智源社區組織了 「智源Workshop：從o1出發，探索LLM推理與思維鏈」線上研討會，邀請到多位一線模型研究者參會分享討論 （回放鏈接：https://event.baai.ac.cn/live/841） 。精華觀點如下：

Q1：近期，OpenAI 發佈了 o1 模型，標誌着 AI 在處理高度複雜問題上又邁出了重要一步。根據官方介紹，這些模型在推理數學技能、投資者分析期權交易策略等特殊任務上表現出色。官方表示，o1 的核心技術是強化學習和私密思維鏈。請各位專家首先談談對 o1 發佈的看法，以及它對個人研究方向或工作的潛在影響。

安波：OpenAI o1 近期引爆了學術界和工業界的討論熱情，各種關於 o1 的猜想層出不窮。實際上 OpenAI 發佈的關於 o1 的博客文章比較短，我認爲有些猜想可能與真實情況差距比較遠。

該模型的推理與之前先構建大模型，然後用 SFT、RLHF 這些技術微調不一樣。這些技術是在推理完成後，再再產生答案時進行額外的處理，從規劃的角度看怎樣的答案更好。我們在 NTU 的研究組針對 OpenAI 秘密開展的 Q* 項目，發表了全球第一篇相關的分析論文。我們猜想這可能是 「Q-Learning+A* 算法」的技術路線，並且開源了所有的訓練代碼。基於該方法，模型在數學、代碼生成等方面的能力得到了較大的提升。

o1 的博客文章比較短，主要介紹了強化學習推理、私密思維鏈等技術。這與我們團隊之前的工作比較類似。OpenAI 並沒有介紹介紹強化學習訓練的具體細節。也許他們擁有更強的算力、更多的數據。也許通過人工標註數據提升了數據的質量。基於更大的算力，也許他們能夠通過更大的樹結構進行更深的推理，其推理效果也許會更好一些。未來。推理的基座模型、算法、在圖上的推理還有很大的優化空間。

劉知遠：近幾個月，產業界和學術界其實對大模型未來的發展其實都產生了一些困惑。很多推送的文章也都在質疑未來大模型還能再怎麼發展。我認爲，無論是從大模型的長遠發展，還是從本身的學術貢獻的角度來看，o1 都一個非常重要的突破。o1 代表着大模型具備了更強、更深的思考能力，是從 system 1 通往 system 2 的工作。我們希望大模型能夠實現人類級別的更高的智能水平，面對更復雜、更開放、更困難的問題，通過更長時間的思考，找到這個相應的解決方案。

OpenAI 官方頁面

從這一點上來講，o1 帶來了非常重要的技術，是面向未來 AI 的重要的里程碑。o1 有着更長的思維鏈、更長的思考的時間、更強的探索能力。

這意味着在訓練和推理這兩個階段都有相應的突破。在訓練階段，我們需要能夠爲o1 模型提供更豐富的、全程的、稠密的反饋信號。我認爲有兩個非常重要的關鍵技術：（1）數據合成。能夠實現高質量的數據合成的能力，產生世界上還不存在的這些高質量監督信號，從而持續提升模型某些方面的能力。（2）強化學習。能夠實現 self-play，通過強化學習不斷自我改進，尋找相關的豐富監督信息。

當然，如何實現面向大語言模型的強化學習能力，也是大家非常關注的一個話題。這次 OpenAI 也沒有提供任何的有關 o1 實現細節的介紹，我們也很難猜測。就像當年 ChatGPT 出現之後，大家都探索如何進行 SFT。

在接下來的這一段時間裡面，大家其實還是要去探索類似於o1這樣的技術如何在數據合成、強化學習這些方面找到相應的解決方案。在訓練的階段，我們要拉長每一個樣例對信號的這個學習。到了推理階段，通過增加模型在推理時計算時間，讓這個模型，不斷搜索更多的解，然後找到較好的解決方案。可能的一個解決方案。這也應該與 in context learning、搜索算法等都可能有密切的關係。此外，爲了實現深度思考，o1 內部可能包含多個智能體，它們互相討論得出結論。這也是一種可能的方案。

在我看來，去年的 ChatGPT 更讓大家覺得不知所措。它的效果太好了，那時而我們並不知道 OpenAI 到底通過哪些方式實現這樣的性能。通過一年的探索，研究人員掌握了一些 ChatGPT 和 GPT-4 的實現方式。我個人的感受是，學術界和開源社區可以猜測出可能的技術的方案或者路線。相較於 ChatGPT，學術界應該會用更快的時間復現o1的效果，將推動該領域的研究更快發展。

張寧豫：推理是相當人工智能領域中一項非常重要的任務。OpenAI 它把它的技術路線分爲了這個5個層次，目前在第2級上有重大突破。那麼，o1 誕生後，我們還可以針對哪些場景開展研究？

首先，很多大模型的應用在實際落地的時候都需要提升效率，相關的研究場景包括：量化、模型壓縮、prompt 壓縮等。以推理場景爲例，我們可以考慮是否每次推理都需要進行大量的思考。對於工業應用來說，如果對每一個問題都進行大量的長 token 的計算，其開銷和時間成本是難以承受的。

最近，我們團隊也在思考怎麼去提高大模型的推理效率。在大模型領域也有很多團隊在研究 LLM 的 Memory 機制。在我看來，人有長期的工作記憶，包含了以往推理的經驗、記憶、知識。如何結合記憶，實現更高效的推理，在遇到新場景時，如何高效地更新記憶，適配新的場景，是一個非常重要的研究課題。

另外，並不是每個場景需要 system 2 的推理能力。其實，system1/2 之間需要有機的切換的，模型需要能力自主做決策，決定進行多久的思考、檢索，在何時調用工具。近期，我們團隊構建了一個讓模型自主切換檢索和生成的框架，進行了初步的探索。在此類場景下，效率是十分關鍵的。在實際任務中，如果能通過有限的 token 解決問題，價值才更大。

那麼，所需的 token 和計算量是否可以被預測？實際上，大模型訓練的 scaling law 告訴我們模型參數的規模與其性能存在一定的關係。因此，在現階段，是否能夠有一種公式，預測推理時需要使用多少資源來解決所面臨的問題。

付傑：我一直在思考，如何定義推理（reasoning）。根據 subbarao kambhampati 的觀點，我們理想中的推理，不僅僅是近似的只是檢索，而是從第一性原理的最小集合出發，一步步將答案推理出來。所以我很好奇，如果 o1 只是大量地進行數據合成，之後將 system 2 蒸餾進了一個 system 1 的預言模型的範式，是否是我們想要的推理。這可以類比於 Dale Schuurmans 在計算機科學領域提出的「用空間換時間」的思維。如果加入了 COT 之後，就有了循環迭代的可能，其計算能力會得到加強。

蒸餾system 2

我們可以想象模型是一個很小的電路。如果我們要實現一個複雜的功能，可以用很多簡單的電路，迭代式地完成它；我們還可以用很大面積的電路直接實現它。在這二者之間，我們應該通過怎樣的方式實現推理？

另一個問題是。o1 是否能夠算作 system 2？如果是，它如何實現 system 2 和 system 1 之間的連接？以人腦威力，system 1/2 的信息處理速度有很大差異。system 1 每秒可以處理10^8 bit，而 system 2 每秒可以處理約 10 bit。從 system 1 到 system 2，處理信息就好比用吸管吸大壩裡面的水。那麼，如何從 system 1 中抽象出重要的符號，然後進行推理？

針對上面的問題，也許我們需要跳脫出 o1 來思考。我一直懷疑 o1 所謂的推理是否真正有意義。人類的語言是一種非形式化的語言，我們很容易生成自然語言，但是很難做驗證。我們是否需要非常可信的信號來訓練模型。或者改變目前的訓練範式，更加註重合成數據，甚至在合成數據中不僅依賴於純的自然語言，也可以將它變得更加形式化一些，從而實現驗證。這樣也可能帶來更好的安全性。

Q2：針對是否啓動 system 2、system 1 到 system 2 的連接等問題，各位嘉賓有什麼觀點？

安波：就我個人更現實一些，我不太關心 system 1/2 到底做了什麼，或者到底算不算推理（reasoning）。在生成答案的時候，你不僅僅需要看下一個 token，而是需要從更長遠的角度看哪一個回答可能會更好一些。這就好比我們在做規劃時，一個很好的規劃和短視的決策的區別。正因爲如此，RL的好處就在於它能夠從很長遠的角度來看最優的決策是什麼，這對推理而言是很有幫助的。未來，我們可以從各個角度全面提升大模型的能力。

劉知遠：我覺得到底怎麼劃分 system 1/2 的邊界可能的確不是那麼關鍵，之所以這樣定義兩個系統是要讓我們知道努力的方向——實現更深層的思考能力。這代表着人類智能的一個非常高的水平，可以通過思考，通過不斷的試錯，根據外部的反饋，知道該往哪個方向努力，從而更好地解決問題。從這個角度來講，o1 給我們帶來的一個非常大的挑戰是在於：爲了實現面向這種更深層的思考的能力，如何去獲取合適的標註數據，構建監督的信號，讓這個模型具備這種能力。面向未來，爲了實現超級智能，依靠人來標註持續地獲取監督信號是不可行的。因爲，可能發展到一定的階段，人類的能力也不能滿足標註的要求。此時可能需要一些類似於 self-play 的機制，讓模型不斷自我提升。

張寧豫：在 o1 出來之前，學術界就有一些若干模型「左右互搏」從而提升模型性能的工作。然而，當性能提升到一定程度以後，即使使用合成數據，性能的提升幅度逐步減小。所以，我一直很好奇 o1 是怎麼能夠保證持續提升性能。當然，可能它也涉及了一些更加新穎的機制。

我猜測，語言模型也好，智能體也好，如果要持續提升，應該需要一些外界的反饋。如果純靠語言模型自己提升，可能最後會擬合到數據的極限上。

此外，如果我們提出性能近似於 o1的開源方案。真的可以產生很大量的合成數據，但是我們應該如何讓大模型或智能體具備自主更新的能力，即自己有這個能力去想去獲取一些信息，然後去自己去提升自己的能力，而不是被動地接受信息。被動接受信號學習的模式是比較低效的。

安波：在沒有額外知識的情況下，爲什麼推理能夠提升呢？實際上，在強化學習、馬爾科夫決策等任務中，我們需要做規劃。而大語言模型生成 token 本身就是一個序列關係決策任務，如果我們能夠看到未來的情況，就可能會改變對當前 token的選擇。推理對提升性能是會有幫助的。

此外，在 AlphaGo 的時代，我們已經知道可以用 self-play 等方式提升模型性能。然而，玩遊戲的要求是最後收斂到一個均衡的策略，而這些方法在現在的大語言模型場景下不一定有效。此外，使用新的合成數據，是否能夠訓練出很強的大模型，我對此持有懷疑的態度。多個版本的大模型在交互過程中產生新的知識，也許也是一種新的思路。

Q3：o1的誕生是否代表大模型領域的研究範式遷移：從訓練的 scaling law 走向推理的 scaling law 計算成本的增加。計算主要消耗在推理側，性能增長也不再依靠參數量本身的增長。大家如何看待這一問題？

劉知遠：我整體不覺得這是一個範式遷移，訓練時的 scaling law 還會持續發揮作用，但是會達到新的高度。只是大家關注的重點可能會有所轉移。我並不認爲一個好的方案一定是對之前方案的一個否定，我覺得是相當於站在巨人的肩膀上，又往前走了堅實的一步。

張寧豫：部分觀點認爲 o1模型算是一個比較強的「理科生」。然而，在普通對話中，並不總是需要複雜的邏輯推理。如何平衡訓練階段和測試階段的 scaling law，以優化智能系統的設計，提升系統的效率，是未來研究的關鍵方向。

目前，語言模型的資源消耗相對較高。此外，對於推理階段的能力是否可預測，我一直保持好奇。對於複雜任務而言，資源消耗可能是必要的。但是，如果簡單任務也需消耗大量資源，那麼這種投入可能並不划算。

劉知遠：我贊同寧豫的觀點。system 1 和 system 2 的分類實際上也存在一些問題。在處理問題時，如果一個問題被反覆遇到，即使它本身是複雜的，但通過不斷的實踐和熟悉，人們可能會發展出一種類似於條件反射的快速解決方式，建立一些「捷徑」。這種快速反應可以通過 system 1來實現，而不需要 system 2的深度參與。system 1/2 並沒有嚴格的邊界，它更像是一個有不同分佈的連續光譜。我們團隊最近開發了很多端側模型，端雲協同的方案可能是未來的趨勢。我們希望訓練動態的模型，可以根據問題的複雜程度，決定調用多少的算力完成任務。

Q4：很多用戶在實測 o1後給出了比較失望的評價，認爲 o1對於很多問題的回答和 GPT-4o 差異並不大，但訓練成本卻差了十倍，甚至更多。o1是否對於某些問題會過度思考？

劉知遠：要將這類技術轉化爲廣泛使用的對話類產品，可能需要大約一年到一年半的時間。無論是產業界還是學術界，國內都應該充分重視並學習國際領先機構創新技術。我們應該關注這些機構的長處，而不是過分關注他們目前存在的問題。這些問題在未來半年到一年內可以通過產品化和技術發展得到快速解決。我們應該站在巨人的肩膀上，迅速地進行探索和創新。當別人已經掌握了深度思考的能力時，我們在做什麼？

安波：這是個很有意義的問題，我們之前的工作也沒有考慮過。我們是一直搜索到滿意的解決方案爲止。實際上，當年的 AlphaGo 在做決策時，有的決策需要十多分鐘，而有的只需要一兩秒。如何基於 token 中的概率信息或者 critic 的信息確定搜索的終點，利用合適的答案是很好的研究問題。

張寧豫：我想從應用的角度出發，對 o1模型以及 OpenAI 未來可能發佈的更新進行一些思考。顯然，這些更新將針對特定的實際應用場景。這引發了一個關鍵問題：在哪些場景下，複雜的推理是必需的？從直觀上講，科學研究工作本身就涉及到複雜的推理過程。目前，我們已經看到了許多致力於開發 agent，將其用於科學研究的 AI 系統的工作。

Q5：一些評論稱，o1開闢了一條通向 AGI 的新路徑，讓大家對世界模型有更多的想象。大家對此有何看法？

安波：我不認爲 o1與世界模型有太大關係。我懷疑 o1是否有報道中那麼重大的突破。之前大家的研究重點放在預訓練、RLHF。現在往後開始提升回答的能力，針對推理做一些研究，是一個很自然的步驟。

劉知遠：我覺得世界模型本身也有狹義和廣義之分。許多人可能會將世界模型理解爲通過視覺構建的物理模型，但這種理解是狹義的。實際上，世界模型可以包括我們通過視覺感知的物理世界之外的微觀和宏觀層面。

從更建設性的角度來看，o1代表了對世界更深層次建模的能力。它不僅包括物理世界，還包括代碼、數學等抽象概念，這些都可以被視爲一個系統，代表了對系統深層規律的認知。世界模型這個術語更多的是一種稱呼，而不是一個具體的定義。

張寧豫：我認同劉老師的觀點，即世界模型的核心在於模型在執行任務時是否對該領域、環境或任務本身有深入的理解。這背後的關鍵問題在於我們是否需要一個獨立的模型來構建這個世界、環境或場景的模型，還是將這些元素整合到大模型中去。這是一個開放性的問題。我個人認爲 o1在 OpenAI 技術路線圖中的第三層，也就是所謂的agent層。我好奇的是，這個agent將如何實現，它將呈現爲何種形態？

OpenAI技術路線

付傑：已有研究者探索直接將預訓練的語言模型視爲世界模型。例如，通過提示（prompt）的方式，讓模型將自己視爲一個世界模型，並回答相關問題。比如告訴語言模型“你在一個房間裡”，然後詢問“往前走十步會不會撞牆”，模型可能會回答“不會撞牆”。但如果向前走了五步後繼續詢問：“再往前走五步會不會撞牆”，模型可能會回答“會撞牆”。這表明模型並沒有形成一個自洽、一致的世界模型。

世界模型的重要性不容忽視。今年5月，Yoshua Bengio 等人發表了一篇關於確保AI安全的論文《Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems》，其中強調了三個要素：一個數學的世界模型，一個安全規範，以及一個驗證器。世界模型需要能夠預測行動對世界的影響，安全規範定義了可接受的影響範圍，而驗證器則用於評估模型對世界的影響。

劉知遠：在我看來，所謂的世界模型實際上代表了描述世界運行規律的基本公式。這些底層機制是理解世界運作的關鍵。利用大型模型進行世界模型的學習，實際上是從大量數據中提取和總結這些底層運行機制的過程。這個過程類似於人類如何通過經驗和觀察來識別規律。只有通過識別這些規律，模型纔能有效地驗證每一個行爲的反饋。從這個角度來看，世界模型的名稱並不是最重要的，關鍵在於我們能否找到更深層次的運行規律和機制。

張寧豫：如果我們要將這些模型或智能系統嵌入機器人中，或使其能夠服務於人類，它們必須能夠理解世界的運作方式。從這個角度來看，世界的規律不僅包括物理規律，還包括空間上的諸多規律，這些規律對於智能系統來說極爲重要。一個挑戰是如何將這些規律以計算機可學習、可編碼的方式整合到智能系統中，使其能夠理解這些規律。

Q6：其它公司也表示正在研發的模型也具有高級推理和規劃能力，o1的誕生可能給谷歌等其它公司帶來了巨大壓力，它是否有可能改變國內外該領域的競爭格局？

劉知遠：至少從目前的表現來看，o1的學術價值遠大於其商業價值。短期內，它在許多專業領域的應用可能難以顯著發揮作用。面向未來，OpenAI 的應用更可能集中在科學探索、高技術和知識密度較高的領域。然而，這些領域的成功應用需要先構建相應的世界模型，這一過程並不簡單。

o1選擇數學、編碼和算法作爲重點領域，主要是因爲這些領域能夠快速獲得反饋，從而支持其快速學習。然而，在許多其他領域，準確的監督信號往往難以獲得。o1可能更多代表的是未來實現人類水平智能的能力。

計算機的發展歷史中確實出現了巨型機和大規模集羣，解決了諸如氣象預測等複雜問題。然而，真正能夠普惠每個用戶的算力，是通過個人計算機、筆記本和手機實現的。因此，未來的人工智能發展也應朝着普惠和高精尖兩個方向並行。

我認爲 OpenAI 此次發佈 o1的主要目的是滿足市場預期，展示其內部成果。然而，如果 OpenAI 希望與 Google、蘋果等科技巨頭對標，它必須推出一個每個人都能使用且負擔得起的普及型產品。目前 o1的狀態顯然無法實現這一目標，這是我的基本判斷。

Q7：o1的推理能力是否可以用在端側設備上？高級規劃和推理能力是否對於基礎模型的能力是強依賴的？

劉知遠：目前，我們顯然還無法達到在端側實現 o1。當前我們應該專注於提升復現其性能，沿着既定方向穩步前進。從長遠來看，我們最近提出了一個觀點：隨着模型的更新和增大，其參數數量也隨之增加，從而能夠容納更多的知識。然而，我們認爲未來的模型發展不應僅僅依賴於簡單的規模擴張，而應更加重視改進模型的製造工藝。通過不斷改進，我們可以在單位參數內放入更多的知識，持續提高模型的知識密度。在這一基礎上，我們可以逐步增大模型規模，增強其能力。此外，o1給我們帶來的一個重要啓示是推理時計算的重要性。面向未來，我們一定會發展出能夠在更短時間內、以更少的計算資源達到相同推理能力的模型。我相信未來一定能夠在端側實現更強的類似於 o1的能力。這只是一個時間問題。

Q8：結合形式化語言來做訓練，有什麼具體的思路嗎？

付傑：幾個月前，我對利用語言模型進行數學證明的前景持樂觀態度，認爲可以通過隨機生成的方式，讓模型產生符合邏輯的證明。然而，我後來意識到一個問題：如果沒有良好的初始化，類似於“猴子打印機”的隨機過程可能永遠無法生成一個有效的證明。

目前，儘管一些研究者嘗試通過固定問題和答案來搜索中間的證明步驟，但這種方法成本高昂。因此，我們可能需要等待數學證明的數據量積累到一定程度後，才能進行有效的初始化和後續訓練。

數學語言是最爲嚴謹和形式化的語言，其次是代碼。在論文《Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems》中，Yoshua Bengio 等人提出通過三個核心組件的相互作用來實現保證安全的人工智能：（1）世界模型：提供數學描述（2）安全規範：數學描述可接受的結果（3）驗證器：證明人工智能相對世界模型滿足安全規範。

論文《Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems》

在這篇論文中，作者根據 AI 系統的風險從低到高定義了4個人工智能安全級別 ASL。實際上，要保證 AI 系統的可靠性是十分困難的，其成本非常高。但我們仍有可能在不引發重大安全問題的情況下，通過與形式化定理證明器交互的 AI 智能體，實現 ASL 等級較高的 AI 系統。

針對數學、代碼等形式化的語言，我們可以構建形式上被驗證爲基本物理定律的可靠的世界模型，可以形式化定義安全規範、並進行形式化驗證（相關方法可參考 Leino, K. R. M 的著作《Program Proofs》）。

Q9：在模型架構改進上，我們是否會跳出大一統的 Transformer？

劉知遠：我們最近確實在關注高知識密度的端側模型。從實踐角度來看，我們認爲決定模型知識密度有三個重要因素：模型架構、數據的數量和質量、數據到知識的轉換效率（模型的成長規律）。

在我看來，Transformer 代表了大型模型發展的一個重要趨勢，其架構變得通用化，以往的各種架構都統一在 Transformer 之下。然而，與人類大腦相比，尤其是在端側，Transformer 在能耗方面仍然非常高，特別是在處理長序列數據時，由於注意力機制等問題，不僅計算量大，內存佔用也十分驚人。因此，我們認爲未來一定會對 Transformer 架構進行重大調整，以徹底解決能耗高的問題。如何讓模型更好地服務每個用戶，類似於歷史上的 PC 和手機，能夠普惠地服務每個用戶，我們認爲還有很長的路要走，這也是我們需要不斷探索的方向。

Q10：各位嘉賓對國產模型研發的現狀有什麼看法？

劉知遠：我認爲大模型的浪潮始於2018年的 BERT 和 GPT，當時我們稱之爲預訓練模型。北京智源研究院在這個過程中扮演了國內非常重要的角色。任何一次大的技術突破，真正讓社會各界感知到大概需要五年時間。深度學習大約在2010年技術相對成熟，直到2016年 AlphaGo 戰勝人類圍棋冠軍，才讓全社會認識到深度學習的強大。大模型技術在2018年初步成熟，直到2022年底到2023年，整個社會才認識到大模型技術的重要突破。

作爲 AI 前沿技術的從業者，我們應該保持對國際上最前沿技術突破的敏感性，保持謙卑的態度，快速學習前人的重要經驗，站在巨人的肩膀上，真正進入 AI 時代。這是過去幾年探索的重要感受。我們應該認真去學習最前沿的技術，因爲技術還遠遠沒有收斂，還在快速演進。在這個過程中，我們應該保持對前沿技術的尊重，因爲掌握了前沿技術，就相當於掌握了比全人類更早五年掌握最前沿技術發展方向的能力，這對國家和社會都具有重要意義。我覺得，我們需要再有五年甚至十年，甚至20年，才能一起見證 AGI 時代的變革。

Q11：很多 AI 安全的專家對於 o1模型感到非常的擔憂，把 o1評級爲具有中等風險的模型。如果被濫用後果會很嚴重。大家對此有何看法？

付傑：在我較早的研究中，大約在2019年，我進行了一些評估，旨在探究 BERT 模型是否能理解人類的社會價值觀，這也算是早期的模型對齊研究。

一個更令人擔憂的問題是如何從基礎層面上構建能夠約束未來通用人工智能（AGI）的機制。

David Kruger 曾提出“危險曲線” （https://www.youtube.com/watch?v=UjsD-zZngu8） 的概念。在這個曲線中，橫軸代表社會對AI安全的投入，縱軸代表社會面臨的AI風險係數。通常情況下，隨着投入的增加，社會的風險都會降低。但是，到達某個節點後，風險會突然急劇上升。儘管當前許多魯棒AI系統，但它們並不能提供絕對的安全保證。

ditch of danger

張寧豫：AI 安全問題至關重要。隨着大型模型和智能體等新技術的發展，這一領域將持續存在並發展。我們面臨的挑戰是如何開發更強大的模型，使其既能服務於實際應用，又能解決人類問題。

在這個過程中，存在兩種情況。第一種情況是輔助模式，其中模型充當助手，幫助人類解決問題。這種情況下可能存在安全隱患，但相對可控。第二種情況是完全自動化模式，此時的安全風險相對較高。這涉及到許多複雜的議題，甚至超越了計算機科學領域，還包括法律等問題。

參會人員

安波，南洋理工大學校長講席教授，人工智能研究院聯席院長

新加坡南洋理工大學校長委員會講席教授和南洋理工大學人工智能研究院聯席院長，於2011年在美國麻省大學Amherst分校獲計算機科學博士學位。主要研究領域包括人工智能、多智能體系統、算法博弈論、強化學習、及優化。有100餘篇論文發表在人工智能領域的國際頂級會議上。曾獲2010 IFAAMAS傑出博士論文獎、2011年美國海岸警衛隊的卓越運營獎、2012 AAMAS最佳應用論文獎、2016年IAAI創新應用論文獎，2020 DAI最佳論文獎，2012年美國運籌學和管理學研究協會(INFORMS)Daniel H. Wagner傑出運籌學應用獎， 2018年南洋青年研究獎、以及2022年南洋研究獎等榮譽。

劉知遠，清華大學副教授

清華大學計算機系副教授、博士生導師。主要研究方向爲自然語言處理、知識圖譜和社會計算。2011年獲得清華大學博士學位，已在ACL、EMNLP、IJCAI、AAAI等人工智能領域的著名國際期刊和會議發表相關論文100餘篇，Google Scholar統計引用超過3萬次。曾獲教育部自然科學一等獎（第2完成人）、中國中文信息學會錢偉長中文信息處理科學技術獎一等獎（第2完成人）、中國中文信息學會漢王青年創新獎，入選國家青年人才、北京智源研究院青年科學家、2020年Elsevier中國高被引學者、《麻省理工科技評論》中國區35歲以下科技創新35人榜單、中國科協青年人才託舉工程。

張寧豫，浙江大學副教授

浙江大學副教授，浙江大學啓真優秀青年學者，在高水平國際學術期刊和會議上發表多餘篇論文，6篇入選Paper Digest高影響力論文，1篇被選爲Nature子刊Featured Articles。主持國家自然科學基金、計算機學會、人工智能學會多個項目，獲浙江省科技進步二等獎，IJCKG最佳論文/提名2次，CCKS最佳論文獎1次, 擔任ACL、EMNLP領域主席、ARR Action Editor、IJCAI 高級程序委員，主持開發大語言模型知識編輯工具EasyEdit (1.5k)。

付傑，上海人工智能實驗室青年科學家

曾在加拿大Mila做過Yoshua Bengio和Chris Pal的博士後，博士畢業於新加坡國立大學師從蔡達成。他獲得NAACL 2024，ICLR 2021傑出論文獎。他目前的研究興趣是System-2 deep learning, AI safety.

租售GPU算力

租：4090/A800/H800/H100

售：現貨H100/H800

特別適合企業級應用

掃碼瞭解詳情☝