OpenAI最新論文：讓大模型免受惡意攻擊；微軟發佈Phi-3技術報告；綜述：LLM的自我進化｜大模型論文

今日值得關注的大模型前沿論文

OpenAI 最新論文：讓大模型免受惡意攻擊

微軟發佈 Phi-3 技術報告：手機上的高功能語言模型

Google DeepMind：先進人工智能模型的整體安全與責任評估

MIT CSAIL 推出多模態自動可解釋性智能體 MAIA

綜述：大模型智能體的記憶機制

綜述：大型語言模型的自我進化

綜述：大型語言模型的高效推理

通過注意力調節實現更好的文本到圖像生成對齊

復旦、OPPO 提出 PoseAnimate：零樣本高保真姿勢可控角色動畫生成

崑崙萬維推出音樂一致性模型

清華、Meta提出文生圖定製生成新方法 MultiBooth

1.OpenAI 最新論文：讓大模型免受惡意攻擊

當前的大型語言模型（LLM）容易受到提示注入、越獄攻擊和其他攻擊的影響，這些攻擊允許攻擊者用他們自己的惡意提示覆蓋模型的原始指令。

OpenAI 研究團隊認爲，這些攻擊的主要漏洞之一是 LLMs 經常將系統提示（比如來自應用程序開發人員的文本）與來自不可信用戶和第三方的文本視爲相同的優先級。爲此，他們提出了一種指令層次（instruction hierarchy）結構，明確定義了當不同優先級的指令衝突時模型應該如何選擇。然後，他們提出了一種數據生成方法來演示這種分層指令跟隨的行爲，該方法指導 LLMs 有選擇地忽略低特權指令。

他們將這種方法應用於 GPT-3.5，結果表明它大大提高了模型的魯棒性——即使對於在訓練過程中未見過的攻擊類型也是如此，同時對標準能力的影響降到最低。

論文鏈接：

https://arxiv.org/abs/2404.13208

2.微軟發佈Phi-3技術報告：手機上的高功能語言模型

微軟發佈了 Phi-3 系列模型，包括 phi-3-mini、phi-3-small 和 phi-3-medium。

其中，phi-3-mini 是一個基於 3.3 萬億個 token 訓練的 38 億參數語言模型，根據學術基準和內部測試結果，其總體性能可與 Mixtral 8x7B 和 GPT-3.5 等模型相媲美（例如，phi-3-mini 在 MMLU 上的得分率爲 69%，在 MT-bench 上的得分率爲 8.38），而且體積很小，可以部署在手機上。

微軟團隊表示，Phi-3 系列模型的創新點在於他們的訓練數據集，它是 phi-2 所用數據集的放大版，由經過大量過濾的網絡數據和合成數據組成。他們還進一步調整了模型的魯棒性、安全性和聊天格式。

此外，他們還提供了一些初步的參數縮放結果，包括針對 4.8T token 訓練的 7B 和 14B 模型，即 phi-3-small 和 phi-3-medium，這兩個模型的能力都明顯高於 phi-3-mini（例如，在 MMLU 上分別爲 75% 和 78%，在 MT-bench 上分別爲 8.7 和 8.9）。

論文鏈接：

https://arxiv.org/abs/2404.14219

3.Google DeepMind：先進人工智能模型的整體安全與責任評估

先進人工智能模型（AI）的安全性和責任評估是一個關鍵但尚在發展中的研究和實踐領域。

在 Google DeepMind 開發高級 AI 模型的過程中，他們創新並應用了一系列安全評估方法。他們總結並分享了他們不斷髮展的方法以及供廣大受衆參考的經驗教訓，其中包括：首先，理論基礎和框架對於組織風險領域、模式、形式、指標和目標的重要性是非常寶貴的；其次，安全評估發展的理論和實踐都能從合作中受益，從而明確目標、方法和挑戰，並促進不同利益相關者和學科之間的見解交流；第三，類似的關鍵方法、教訓和機構適用於責任和安全方面的各種問題 —— 包括既有的和新出現的危害。

因此，從事安全評估和安全研究的廣泛參與者必須共同努力，開發、完善和實施新的評估方法和最佳實踐。報告最後概述了快速推進評估科學、將新的評估納入 AI 的開發和治理、建立科學依據的規範和標準，以及促進強大的評估生態系統的明確需求。

論文鏈接：

https://arxiv.org/abs/2404.14068

4.MIT CSAIL推出多模態自動可解釋性智能體 MAIA

MIT 計算機科學與人工智能實驗室團隊提出了一個多模態自動可解釋性智能體—— MAIA。MAIA 是一個使用神經模型來自動完成神經模型理解任務（比如特徵解釋和故障模式發現）的系統。它爲預訓練的視覺語言模型配備了一系列工具，從而支持對其他模型的子組件進行迭代實驗，從而解釋其行爲。這些工具包括人類研究人員常用的工具：合成和編輯輸入，計算來自真實世界數據集的最大激活示例，以及總結和描述實驗結果。MAIA 提出的可解釋性實驗將這些工具組合在一起，用於描述和解釋系統行爲。

他們評估了 MAIA 在計算機視覺模型上的應用。他們首先描述了 MAIA 在圖像學習表示中描述（神經元級）特徵的能力。在幾個經過訓練的模型和一個具有配對 ground-truth 描述的合成視覺神經元新數據集上，MAIA 產生的描述與專家人類實驗者生成的描述相當。此外，MAIA 可以幫助完成兩個額外的可解釋性任務：降低對虛假特徵的敏感性，以及自動識別可能被錯誤分類的輸入。

論文鏈接：

https://arxiv.org/abs/2404.14394

項目地址：

https://multimodal-interpretability.csail.mit.edu/maia/

5.綜述：大模型智能體的記憶機制

近來，基於大型語言模型（LLM）的智能體引起了研究界和工業界的廣泛關注。與原始 LLM 相比，基於 LLM 的智能體具有自進化（self-evolving）能力，這是解決現實世界中需要長期、複雜的智能體-環境交互問題的基礎。

支持智能體與環境交互的關鍵要素是智能體的記憶。雖然以往的研究提出了許多有前景的記憶機制，但這些機制散見於不同的論文中，缺乏系統的綜述，無法從整體的角度對這些工作進行總結和比較，也無法抽象出通用而有效的設計模式來啓發未來的研究。

爲此，來自中國人民大學和華爲的研究團隊對基於 LLM 的智能體的記憶機制進行了全面研究。具體來說，他們首先討論了基於 LLM 的智能體的“記憶是什麼”和“爲什麼需要記憶”；然後，系統地回顧了以往關於如何設計和評估內存模塊的研究；此外，還介紹了許多智能體應用，其中內存模塊發揮了重要作用；最後，分析了現有工作的侷限性，並指出了未來的重要方向。

論文鏈接：

https://arxiv.org/abs/2404.13501

GitHub 地址：

https://github.com/nuster1128/LLM_Agent_Memory_Survey

6.綜述：大型語言模型的自我進化

大型語言模型（LLM）在各個領域和智能體應用中都取得了顯著的進步。然而，目前從人類或外部模型監督中學習的 LLM 成本高昂，而且隨着任務複雜性和多樣性的增加，可能會面臨性能上限的問題。

爲了解決這個問題，使 LLM 能夠自主獲取、完善和學習模型自身產生的經驗的自我進化（self-evolving）方法正在迅速發展。這種受人類經驗學習過程啓發的新訓練範式爲 LLM 向超級智能發展提供了可能。

爲此，來自北京大學、阿里巴巴和南洋理工大學的研究團隊全面研究了 LLM 的自我進化方法。他們首先提出了自我進化的概念框架，並將進化過程概述爲由經驗的獲取、完善、更新和評估四個階段組成的迭代循環；其次，對 LLM 和基於 LLM 的智能體的進化目標進行了分類；然後，總結了相關文獻，併爲每個模塊提供了分類和見解；最後，指出了現有的挑戰，並提出了改進自我進化框架的未來方向。

論文鏈接：

https://arxiv.org/abs/2404.14387

GitHub 地址：

https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/Awesome-Self-Evolution-of-LLM

7.綜述：大型語言模型的高效推理

大型語言模型（LLM）因其在各種任務中的出色表現而受到廣泛關注。然而，LLM 推理需要大量的計算和內存，這給在資源有限的情況下部署 LLM 帶來了挑戰。該領域一直致力於開發旨在提高 LLM 推理效率的技術。

來自清華大學的研究團隊及其合作者全面考察了有關高效 LLM 推理的現有文獻。他們首先分析了 LLM 推理效率低下的主要原因，即模型規模過大、二次複雜性注意力操作和自動迴歸解碼方法；然後，提出了一個全面的分類法，將目前的文獻整理爲數據級、模型級和系統級優化；此外，還對關鍵子領域中的代表性方法進行了比較實驗，從而提供定量見解；最後，進行了一些知識總結，並討論了未來的研究方向。

論文鏈接：

https://arxiv.org/abs/2404.14294

8.通過注意力調節實現更好的文本到圖像生成對齊

在文本到圖像的生成任務中，擴散模型的進步提高了生成結果的保真度。然而，這些模型在處理包含多個實體和屬性的文本提示時遇到了挑戰。

注意力分佈不均會導致實體泄漏和屬性錯位問題。要解決這個問題，從頭開始訓練需要大量的標註數據，而且非常耗費資源。

爲此，來自新加坡國立大學、山東大學的研究團隊提出了一種屬性聚焦（attribution-focusing）機制，這是一種通過調節擴散模型的注意力來實現的免訓練分階段機制。

他們的核心理念之一是引導模型在不同的時間步集中於提示的相應句法成分。爲此，他們在自注意力模塊的早期階段加入了溫度控制機制，從而緩解實體泄漏問題。

另外，他們在交叉注意模塊中集成了以對象爲中心的屏蔽方案和分階段動態權重控制機制，使模型能夠更有效地辨別實體之間的語義信息關聯。

各種配準場景的實驗結果表明，該模型能以最小的額外計算成本實現更好的圖像-文本對齊。

論文鏈接：

https://arxiv.org/abs/2404.13899

9.復旦、OPPO提出PoseAnimate：零樣本高保真姿勢可控角色動畫生成

圖像到視頻（I2V）生成的目的是從單張圖像創建視頻序列，這要求與源圖像具有高度的時間一致性和視覺保真度。此外，這些方法還需要大量的視頻數據來進行訓練，這可能會在計算上造成困難。

針對這些侷限性，來自復旦大學、OPPO AI Center 的研究團隊及其合作者，提出了一個用於角色動畫的新型零樣本 I2V 框架—— PoseAnimate。

PoseAnimate 包含三個關鍵組件：1）Pose-Aware Control Module（PACM）將各種姿勢信號納入條件嵌入，從而保留與角色無關的內容，並保持動作的精確對齊2）Dual Consistency Attention Module（DCAM）增強了時間一致性，保留了人物身份和複雜背景細節；3）Mask-Guided Decoupling Module（MGDM）細化了鮮明特徵感知，通過解耦人物和背景來提高動畫保真度。他們還提出了 Pose Alignment Transition Algorithm（PATA）來確保動作的平滑轉換。

大量實驗結果表明，這一方法在角色一致性和細節保真度方面優於最先進的基於訓練的方法。此外，它還能在整個生成的動畫中保持高度的時間一致性。

論文鏈接：

https://arxiv.org/abs/2404.13680

10.崑崙萬維推出音樂一致性模型

一致性模型在促進高效圖像-視頻生成方面表現出了非凡的能力，可以用最少的採樣步驟進行合成。事實證明，它在減輕與擴散模型相關的計算負擔方面具有優勢。然而，一致性模型在音樂生成中的應用很大程度上仍未得到探索。

爲了填補這一空白，來自崑崙萬維的研究團隊提出了音樂一致性模型——Music Consistency Models，它利用一致性模型的概念高效地合成音樂片段的旋律譜圖，在保持高質量的同時儘量減少採樣步驟的數量。在現有文本到音樂擴散模型的基礎上，MusicCM 模型結合了一致性提煉和對抗性判別器訓練。

此外，他們還發現，通過結合具有共享約束條件的多個擴散過程，有利於生成擴展的連貫音樂。實驗結果揭示了該模型在計算效率、保真度和自然度方面的有效性。值得一提的是，MusicCM 只需四個採樣步驟就能實現無縫音樂合成，例如每分鐘只需採樣音樂片段的一秒鐘，展示了實時應用的潛力。

論文鏈接：

https://arxiv.org/abs/2404.13358

11.清華、Meta提出文生圖定製生成新方法MultiBooth

來自清華大學和 Meta 的研究團隊提出了一種用於從文生圖的多概念定製的新型高效技術—— MultiBooth。儘管定製生成方法取得了長足的進步，特別是隨着擴散模型的快速發展，但由於概念保真度低和推理成本高，現有方法在處理多概念場景時依然困難。

爲了解決這些問題，MultiBooth 將多概念生成過程分爲兩個階段：單一概念學習階段和多概念整合階段。在單概念學習階段，他們採用多模態圖像編碼器和高效的概念編碼技術，爲每個概念學習一個簡明且具有辨別力的表徵；在多概念整合階段，他們使用邊界框來定義交叉注意圖中每個概念的生成區域。這種方法可以在指定區域內創建單個概念，從而促進多概念圖像的形成。

這一策略不僅提高了概念的保真度，還降低了額外的推理成本。在定性和定量評估中，MultiBooth 都超越了各種基線，展示了其卓越的性能和計算效率。

論文鏈接：

https://arxiv.org/abs/2404.14239

項目地址：

https://multibooth.github.io/

｜點擊關注我 記得標星｜