OpenAI重新任命頂級人工智能安全主管

鞭牛士報道，7月24日消息，據CNBC報道，知情人士向 CNBC 證實，OpenAI 上週解除了其高級安全主管之一亞歷山大·馬德里 (Aleksander Madry) 的職務，並將其重新分配到專注於人工智能推理的工作。

根據普林斯頓大學人工智能計劃網站上 Madry 的個人簡介，Madry 是 OpenAI 的應急準備負責人，該團隊的任務是跟蹤、評估、預測和幫助防範與前沿人工智能模型相關的災難性風險。

OpenAI 向 CNBC 表示，Madry 在新的職位上仍將從事核心 AI 安全工作。

據該大學網站介紹，他還是麻省理工學院可部署機器學習中心主任以及麻省理工學院人工智能政策論壇的聯合負責人，目前正在休假。

在決定重新任命 Madry 不到一週的時間裡，一羣民主黨參議員向 OpenAI 首席執行官 Sam Altman 發送了一封信，詢問OpenAI 如何解決新出現的安全問題。

這封於週一發出並被 CNBC 看到的信函還表示，我們尋求 OpenAI 提供更多信息，包括該公司爲履行其公開的安全承諾所採取的措施、該公司如何內部評估其履行這些承諾的進展，以及該公司對網絡安全威脅的識別和緩解情況。

OpenAI 尚未立即迴應置評請求。

立法者要求這家科技初創公司在 8 月 13 日之前就其安全實踐和財務承諾的具體問題做出一系列答覆。

這是今年夏天圍繞 OpenAI 不斷增加的安全擔憂和爭議的一部分，OpenAI 與谷歌、 微軟、 Meta 和其他公司一起引領了 生成人工智能 軍備競賽——這個市場的收入預計將在十年內 超過 1 萬億美元 ——似乎每個行業的公司都在競相添加人工智能聊天機器人和代理，以避免 被競爭對手甩在後面。

本月早些時候，微軟 放棄了在 OpenAI 董事會的觀察員席位，並在 CNBC 看到的一封信中表示，它現在可以辭職，因爲它對該初創公司董事會的架構感到滿意。自導致奧特曼短暫下臺 並威脅到微軟對該公司的鉅額投資的起義以來，董事會在八個月內進行了改組。

但上個月，一羣現任和前任 OpenAI 員工發表了一封 公開信，描述了他們對人工智能行業快速發展的擔憂， 儘管缺乏監督，而且對那些想要發聲的人也沒有提供舉報人保護。

員工們當時寫道：人工智能公司有強大的經濟動機來逃避有效的監督，我們認爲定製的公司治理結構不足以改變這種狀況。

這封信發佈幾天後，一位知情人士向 CNBC 證實，聯邦貿易委員會和司法部 將對 OpenAI、微軟和英偉達展開反壟斷調查，重點關注這些公司的行爲。

美國聯邦貿易委員會主席莉娜·汗 (Lina Khan) 將 其機構的行動描述爲對人工智能開發商和主要雲服務提供商之間正在形成的投資和合作關係的市場調查。

現任和前任員工在 6 月份的信中寫道，人工智能公司掌握着關於其技術能做什麼、他們採取的安全措施的程度以及該技術對不同類型傷害的風險水平的“大量非公開信息”。

他們寫道：我們也瞭解這些技術帶來的嚴重風險，並補充說，這些公司目前只承擔了與政府分享部分信息的薄弱義務，而與民間社會則沒有任何義務。我們認爲，不能指望它們都自願分享這些信息。

今年 5 月，OpenAI 決定解散其專注於人工智能長期風險的團隊，這距離其宣佈成立僅一年，一位知情人士當時向 CNBC 證實了這一消息。

這位不願透露姓名的人士表示，一些團隊成員已被重新分配到公司內的其他團隊。

該團隊在其領導人、OpenAI 聯合創始人 Ilya Sutskever 和 Jan Leike 於 5 月宣佈離開這家初創公司後解散 。Leike 在 X 上的一篇文章中寫道，OpenAI 的安全文化和流程已經讓位於閃亮的產品。

阿爾特曼當時在 X 上 表示，他很遺憾看到雷克離開，OpenAI 還有更多工作要做。不久之後，聯合創始人格雷格·布羅克曼在 X 上發佈了 一份由布羅克曼和首席執行官共同撰寫的聲明，聲稱該公司提高了人們對 AGI 風險和機遇的認識，以便世界能夠更好地爲此做好準備。

「我加入是因爲我認爲 OpenAI 是世界上進行這項研究的最佳場所。」Leike 當時在 X 上寫道。「然而，我與 OpenAI 領導層在公司的核心優先事項上意見分歧已有一段時間，直到我們最終到達了臨界點。」

Leike 寫道，他認爲公司應該將更多的帶寬集中在安全、監控、準備、安全和社會影響上。

「這些問題很難解決，我擔心我們無法走上正確的軌道。」他寫道。「過去幾個月，我的團隊一直在逆風前行。有時我們爲[計算資源]而苦苦掙扎，完成這項至關重要的研究變得越來越困難。」

Leike 補充說，OpenAI 必須成爲一家安全第一的 AGI 公司。

「製造比人類更聰明的機器本身就是一項危險的事業。」他當時寫道。「OpenAI 代表全人類肩負着巨大的責任。但在過去幾年裡，安全文化和流程已經讓位於閃亮的產品。」

《The Information》首先報道了馬德里被調任的消息。