奇安信董事長齊向東：用三大安全策略化解AI“三重危機”｜2024烏鎮互聯網大會

“人工智能發揮出什麼樣的作用，關鍵還是看使用的人。”2024世界互聯網大會烏鎮峰會期間，全國政協委員、全國工商聯副主席、奇安信集團董事長齊向東表示，針對AI黑箱化、黑產化、武器化這三重危機，應通過多維度體系化防護、“鑑僞”“防僞”技術、AI提升安全能力三大策略來化解。

AI“三化”加劇安全危機

齊向東將AI安全危機總結爲“三化”，即：黑箱化、黑產化、武器化。

首先是AI黑箱化，導致內容生成良莠不齊。在生成AI大模型的過程中，數據和模型在黑箱內部，現實世界和數字世界之間有一道天然隔閡，這不僅使得我們難以洞悉具體使用了哪些數據集和算法，也模糊了攻擊者可能採取的具體破壞手段，從而導致有害內容及錯誤信息的泛濫。

在今年的實網攻防演練中，奇安信攻擊隊就成功攻破了某AI大模型，並總結出針對大模型的攻擊途徑。通過多種手法，篡改了大模型輸出內容、讓模型出現預料之外或者有害結果，甚至直接癱瘓了大模型。

第二是AI黑產化，導致深度僞造氾濫成災。不法分子藉助AI技術對圖像、音視頻等內容進行深度僞造，以達到不可告人的目的。無論是公衆還是企業，都逃不脫深僞詐騙的陷阱。

三是AI武器化，導致黑客攻擊愈演愈烈。人工智能可以生成惡意軟件、釣魚郵件，也可以快速發現目標系統中的漏洞，大幅降低網絡攻擊門檻，讓不懂代碼、不懂技術的普通人也能成爲黑客，攻擊數量大幅增加。目標處於無法應對的飽和狀態，網絡空間“易攻難守”成常態。

優化AI安全治理的三大必備策略

人工智能正在黑客攻擊、社會操縱和戰略規劃等關鍵領域飛速取得進展，並帶來前所未有的挑戰，安全已經來到臨界點。

齊向東提出，未來強化人工智能安全治理，需要重點採用三大技術策略。

第一個策略是結合大模型基礎運行環境、訓練環境、API接口以及數據安全進行多維度、體系化防護。大模型生命週期的每個環節都存在大量不確定性，無論是數據安全、算法開發和模型安全、內容還是應用安全等方面，都要做到合規。

奇安信打造的大模型衛士，能解決使用過程中的各種安全問題；今年奇安信又特別設計了一套AI安全整體應對方案，包括AI安全框架，以及基於安全框架下的AI安全解決方案、AI評估服務和安全檢測工具等，可以幫助政企機構踏實地向人工智能要生產力。

第二個策略是用“鑑僞”、“防僞”技術有效遏制深度僞造。針對正在野蠻生長的生成式僞造語音技術、生成式僞造視頻技術，應該儘快發展相關檢測技術。

奇安信一直深耕反詐、隱私安全等解決方案，致力於協助公安執法、黨政機關、司法機關等部門深挖涉網犯罪線索。奇安信自研的深度鑑僞模型能夠準確識別多種前沿AI僞造技術生成的虛假圖片視頻；洛基平臺可以通過內網在線訪問，上傳圖片、視頻開展深度鑑僞。

第三個策略是用安全大模型反哺安全能力大提升。建立體系化的安全防護系統，是AI安全大模型驅動安全的重要前提。奇安信的內生安全體系，把網絡安全設備和業務流轉、不同層次的信息系統有機結合起來，做到安全能力的無死角，確保多道網絡安全防線有效協同，實現從宏觀管控到微觀檢測的全面防護

奇安信在內生安全體系之上，部署了自研的QAX-GPT安全大模型，這樣不僅讓大模型更懂客戶業務，同時也讓安全體系效率更高、能力更強。經過反覆訓練打磨，AI安全大模型的研判效率已經提到了人工的60多倍。

奇安信還將AI安全大模型賦能NGSOC，形成AISOC，推動安全運營模式從“勞動密集型”向“智慧型”轉變，實現了效率的十倍、百倍、千倍提升。同時，奇安信將大模型賦能給天眼、天擎、椒圖等安全產品，再依託AISOC進行告警全局關聯，實現對網絡安全、終端安全、服務器安全的全面掌控，進而幫助分析師自動解讀執行各類任務，全天候自動研判告警並甄選出有效威脅、推薦關聯分析方法，並全面加速威脅監測調查與響應全流程，高效實現事件處置閉環，讓安全防禦變得更加主動。

“有了高效的安全治理，AI纔有未來。”齊向東表示，奇安信將運用好技術優勢，爲AI安全治理貢獻更多安全廠商的力量，努力爲全社會營造更加和諧、更加繁榮的未來