無人機首次自主殺人，機器殺人的潘多拉魔盒打開？
近日，聯合國披露的一份關於2020年3月利比亞軍事衝突中的報告稱，土耳其STM公司生產的“卡古-2”(kargu)型四旋翼無人攻擊機被編程爲在不依靠操作員的情況下自主攻擊了撤退的哈夫塔爾指揮的“利比亞國民軍”，並很有可能造成了一名國民軍相關成員的死亡。
“卡古-2”(kargu)型四旋翼無人攻擊機。
隨着技術的進步，人工智能已經得到了越來越廣泛的應用，可隨之而來就是與之相關問題的爭論。如從長遠角度考慮，不少人擔心，有朝一日人工智能通過不斷的學習，其“心智”水平越來越高，有可能萌生脫離人類控制、獨立自主的傾向，再往後會與人類發生衝突甚至奴役或者滅絕人類。在各類科幻大片中，人工智能造反一直是經久不衰的主題。此前早已有很多學者提出並表達過這樣的憂慮，如英國理論物理學家霍金就表示，未來100年內人工智能將比人類更爲聰明，機器人將控制人類。2013年霍金還與特斯拉 CEO 伊隆·馬斯克共同發表公開信，認爲人工智能的發展應該受到控制。
而就近期來說，人工智能在軍事領域大顯身手的同時也是譭譽參半。目前軍用人工智能的發展主要集中在三個方面：
自主情報分析：機器算法的快速、準確、無疲勞等特點，可以高速開展目標識別和數據分析，提取有效情報，將海量的數據轉換爲有價值的信息。
“卡古-2”(kargu)型四旋翼無人攻擊機可自主作戰。
自主武器：對於自主武器系統概念的界定，依據美國國防部2012年的定義，自主武器系統是“一種激活後就無需操作人員進一步干預，可以自主選擇和攻擊目標的武器系統”。國際紅十字委員會（ICRC）2014年將自主武器系統定義爲“可以獨立選擇和攻擊目標的武器，即在獲取、跟蹤、選擇和攻擊目標等‘關鍵功能’方面具有自主權”。
前兩類軍用人工智能雖然會參與作戰行動的策劃與指揮，但畢竟沒有“親自手動”，而自主武器系統的最大特點是能夠在不依賴外界指令和設備支持的情況下，在複雜作戰環境中依靠人工智能系統獨立做出開火決定，讓“機器殺人”成爲現實，因此爭論的焦點更多集中在了自主武器上。
俄羅斯研製的“平臺”-M履帶式無人戰車。
“兩面開刃”的自主武器
現在爭論的核心是：自主武器該不該被使用。對於使用自主武器的後果，各方存在較大的分歧。一方面，美俄等國從鞏固其技術先發優勢的立場出發，提出自主武器系統具有人類戰士無可比擬的優越性。有人認爲，智能化自主武器系統不僅能夠使人與武器實現實質性分離，使實際傷亡率無限趨近於0，而且自主武器系統無需考慮自身安全，不受主觀情緒左右，具有“理性優勢”，加上更快的信息處理速度，武器的使用效率和不同武器之間的協作也將大大提升，可以最大限度地獲得戰場主動權。因此未來具備人工智能的“無人軍團”必將成爲大國的“標配”，進一步拉大國與國之間的軍力差距，甚至出現單方面“碾壓”。
美國海軍“海上獵人”無人艇。
另一方面，聯合國、國際紅十字會和一些技術後發國家基於潛在的安全風險指出，擺脫人類控制的自主武器系統將使得戰爭更加冷血，在戰場上被授予了“自由開火權”人工智能可能會自作主張，濫殺無辜，將戰爭變成一場場無法“重啓”的遊戲。有分析認爲，從道義角度出發，如果讓機器來決定人類生死，就會從根本上抹去人性在戰場上的存在感，使人類缺乏對殺戮行爲的道德負擔，其結果必然使殺戮變得毫無人性。同時，在戰場上作出“開火”的決定，是綜合衡量大量複雜因素的結果，但目前的機器算法存在區分目標的盲區，無法可靠地區分合法與非法目標。如軍服、武器裝備等一系列明確標識可以設置區分規則，但如果對手採取僞裝等手段，就會導致軍事目標缺乏明顯的視覺標識；而且根據戰爭法則，在戰鬥中不得射殺傷兵、醫護兵、跳傘飛行員、投降者及俘虜等人員；這些都會給自主武器系統執行區分任務帶來巨大挑戰。有人擔心，失去人類控制的自主武器系統一旦應用於戰爭，可能導致攻擊範圍、時間和毀傷程度等方面的諸多不確定性，進而加劇危機意外爆發和升級的風險。
另外，即使自主武器在“主觀”上並不想與人類爲敵，但因爲受控於計算機軟件，就一定有出錯的可能。如在2007年10月，美軍第3機步師下屬部隊攜帶3臺“利劍”機器人進攻一個反美武裝據點，由於沒有及時更新軟件，其中1臺“利劍”竟把槍口對準美軍操作人員，即便在操作人員發出“行動取消”的指令後，失控的“利劍”依然不聽指揮，直到另一名美軍上尉用火箭筒把它炸翻才化險爲夷。而同樣是2007年10月美軍在南非舉行的一場軍事演習中，具有高度自主性的防空系統突然出現故障，從而導致美軍參演防空火炮整體失控，即便該防空系統的操控員多次嘗試關閉火炮自動發射裝置，但由於火炮已經被計算機系統接管而造成關閉指令失效，只能等待防空火炮系統中裝彈機內的炮彈自行發射完畢，該意外事故也造成美軍多名參演官兵死傷。
正是鑑於以上自主武器的潛在風險，2018年7月，超過2400名AI領域科學家發表 《致命性自主武器系統宣言》，承諾“將不參與也不支持致命性自動武器的開發、製造、貿易或使用”，並呼籲各國政府和政府領導人“利用強大的國際規範、法規和法律打擊致命性自動武器”。
本文開頭提到的“卡古-2”無人機由土耳其研製，是“卡古”無人機的升級版。“卡古-2”重約6.8千克，最高時速約145公里，續航時間約30分鐘，可攜帶1.36千克重的武器，還擁有面部識別能力，可以尋找特定的個人。而當被設定爲“高效的自主模式”時，無需操作員的指令，“卡古-2”就可瞄準目標自爆。此次聯合國專家在報告中指出，這是一次真正的“發射後不管”，也是第一次在利比亞發現使用這種無人機，這違反了聯合國第1970號決議第9條。 “卡古-2”在利比亞的表現打開了機器自主向人類攻擊的“魔盒”，各方對此必須予以高度重視。