殺人機器人走向戰場？

　　讓－保羅·德拉艾 環球科學ScientificAmerican

　　為武裝到牙齒的自主機器人編寫程序，讓它們遵守道德準則是否可行？作家艾薩克· 阿西莫夫在1942年提出的機器人定律現在成了炙手可熱的話題。

　　撰文 讓－保羅 · 德拉艾（Jean-Paul Delahaye）

　　翻譯 徐寒易

　　

　　2029年，人類和智能機器人之間的一場大戰打響：機器人「終結者」被派到過去，奉命殺死約翰·康納（John Connor）的母親莎拉·康納（Sarah Connor）——這是由詹姆斯·卡梅隆（James Cameron）於1984年創作的5部系列電影的序曲。科幻文學的創作者並沒有料想到，如今的科技已經發展到可以製造出這樣的機器人：它們一旦被授予使命后，會自發地做出殺人甚至暴動的決定。

　　這些機器人殺手在國際軍備討論中有一個恰如其分的名字：LAWS（Lethal Autonomous Weapons Systems，致命性自主武器系統）。這種機器人已經登上了歷史的舞台，將它們帶到戰場上會引起各種各樣的爭議：如何定義這些機器人？它們到底能做什麼？更不用說與人類士兵一同出現在戰場時所造成的倫理問題。

　　從1942年開始，著名的美籍俄羅斯裔科幻作家艾薩克·阿西莫夫在《驚奇科幻小說》（Astounding Science Fiction）上提出了機器人的倫理問題。今天，阿西莫夫被世人視為機械倫理學（roboethics）之父。這門哲學學科催生了許多相關的研討會和無數的書籍，在美國尤其如此。阿西莫夫在1942年出版的小說《轉圈圈》（Runaround）中描述了機器人三定律。他提出，所有的機器人程序都必須考慮到這三條定律，目的是為了約束這些自主機器的行為，讓它們服從以保護人類為目的的強制性道德準則。

　　機器人定律

　　第一定律：機器人不得傷害人類，或坐視人類受到傷害；

　　第二定律：除非違背第一法則，否則機器人必須服從人類的命令；

　　第三定律：在不違背第一及第二法則下，機器人必須保護自己。

　　此後，阿西莫夫又添加了一條定律：

　　第零定律：機器人不得傷害人類族群，或因不作為使人類族群受到傷害。

　　遵守這些定律時引發的困局是阿西莫夫所著的500本書籍的主題。他嚴肅地思考了這些定律的意義，並想象了這些定律被採納時發生的情形。有這樣一段軼事，當斯坦利·庫布里克（Stanley Kubrick）的電影《2001：太空漫遊》（2001: A Space Odyssey）放映時，阿西莫夫氣沖沖地衝出了影院，因為電腦HAL 9000違反了他制定的第一定律：HAL殺害了「發現者」1號飛船（Discovery One）的船員。 然而時至今日，阿西莫夫關於機械倫理的設想並未如願：如今的機器人並沒有安裝強制它們服從機器人定律的機制或指令。為什麼會這樣呢？

　　無法服從機器人定律

　　現在的機器人擁有的功能和人們當初設想的不太一樣。科技並沒有讓我們憑空創造出和自己一樣的東西，我們並不能像對待奴隸或傭人那樣命令並指使它們。機器人以及智能系統的產生並不是一蹴而就，因為科技總是沿著意想不到的方向前進。這樣一來，如何準確區分機器人和智能系統就變得十分棘手。

　　駕駛飛機平安降落的自主系統能否稱為機器人？它是否具有智能？我們很容易得出否定的答案。這個自主系統操作飛機的能力和人類飛行員一樣好，而且對自己的具體方位了如指掌（因此它具有自我意識的雛形），所以才能讓飛機準確降落。雖然它的功能很有限（不會讀書，也不會預訂賓館，更不懂得電影鑒賞），但是在降落飛機這件棘手且人命關天的任務上，它和人類相比毫不遜色。

　　互聯網搜索引擎所使用的演算法能夠從海量數據中提取出關鍵信息，並向用戶推薦可能感興趣的網頁，這是任何人類都無法做到的。然而，有些人依然會吹毛求疵，認為這些演算法不夠聰明。這種看法有失偏頗，因為這些程序只是專註於特定的任務，不能認為它們就是愚蠢的。

　　現代社會中廣泛使用的機器人的工作非常專業化，它們不具備與人類用通俗語言交流的能力。我們無法要求它們遵守阿西莫夫的機器人定律，是因為它們完全不能理解這些定律的意義。如果想要應用機器人定律，智能系統必須具備邏輯分析和推理能力，並且能夠預測行為所導致的後果，以判斷人類下達的指令是否和任何一條定律相悖。但目前，沒有機器人可以進行這樣的分析。

　　美國iRobot公司的創始人羅德尼·布魯克斯（Rodney Brooks）曾就上述問題直白地表達了自己的觀點。iRobot是一家設計、製造和銷售機器人的公司。該公司製造的PackBot機器人大量用於福島核電站和阿富汗。媒體採訪他時，問起iRobot生產的機器人為何沒有設置為自動服從阿西莫夫定律，他回答道，「理由很簡單，我們根本沒法把阿西莫夫的定律寫入它們的系統中。」雖然未來的智能系統可能會隨著科技的進步而發展出智力，並且智能系統中負責自主抉擇的組件也會獲得性能提升，但這種機器智力和人類仍然不可同日而語。也就是說，科幻作家當初讓機器人理解和服從阿西莫夫定律的希望，現在已經變成了一件異想天開的事。但是，我們現在討論機械倫理問題並非多此一舉。因為在自動駕駛領域，相關研發已經進行了許多年，多家公司設計的性能穩定的產品也將進入市場，因此討論機械倫理問題的時機已經成熟。

　　機器人的道德問題

　　設想下這樣一個場景：一輛高速行駛中的無人駕駛汽車前方，出現了一個追逐皮球而橫穿馬路的孩子，而逆向車道上有一個騎著自行車的成年人。此時，自動駕駛系統經過分析會得出兩種選擇：一是減速但是維持前進方向不變，這樣就可能撞到孩子；二是減速並向左轉向，而這又會威脅到騎行者的安全。自動駕駛系統應該如何抉擇？撞向孩子還是成年人？

　　經常有媒體表示，自動駕駛汽車可媲美人類司機，這也是一些汽車製造商在標榜安全性時提到的新賣點。這種觀點受眾範圍很廣，讓我們很難在未來禁止自動駕駛汽車。在理想的情況下，它們的反應和決策能力都是無可挑剔的：它們能夠根據預設的程序進行決策，選擇挽救追皮球的孩子，還是騎自行車的人。

　　那麼應由誰來制定機器人的道德規則？又該如何制定這種道德規則？要回答這些問題並不容易，但是不可避而不談。如一些研究者證明的那樣，在邏輯學家看來，有些道德問題的邏輯過於複雜甚至是不可判定的。

　　現在的機器人沒有被預裝阿西莫夫定律的另一個原因是： 我們製造某些機器人的目的就是為了殺戮。這已經變成了一個嚴重的問題，值得我們思考和討論。

　　人類製造用來殺戮同類的機器人已經有數十年的時間，而且只要「機器人」、「自主性」和「殺戮」這個三個特性一同出現，情況就變得十分棘手。拿埋在道路上的地雷為例子，我們可以說它具有自主性，因為當它「覺察」到四周出現物體時會「決定」爆炸，而這個決定並不需要人類的許可。許多導彈和炸彈起爆的唯一條件是，它們敏感的引信裝置覺察到自己將要和目標或者地面發生接觸。那些一旦發射就無法改變目標的導彈的情況就更加微妙了。第二次世界大戰時，德國發射過15 000枚V-1飛彈和4 000枚V-2導彈，這兩種導彈只能在發射前設置飛行路線，發射后就無法再做更改。幸好這兩種導彈的準頭都不太好，但依然給盟軍造成了不小的傷亡。

　　

　　美國在戰爭中使用的由人操控的攻擊型無人機已經引起了倫理方面的爭議。有些無人機可以在自動模式下開啟，這又引起了更多的道德問題。

　　有些導彈通過分析圖像的對比度（這種技術可以讓導彈跟蹤海面上的目標）或者跟蹤紅外線輻射，能夠自己確定目標並朝著目標前進。一些邊境監控系統能夠瞄準任何跨越禁區的目標並向其開火。部署在韓朝非武裝地帶的、由三星Techwin公司生產的監控和安全警衛機器人（Samsung SGR-A1）就是一個很好的例子。該系統由兩位操作員控制，但它具備一個自動攻擊模式。有些防空系統則具備無人值守模式，比如久經考驗的美國愛國者反導彈系統（Patriot），密集陣近程防禦系統（Phalanx）和以色列的鐵穹防禦系統（Iron Dome）等。

　　值得一提的是，美國在許多戰場上使用的無人機其實是遠程遙控的，通常情況下，它們在投放武器前會等待操作員給出明確的指令。經過媒體的轉播和報道，全世界都已經見識過這些機器殺手的效率，不過在執行對地打擊任務時，它們同樣造成了不小的間接傷害，奪取了許多無辜受害者的生命。一些無人機可以在自動模式下工作，自行決定是否開火，並不需要人類的干涉。

　　在聯合國於2013年發表的一份報告中，南非比勒陀利亞大學的法學教授克里斯托弗·海因斯（Christof Heyns）認為，自主殺人機器人已經在一些國家（如美國、英國、以色列、韓國等）的軍方實驗室誕生了，已經磨刀霍霍準備開始行動。毫無疑問，人類能夠創造並利用具有部分智力的自主軍事武器，把它們派遣到地面戰場上或空中去搜索敵人。無需人類許可，它們就能自己辨認並消滅目標。就算我們假定在戰鬥決策環中有人類存在，如果不對這些機器自主性的深層概念進行調整的話，它們還是可以撇開人類獨自執行任務。

　　我們要往何處去？

　　現在，我們需要回答的問題可被歸結成：我們是否真的希望在這條路上走下去？是否應該限制或者禁止使用自主殺人武器？

　　在為這些武器系統辯護的論據中，有兩條關鍵的理由。首先，現在採取任何措施都已太遲，這些系統已經存在。第二，這些機器人終有一日會變得更為精準，它們會更加尊重平民和交戰規則，而人類戰士在這兩個方面則不能完美地執行。換而言之，這些武器能夠讓戰爭和衝突變得更為「乾淨」。

　　第一條論據可以被輕鬆反駁。人類已經製造出了核武器、化學武器以及細菌武器，但這不能阻止各國簽訂國際條約來管理和禁止這些武器。這些協議的簽訂有效限制了上述武器的使用。對於殺傷性地雷和致盲激光武器，也有相關協議（其中一項協議已於1998年生效）進行約束。因此，各國政府可以協商一致，停止自主殺人機器人的研發。現在這個問題已被搬上了國際法庭討論，每個人都有權力採取行動來促進這類討論儘快得出結論。

　　第二條論據——殺人機器人可使戰爭變得更加「乾淨」——是無效的。實際上，這條論據等同於將「只攻擊敵人」、「不要攻擊平民」、「人不犯我，我不犯人」等道德準則強加給殺人機器人。然而，我們連怎樣將阿西莫夫的機器人定律寫入系統代碼都做不到，這些道德準則更是無從談起。

　　或許，當我們研發出具有更加先進的分析能力的機器人時，再重新考慮這個問題也不遲。但就目前而言，我們無法編寫出類似於阿西莫夫機器人定律的道德規範。總而言之，我們造出來的機器人需要有精確移動的能力，能夠向人類或非人類目標快速而準確地開火，但它們不能決定是否要開火，以及對誰投放出致命的火力。

　　反對自主殺人機器人的人還提出了其他論據。一封發表在2015年7月的公開信得到了2萬人左右的簽名，簽名者是人工智慧領域的專家以及其他對此話題頗為關切的人，其中包括著名物理學家斯蒂芬·霍金（Stephen Hawking）以及蘋果公司聯合創始人史蒂夫·沃茲尼亞克（Steve Wozniak）。這封公開信要求停止研發具有殺人能力的自主系統，並且表示這些系統可以被恐怖分子當作武器。

　　自主殺人機器人的問題比其他類型的武器（如核武器）更嚴重，因為自主殺人機器人的技術研發比較分散。機器人是由眾多程序和相對容易獲取的硬體製造而成的。但是，軟體易於複製和傳播，這與核武器完全不同。機器人技術領域的任何進步都有可能被最邪惡的恐怖分子盜取，用於大型黑幫活動等。

　　為了達成國際共識，首當其衝的是解決如何定義自主機器人的難題。自主機器人的定義是否真的比定義細菌武器或是化學武器更困難嗎？考慮到這一問題的緊迫性，我們應該率先就那些毫無爭議的案例達成一致。

　　禁用殺人機器人？

　　2015年4月13號到17號，瑞士日內瓦召開了一次關於致命性自主武器系統（LAWS）的非正式專家會議。會上，專家們討論了自動性（automaticity）和自主性（autonomy）之間的差別，以及「明顯的人類控制」（significant human control）的定義。在2014年的一次會議中，法國代表讓-雨果·西蒙·米歇爾（Jean-Hugues Simon Michel）主持了關於LAWS的討論，他在會後進行總結時說：「在熱烈的討論中，我們感受到了自主武器令人興奮的本質」，希望我們不止停留在膚淺討論的層面上。

　　在法國，2014年CERNA（Commission de réflexion sur l』éthique de la recherche en sciences et technologies du numérique d』Allistene，阿里斯滕數字科技研究倫理思考委員會）的一項關於機器人的報告對上述問題僅僅輕描淡寫地一筆帶過。不過，一些法國專家看起來意識到了這個問題。羅南·多阿雷（Ronan Doaré）和法國聖西爾科埃基當研究中心的一些法律和軍事專家最近發表了一本相關作品（見「擴展閱讀」）。

　　在國際上，雖然人權觀察組織（Human Rights Watch）軍事裝備部主任史蒂夫·谷斯（Steve Goose）建議儘快組織討論，以便各國共同禁止使用殺人機器人。但是，另一些人則認為谷斯的號召並不會引起多大的反響，仍有許多國家希望在不受干擾的情況下研究相關資料。

　　更糟糕的是，一些人認為，《國際人權法》可以作為相關討論的基本參考依據。而根據《國際人權法》，我們並不能禁止遵守該法的LAWS。這完全是痴人說夢，犯了和阿西莫夫一樣的錯誤。這些人以為我們可以對機器人說：「這些是你應當遵守的規定」。

　　在科幻小說和電影中總有一個主題反覆出現：機器人的起義。阿西莫夫可能就是考慮到了這點才設計出他的著名定律：機器人必須要順從聽話。雖然今天的機器人完全沒有造反的能力，但是未來的機器人可能引發叛亂是個有意義的話題。因為任何系統都有可能存在軟體上的漏洞。眾所周知，打造一套毫無差池的數字系統幾乎是不可能的。所以說，未來的某些機器人也會出現BUG，即使在遙遠的未來這一點也不會發生變化。

　　機器人的反叛

　　那麼，如何避免程序漏洞，使得殺人機器人不會攻擊人類？或許一行不巧被刪掉的代碼就能產生這樣的漏洞，我們是否可以把機器人的這種行徑視為反叛呢？這個問題和人類的追責機制類似。即使殺了人，瘋子也是不用負責任的。因此，需要定義什麼叫「機器人發瘋」。最為可能的情況是，機器人出現了軟體BUG，也可能是其他一連串的可能性。機器人反叛的真正問題首先在於如何定義反叛，而想要給出這項定義卻是困難重重。遠在一夥組織有序且決意奪取人類權力的機器兵團揭竿而起之前，我們可能已經遭遇了一系列錯綜複雜的情況，比如機器故障導致人身傷害或者死亡，甚至是涉及眾多人群的大規模災難。如何區分愚蠢的故障和有意為之的反叛呢？

　　美國康涅狄格大學的著名機器人倫理問題專家蘇珊·安德森（Susan Anderson）提出，機器人造反實際上可能是正當的。在她看來，道德學巨匠伊曼努爾·康德（Emmanuel Kant）就曾間接地討論過智能機器人的問題。她重新審視了阿西莫夫的機器人定律：如果「機器人」有能力理解並實踐機器人定律，那麼我們是否有權將這些定律強加於它們之上，並要求它們成為人類的奴隸呢？

　　蘇珊·安德森指出，按照康德的觀點，人類欠動物一份尊重，因為只有我們尊重它們，它們才會尊重我們。她認為依據同樣的道理，如果康德也曾思考過機器人的問題，他可能會支持這樣一種觀念：如果有一天能夠理解機器人定律的機器人真的出現了，那麼我們應當尊重它們，向它們強加機器人定律也就無從談起了。

　　這個觀點和卡耐基梅隆大學的機器人專家漢斯·莫拉維克（Hans Moravec）的想法頗為相似。他提出，機器人將成為人類的後裔，即使有一天它們取代了我們在地球上的位置，也應該經過了我們的許可，就像是老人將他的事業交給孩子們一樣。

　　科幻作品以輕鬆愉快的方式處理了這些與現在相距甚遠的問題，科學和哲學又迫使我們重新思考。我們亟需對目前已經出現的（殺人或不殺人）機器人進行公正的評估並採取相應的手段。這些繁複的評估任務包含了許多難解的倫理和哲學謎題，而其中一些迫切需要答案。哲學家、倫理學家、邏輯學家、軍方人士和軟體工程師應當展開討論並達成一致的意見。