Percy Liang：機器學習的可解釋性如此重要，我在努力，我們都需要努力

        2018-02-15 16:30操作系統/人類

　　雷鋒網 AI 科技評論按：近日，外媒 Future of Life 對人工智慧界知名研究者 Percy Liang 進行了採訪，介紹了他對機器學習的一些看法以及研究目標。雷鋒網 AI 科技評論全文翻譯如下。

　　

　　2017 年底，美國眾議院通過了《自動駕駛》法案，為自動駕駛汽車的監管建起了初步框架。實際上，在過去的 20 年間，自動駕駛汽車就已經在公共道路上進行著各種測試，而隨著這項法案的通過，以及自動駕駛技術安全性的持續提高，自動駕駛汽車未來也將在我們的日常生活中佔據更多的地位。其他醫療、法律、安全保護等領域的各種各樣的無人化技術也會慢慢普及開來。

　　為了人類未來可以和自動化的機器們和諧共處，學術研究者、企業開發者以及用戶都需要對這些依賴人工智慧的技術有足夠的信心。不只是自動駕駛汽車這樣明顯的案例需要人們的信心，安全保護設施以及手機里的虛擬個人助理，都使用了人工智慧，都需要人們的信心。

　　機器學習的可預測性

　　Percy Liang 是斯坦福大學計算機科學系的一名助理教授，他介紹道，人類的日常互動總需要一些可預測性，不管是對於其他的人類，還是對於汽車之類的自動化系統。創造這種可預測性的方法之一就是通過機器學習。

　　機器學習領域中，人們基於以往收集的數據創建人工智慧演演算法。開發者並不需要為 AI 明確地編寫代碼告訴它應該怎麼做、應該如何思考，而是由系統自己從數據中觀察、學習數據模式，然後根據數據做出符合數據模式的行動。整個過程和「試錯學習」有點像。

　　對於機器學習系統來說，人們在研究和開發測試中經常考慮的一個關鍵問題是，「為什麼系統做出了這個預測？」對研究和開發人員們來說，這被稱為「機器學習的可解釋性」。對於這為什麼是個重要的研究課題，Percy Liang 舉了個例子說明：「假設你正在過馬路，一輛車向著你開著過來。對於一般的人類司機，你心裡大概能猜到他會怎麼做。但是如果開這輛車的是 AI，人類要如何知道它會怎麼做呢？」

　　系統執行任務得到了好的結果固然重要，但是也許更重要的是能夠用簡單、好理解的話語解釋清楚它為什麼那樣做了。即便系統並不是很準確，它也需要能夠被解釋、被預測。為了能夠安全地大規模部署 AI，這些自動化系統必須是基於廣為理解的、實際的、經得起測試的基本假設和原理才行。

　　目前開發 AI 的理論指導都是讓 AI 能夠符合訓練數據中可觀測的輸出。然而在 Percy Liang 看來，這可能會導致「自動駕駛系統能在驗證測試中發揮出良好表現，但是並不理解在人類想要的輸出背後的人類價值判斷。」

　　進行許多的測試當然很重要。根據 Percy Liang 介紹，這種種模擬測試方法「都是很好的 debug 技巧，我們可以藉助它們更輕鬆地進行控制變數測試，而且也可以幫助我們更快地迭代系統。」

　　不過，要真正地知道某種技術是否有效，「必須在真實環境中測試，沒有什麼討巧的方法，」Percy Liang 說，「對語言、視覺、機器人技術來說都是這樣」。一輛自動駕駛汽車很有可能可以在所有測試環境中都表現良好，但是我們沒有什麼辦法可以準確預測它在無法預知的自然災害面前會做出什麼。

　　可解釋的機器學習系統

　　許多領域中，能取得最好表現的系統都是基於深度神經網路的，比如識別圖像和生成語音中深度神經網路都已經稱為了默認的方法，而這些方法當然也都是很複雜的。同時它們也被稱為「黑盒系統」，因為就算解釋系統的行為有那麼一些可性能，實際解釋起來也非常難。

　　Percy Liang 和他的團隊也在研究如何解釋這些模型，他們在嘗試研究某個具體的訓練場景是如何對模型的預測產生影響的。

　　從這個視角觀察模型已經變得越來越重要，因為 AI 在做的任務也越來越複雜，比如對於 AI 醫療給出的診斷結果，如何理解、如何解釋是真的「生死攸關」。「如果訓練數據中有不符合的，或者對抗性生成的數據，這就會影響到模型（損害模型），後果就是接下來針對新的輸入做出的預測可能是錯誤的。我們正在研究的影響函數（influence functions）可以讓我們準確地追蹤訓練數據中的單個點是如何對某個給定的新輸入的預測產生影響的。」Percy Liang 說。

　　簡單來說，通過理解一個模型是如何做出它自己的那些決定的，Percy Liang 和他的團隊希望可以改進模型運作的方式、找到新的科學技術，並且給最終用戶提供一些解釋，讓他們明白會對他們造成影響的行為是如何做出的。

　　Percy Liang 的研究的另一個目的是確保 AI 能夠理解自己的限制，而且能夠和人類溝通自己的限制。傳統上，測試 AI 系統的重要指標之一是平均準確率，但 Percy Liang 認為「對於 AI 的安全問題來說，這並不是一個多麼好的討論方式。畢竟，對於一個可靠性是 80% 的系統，人類到底應該怎麼做呢？」

　　Percy Liang 其實也沒打算追尋一個任何時候都能給出 100% 正確率的答案的系統。相比之下，他更希望的是，當系統對自己的答案不確定的時候，它能夠明確表示出來。如果用戶問系統：「我需要吃多少止疼葯？」相比給出一個可能造成危險的不準確的預測，系統直接回答「我不知道」可能會更好一點。

　　Percy Liang 和團隊針對這個問題提出的方法是嘗試沿著模型的學習演演算法追蹤模型的預測，一直反向追蹤到模型參數產生的源頭。他們希望這種方法——從訓練數據的視角審視模型——可以成為開發、理解、診斷機器學習的標準方法的一部分。他解釋道，這種方法可以聯繫到許多種不同的應用中，醫學、計算機科學、自然語言理解系統，以及各種各樣的商業數據分析應用。

　　「我覺得」，Percy Liang 總結說，「大家對於模擬測試起到的作用有一些混淆，有的人會完全迴避模擬測試，而有的人卻很喜歡在模擬測試中做完一切。也許我們需要改變整個研究文化，兩種做法其實需要共存。」

　　正如採訪中透露出的，Percy Liang 和他的團隊希望給新一代的機器學習演演算法設置一個新的框架，讓它們可以更可靠、更優雅地運行，當然也要帶來更少的風險。

　　via futureoflife.org，雷鋒網 AI 科技評論編譯