2018 年 Top 10 影響力 AI 研究論文

　　2019-01-06 21:45設計/開發/技術

　　AI 科技評論按：Topbots 總結了他們眼中 2018 年裡 10 篇最為重要的 AI 研究論文，帶領大家領略過去的一年中機器學習領域的關鍵進展。現在點開了這份清單的人顯然是極為幸運的，獲得了一個精彩瞬間回放的機會。

　　不得不說，考慮到這個領域極快的發展速度和極多的論文數量，肯定還有一些值得閱讀的突破性論文沒能包括在這份榜單中。不過這份清單是一個好的開始。

　　1. Universal Language Model Fine-tuning for Text Classification

　　「用於文本分類的通用語言模型的精細調節」

　　論文地址

　　https://arxiv.org/abs/1801.06146

　　內容概要

　　兩位作者 Jeremy Howard 和 Sebastian Ruder 提出了可以用預訓練的模型解決多種 NLP 任務的想法。通過這種方法，研究人員不需要為自己的任務從零開始訓練模型，只需要對已有的模型做精細調節。他們的方法，通用語言模型精細調節 ULMFiT ，得到了當時最好的結果，比其他模型的錯誤率降低了 18% 到 24%。更令人欽佩的是，ULMFiT 只用了 100 個有標籤樣本得到的結果就可以和用 10K 有標籤數據從零開始訓練的模型一樣好。

　　論文思想要點

　　為了應對缺乏標註數據的問題，以及讓 NLP 分類任務更輕鬆、更省時，他們提出了把遷移學慣用在 NLP 問題中。這樣，研究人員們不再需要從零開始訓練新模型，只需要找到一個已經在相似的任務上訓練完畢的模型作為基礎，然後為新的具體問題微調這個模型即可。

　　然而，為了讓這樣的做法發揮出理想的效果，這個微調過程有幾個細節需要注意：

　　網路中不同的層應該為不同的內容進行微調，因為它們捕捉的信息的類別也是有所不同的；

　　把模型參數向新的具體任務適配時，讓學習率先線性增加，再線性衰減，學習的效率會比較高；

　　一次微調所有的層會帶來災難性的遺忘問題。所以，比較好的做法是一開始只更新最後一層的參數，然後逐步讓前面的層也參與到微調中來。

　　領域內學者評價

　　可以輕易得到的預訓練 ImageNet 模型已經給整個計算機視覺界帶來了巨大的改變。ULMFiT 也可以在 NLP 任務中起到同樣的重要作用；

　　這種方法可以用於任意語言上的任意 NLP 任務。全世界的研究人員們已經在德語、波蘭語、海地語、印度尼西亞語、中文、馬來語等許多語言上進行了嘗試，同樣得到了大幅進步的結果。

　　未來可能的相關研究

　　繼續改善語言模型預訓練以及精細調節；

　　把這種方法用於其它新的任務以及模型上（比如序列標註，自然語言生成，概括或者問答）。

　　AI 科技評論詳解文章

　　ImageNet 帶來的預訓練模型之風，馬上要吹進 NLP 領域了

　　2. Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

　　「模糊梯度防禦帶來的只是安全的假象：繞過對抗性樣本的防禦」

　　

　　論文地址

　　https://arxiv.org/abs/1802.00420

　　內容概要

　　研究人員們發現，對於對抗性樣本的防禦，目前主要使用的是梯度模糊方法，但這種方法並不能帶來真正的安全，因為它可以被輕鬆規避。這篇論文了研究了三種使用了梯度模糊的防禦方法，並展示了可以繞過梯度模糊防禦的技巧。他們的發現可以幫助目前使用了梯度模糊防禦的組織機構考慮如何強化自己的方法。

　　論文思想要點

　　目前有三種常見的梯度模糊做法：

　　梯度破碎（shattered gradients），防禦方法會有意地（通過不可微的運算）或者無意地（通過數值的不穩定性）提供不正確的梯度，或者不提供梯度；

　　通過隨機防禦提供隨機梯度；

　　通過非常深的深度神經網路評估帶來消失梯度/爆炸梯度。

　　基於梯度的方法有一些問題，我們可以看到下面這些跡象：

　　一步式的攻擊比迭代式的攻擊效果更好；

　　黑盒攻擊比白盒攻擊的效果更好；

　　無限制攻擊也無法達到 100% 成功率；

　　隨機採樣也可以找到對抗性樣本；

　　提高圖像扭曲的容忍度並不能提高攻擊成功率。

　　論文的關鍵成果是，通過實驗表明如今使用的大多數防禦技術都還很脆弱。ICLR 2018 接收論文中的 9 種防禦技術中，有 7 種都使用了梯度模糊，而論文作者們提出的新攻擊方法可以完全繞過 7 種中的 6 種防禦，並部分繞過最後 1 種。

　　領域內學者評價

　　這篇論文獲得了 ICML 2018 的最佳論文獎；

　　這篇論文清晰地展示出了我們現有技術的優點和缺點

　　未來可能的相關研究

　　我們需要考慮在細緻、全面的評價方式下構建新的防禦技術，目標是不僅能夠防禦現有的攻擊方式，還要能夠防禦以後有可能開發出的新的防禦方式。

　　3. Deep Contextualized Word Representations

　　「深度上下文依賴的單詞表徵」

　　論文地址

　　https://arxiv.org/abs/1802.05365

　　內容概要

　　來自艾倫人工智慧研究院（Allen Institute for Artificial Intelligence）的作者們介紹了一種新型的深度上下文依賴單詞表徵： Embeddings from Language Models (ELMo)。在使用了 ELMo 強化的模型中，每個單詞的向量化都是基於它所在的整篇文本而進行的。把 ELMo 添加到現有的 NLP 系統中可以帶來的效果有：1，錯誤率相對下降 6% 到 20%；2，訓練模型所需的 epoch 數目顯著降低；3，訓練模型達到基準模型表現時所需的訓練數據量顯著減小

　　論文思想要點

　　在很大的文本語料庫上預訓練一個深度雙向語言模型（biLM），用它生成單詞嵌入，這些嵌入來自這個模型的內部狀態的加權和；

　　嵌入中包括了 biLM 的所有層的表徵，因為網路中不同的層表徵了不同類型的信息；

　　ELMo 的表徵被設計為基於字元的，這樣網路還可以利用單詞拼寫的信息，更好地理解訓練中未曾見過的超出辭彙表的單詞的意思。

　　領域內學者評價

　　這篇論文獲得了 NAACL 的傑出論文獎；

　　這篇論文提出的方法也被認為是近幾年來 NLP 領域最大的突破之一。

　　未來可能的相關研究

　　可以把這種方法集成到特定任務中，方式是把 ELMo 和不依賴上下文的單詞嵌入級聯起來；

　　也可以嘗試把 ELMo 和模型輸出級聯起來。4. An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

　　「一般卷積網路和循環網路用語序列建模的實證評價研究」

　　論文地址

　　https://arxiv.org/abs/1803.01271

　　內容概要

　　領域內有種常見的假設：對於序列建模問題來說，選擇一個循環網路架構作為出發點是默認的做法。這篇論文的作者們就對這種假設提出了質疑。他們的結果表明，一般的時序卷積網路（TCN）能在許多種不同的序列建模任務中穩定地超出 LSTM 以及 GRU 之類的典型的循環神經網路。

　　論文思想要點

　　在近期發現的最佳實踐做法（比如空洞卷積和殘差連接）的幫助下設計出的時序卷積網路（Temporal convolutional networks）可以許多複雜的序列建模任務中發揮出超過一般循環網路架構的表現；

　　TCN 表現出的記憶能力比循環網路明顯更長，也就更適合那些需要很長的歷史記錄的序列建模任務。

　　領域內學者評價

　　特斯拉 AI 總監 Andrej Karpathy 評論：「在用 RNN 之前一定要先試試 CNN。CNN 的表現會好到你驚訝的。」

　　未來可能的相關研究

　　為了在不同的序列建模任務上進一步提高 TCN 的表現，我們還需要更多的架構探索、演演算法探索方面的合作。

　　5. Delayed Impact of Fair Machine Learning

　　「公平的機器學習的影響是有延遲的」

　　論文地址

　　https://arxiv.org/abs/1803.04383

　　內容概要

　　這篇論文的目標是想要確保，當使用一個機器學習演演算法生成分數來決定不同的人是否能夠得到某些機會（比如貸款、獎學金、工作等）時，人口統計學角度分出的不同族群可以被公平地對待。UC 伯克利人工智慧實驗室（BAIR）的研究人員們表明，使用常見的公平性條件實際上有可能傷害到弱勢群體，這是由於某些後果的出現是有延遲的。通過這項研究他們希望鼓勵大家在設計公平的機器學習系統時考慮它的長期後果。

　　論文思想要點

　　作者們考慮了施加公平性條件之後出現的有延遲的結果，結果表明，這些條件對於想要保護的群體來說可能長期看來是有害的（比如借款人的信用分數長期來看會變低，因為他會還不上貸款，而這筆貸款在無限制的條件下其實一開始就不會發放給他）；

　　由於公平性條件有可能會主動地給弱勢群體帶來傷害，可以考慮一些額外的解決方案，比如使用一個會顯式地最大化結果的決策規則，或者使用一個結果模型。

　　領域內學者評價

　　這篇論文獲得了 ICML 2018 的最佳論文獎；

　　這項研究澄清了一個誤區：即便是好的出發點的區別對待也有可能會起到壞的效果。

　　未來可能的相關研究

　　對於結果評價的考量，可以考慮群體均值變化之外的其它因素（比如方差、個體級別的結果）；

　　針對建模和測量誤差，研究結果優化方法的魯棒性。6. World Models

　　「世界模型」

　　

　　論文地址

　　https://arxiv.org/abs/1803.10122

　　內容概要

　　David Ha 和 Jurgen Schmidhuber 開發了一個世界模型，它可以用無監督的方式快速訓練，學到所處環境的空間和時間表示。這個智能體可以成功地在賽車地圖中導航，並且在 VizDoom 環境中躲開怪物發射的火球。而這些任務對於此前的方法來說都難以解決。

　　論文思想要點

　　論文所提的解決方案包含三個獨立的部分：

　　一個變分自動編碼器（VAE），它負責捕捉視覺信息。它會把 RGB 形式表示的輸入圖像壓縮為一個服從 高斯分佈的 32 維隱含向量。這樣，這個智能體只需要處理一個環境的很小的表示，從而大幅提高了學習效率。

　　一個循環神經網路（RNN），它負責前饋思考。這是一個起到記憶作用的組件，它會在給定前一幀圖像和前一個動作的條件下嘗試預測視覺部分看到的下一幀圖像可能是什麼樣子。

　　一個控制器，它負責選擇動作。它是一個非常簡單的神經網路，它把 VAE 的輸出和 RNN 的隱含狀態級聯起來，然後選擇一個好的動作。

　　領域內學者評價

　　這篇論文在 AI 研究者間得到了廣泛的討論，它是一項設計優美的使用神經網路做強化學習的研究，而且讓智能體在自己「幻想」出的世界中進行訓練。

　　未來可能的相關研究

　　為了讓智能體探索更加複雜的世界，可以把小的 RNN 換成有更大容量的模型，或者集成一個外部存儲模塊。

　　論文中使用的規劃方法是逐時間步的，可以考慮嘗試更通用化的方法，也就可以使用層次化的規劃方法。

　　AI 科技評論詳解文章

　　智能體的白日夢，谷歌大腦又出來PR文了？

　　7. Taskonomy: Disentangling Task Transfer Learning

　　「任務學：任務遷移學習的解耦」

　　

　　論文地址

　　https://arxiv.org/abs/1804.08328

　　內容概要

　　自從現代計算機科學發展的早期以來，就有許多研究者們提出不同的視覺任務之間具有某種結構。現在，Amir Zamir 和他的團隊終於做出了尋找這種結構的嘗試。他們使用一個完全計算性的方式進行建模，發現了不同視覺任務之間的許多有用的聯繫（甚至包括一些非平凡的視覺任務）。他們也表明了可以利用這些相互依賴關係進行遷移學習，只需要大約 1/3 的標註數據就可以達到相同的模型表現。

　　論文思想要點

　　一個了解不同視覺任務之間關係的模型需要的監督可以更少，需要的計算量可以更小，而且它的行為也更容易預測。

　　人們更喜歡用這樣的完全計算性的方法發現不同視覺任務之間的關係，因為它可以避免引入人類的先驗假設。人類的先驗假設來自於直覺或者分析性的知識；這些假設完全可能是錯誤的，而神經網路可能是以完全不同的法則運行的。

　　領域內學者評價

　　這篇論文獲得了 CVPR 2018 最佳論文獎；

　　論文的結果意義重大，因為大多數的真實世界任務中都沒辦法獲得大規模標註數據集。

　　未來可能的相關研究

       目前論文中研究的常見視覺任務都是完全由人類定義的，下一步可以嘗試新的模式，那就是首先用計算性的方法發掘一些隱含的子任務，而人類定義的視覺任務就是對它們觀察后得到的採樣；

　　探索是否有可能把模型學到的東西遷移到不完全屬於視覺領域的任務中，比如遷移到機器人控制。

　　AI 科技評論詳解文章

　　CVPR18最佳論文演講：研究任務之間的聯繫才是做遷移學習的正確姿勢

　　8. Know What You Don't Know: Unanswerable Questions for SQuAD

　　「知道你不知道什麼：SQuAD 中無法回答的問題」

　　論文地址

　　https://arxiv.org/abs/1806.03822

　　內容概要

　　斯坦福大學的一組研究人員們拓展了著名的斯坦福問答數據集 SQuAD，在其中增加了超過 5 萬個無法回答的問題。這些問題的答案是無法從給出的文本段落中找到的，無法給出回答，但這些問題又和那些可以回答的問題看起來非常相似。更進一步的是，給出的文本段落中會含有彷彿相符但實際上並不正確的答案，這進一步提高了數據集的難度。升級后得到的 SQuAD 2.0 也就成為了現有頂尖模型的重大挑戰：一個在原版的 SQuAD 上可以得到 86% 準確率的強有力的神經網路模型，如今在 SQuAD 2.0 上只能得到 66% 的準確率。

　　論文思想要點

　　目前的自然語言理解系統與真正的語言理解還相距甚遠，其中一項根本原因就是目前的問答數據集都是僅僅針對「給出的文本段落里必然包含了正確答案」這一種情況設計的；

　　為了讓問答數據集變得真正有難度，「無法回答的問題」應當滿足這兩種條件：

　　它們和給出的文本段落之間有一些聯繫；

　　給出的文本段落中包含了看起來彷彿相符的答案，它包含的信息和提問想要獲得的信息是同一類型的，但並不正確。

　　領域內學者評價

　　這篇論文獲得了 ACL 2018 最佳短論文獎；

　　這個新數據集提高了自然語言理解領域研究的問題的複雜度，會為這個領域的模型訓練結果提升起到直接的推動作用。

　　未來可能的相關研究

　　未來可以繼續開發出新種類的模型，它們要能夠「知道自己不知道什麼」，從而對自然語言有更好的理解。

　　9. Large Scale GAN Training for High Fidelity Natural Image Synthesis

　　「用於高保真度自然圖像生成的大規模 GAN 的訓練」

　　

　　論文地址

　　https://arxiv.org/abs/1809.11096

　　內容概要

　　DeepMind 的一個研究團隊認為目前的深度學習技術就已經足以從現有的 ImageNet、JFT-300M 之類的圖形數據集生成高解析度的、多樣化的圖像。具體來說，他們展示了生成式對抗性網路（GANs）如果以非常大的規模訓練的話，可以生成看起來非常真實的圖像。這個「非常大的規模」有多大呢？相比於以往的實驗，他們的模型的參數數量是 2 到 4 倍，訓練所用的批量大小也達到了 8 倍。這種大規模的 GANs，他們稱為 BigGANs，已經稱為了分類別圖像生成的最新頂級模型。

　　論文思想要點

　　選取更大的批量大小和參數數目以後，GANs 的表現可以得到明顯的提升；

　　在生成器中加入正交正則化可以讓模型對某種特定的技術更為敏感（就是「截斷法」），這讓研究人員們有辦法控制樣本保真度和樣本多變性之間的平衡。

　　領域內學者評價

　　這篇論文已經投遞到了 ICLR 2019；

　　BigGAN 的生成器自從在 TF Hub 上發布就受到了全世界 AI 研究人員們的追捧，（研究以及娛樂性質地）用它生成貓狗、手錶、泳裝、蒙娜麗莎、海岸等等各種內容的圖像。

　　未來可能的相關研究

　　嘗試用更大的數據集訓練模型，進一步緩和 GAN 的穩定性問題；

　　探索是否有可能降低 GANs 生成的奇怪樣本的數量。10. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

　　「BERT：用於語言理解的深度雙向 Transformer 模型的預訓練」

　　論文地址

　　https://arxiv.org/abs/1810.04805

　　內容概要

　　谷歌 AI 團隊展示了一個新的用於自然語言處理的前沿模型：BERT（Bidirectional Encoder Representations from Transformers，用於 Transformer 模型的雙向編碼器表徵）。它的設計可以讓模型同時從左以及從右處理文本內容。雖然概念上說起來很簡單，但 BERT 帶來了驚人的實際表現，它刷新了 11 項不同的自然語言處理任務的最好成績，包括問答、命名實體識別以及其他一些和通用語言理解相關的任務。

　　論文思想要點

　　訓練一個深度雙向模型，在訓練過程中隨機地遮蔽一定比例的輸入字元。這種做法避免了在不同的訓練循環中模型可以間接地看到曾經被掩蔽的字元。

　　同時也預訓練了一個句子關係模型，這個模型需要做一個二分類任務，預測句子 B 是否緊接著句子 A。這種設計讓 BERT 能夠更好地理解不同句子之間的關係。

　　用大量的數據（33 億詞的語料庫）訓練一個非常大的模型（24 個 Transformer 模塊，1024 個隱層，3.4 億個參數）。

　　領域內學者評價

　　BERT 模型標誌了 NLP 領域內一個新時代的到來；

　　簡單來說，僅僅需要同時做兩個無監督學習任務（「單詞填空」和「猜 B 是不是在 A 後面」）就可以在許多自然語言處理任務中取得良好成績；

　　使用經過預訓練的語言模型也成為了新的標準做法。

　　未來可能的相關研究

　　在更多不同的任務上測試 BERT；

　　測試 BERT 模型是否捕捉到了各種各樣的語言現象。

　　AI 科技評論介紹 BERT 開源代碼的文章

　　如期而至！谷歌開源 BERT 模型源代碼