近九千人齊聚 NeurIPS 2018，四篇最佳論文，十大研究領域，1010 篇論文被接收

　　2018-12-04 09:55開發/科技/公司

　　

　　AI 科技評論消息：NeurIPS 2018 於 12 月 3 日—12 月 8 日在加拿大蒙特利爾會展中心（Palais des Congrès de Montréal）舉辦，今年共計有 9 場 Tutorial 、7 場主題 Talk 和 41 場 Workshop，相較去年來說，不管是主題活動，還是投稿論文，亦或是參會人數，都上了一層新的台階。

　　在大會第一天的下午的開幕式環節，最佳論文獎、時間檢驗獎等諸多獎項一併揭曉，大會主席也向在場觀眾透露了今年論文的熱點分佈，會議新的亮點以及一系列數據。

　　

　　隨著會議的影響和規模越來越大，今年創造性地開設了展覽日，吸引了將近 32 家公司，設立了 15 場演講和圓桌，17 篇 demo 展示和 10 場 workshop。

　　今年共有 9 場 tutorial，其中有 5 場由組委會邀請。組委會共接收 36 個 tutorial 舉辦申請，最後通過 4 場。workshop 申請上，共收到 118 份報名，最終通過 39 份。競賽申請上，共收到 21 份申請，最終通過 8 個。

　　組委會今年特別提及了到四場 workshop，分別是 WiML，Black in AI，LatinX in AI，Queer in AI，宣揚反對歧視和偏見。

　　

　　組委會表示，我們需要意識到人是複雜的動物，要能看到其他人的觀點，切身體會到被當做局外人的感受，要多聽、多做研究、多學習，不斷努力，表明自己的觀點和態度。

　　

　　為了將會議辦好，組委會在今年也做出了很多努力，如設立 advisory board, inclusion survey ，邀請 D&I 講者，在 Twitter 上提供小貼士等。

　　

　　會議上，也特別提到簽證問題，此次有超過一半的參會黑人簽證被拒。他們表示，接下來將會早一點發出邀請函，未來在會議主辦地的選擇上也會注意。

　　

　　今年組委會共審閱 4854 篇論文，接收論文 1010 篇，接收率與去年一致，均為 21%。可以看到，從 2015 年開始，NeurIPS 的投稿論文迎來爆髮式增長。

　　

　　組委會今年統計出十大熱點領域，分別是：

　　Algorithms

　　Deep Learning

　　Applications

　　RL&Planning

　　Prob. Methods

　　Theory

　　Optimization

　　Neuro.&Cog.Sci.

　　Data, etc

　　Other

　　

　　在論文分佈上，共接收 30 篇 oral 論文，168 篇 spotlight 論文，812 篇 poster 論文。其中，有 44% 的接收論文提供了代碼或數據，有 56% 的論文已經在網上公布。

　　今年共有四篇最佳論文獎，一篇時間檢驗獎，值得一提的是，曾獲得KDD CUP 2012 Track 1 第一名，並開發了 SVDFeature，XGBoost，cxxnet 等著名機器學習工具陳天奇榜上有名。

　　最佳論文獎

　　

　　Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes

　　利用樣本壓縮方案學習高斯混合的近似緊樣本複雜度界

　　作者：Hassan Ashtiani，Shai Ben-David，Nicholas Harvey，Christopher Liaw，Abbas Mehrabian，Yaniv Plan

　　我們證明了 (k d^2/ε^2) 樣本對於學習 R^d 中 k 個高斯的混合，直至總變差距離中的誤差 ε 來說，是充分必要條件。這改善了已知的上界和下界這一問題。對於軸對準高斯混合，我們證明了 O(k d/ε^2) 樣本匹配一個已知的下界是足夠的。上限是基於樣本壓縮概念的分佈學習新技術。任何允許這種樣本壓縮方案的分佈類都可以用很少的樣本來學習。此外，如果一類分佈具有這樣的壓縮方案，那麼這些產品和混合物的類也是如此。我們主要結果的核心是證明了 R^d 中的高斯類能有效的進行樣本壓縮。

　　

　　Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

　　網路中非光滑分佈優化的優化演演算法

　　作者：Kevin Scaman, Francis Bach, Sébastien Bubeck, Yin Tat Lee, Laurent Massoulié

　　在本文中，我們考慮使用計算單元網路的非光滑凸函數的分散式優化。我們在兩個正則性假設下研究這個問題：（1）全局目標函數的 Lipschitz 連續性，（2）局部個體函數的 Lipschitz 連續性。在局部正則性假設下，本文給出了稱為多步原對偶（MSPD）的一階最優分散演演算法及其相應的最優收斂速度。這個結果的一個顯著特點是，對於非光滑函數，當誤差的主要項在 O(1/t) 中時，通信網路的結構僅影響 O(1/t) 中的二階項，其中 t 是時間。換言之，即使在非強凸目標函數的情況下，由於通信資源的限制而導致的誤差也以快速率減小。在全局正則性假設下，基於目標函數的局部平滑，給出了一種簡單而有效的分散式隨機平滑（DRS）演演算法，並證明了 DRS 在最優收斂速度的 d1/4 乘因子內，其中 d 為底層。

　　

　　Neural Ordinary Differential Equations

　　神經常微分方程

　　作者：Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud

　　

我們引入了一種新的深度神經網路模型。我們使用神經網路參數化隱藏狀態的導數，來代替指定隱藏層的離散序列。網路的輸出是使用黑箱微分方程求解器計算的。這些連續深度模型具有恆定的存儲器成本，使它們的評估策略適應於每個輸入，並且可以顯式地以數值精度換取速度。我們在連續深度殘差網路和連續時間潛變數模型中證明了這些性質。我們還構造了連續歸一化流，這是一種生成模型，可以通過最大似然度進行訓練，而不需要對數據維度進行劃分或排序。對於訓練，我們將展示如何通過任何 ODE 求解器可擴展地反向傳播，而無需訪問其內部操作。這允許較大模型中的 ODES 進行端到端的訓練。

　　

　　Non-delusional Q-learning and value-iteration

　　「Non-delusional」Q 學習和價值迭代

　　作者：Tyler Lu，Dale Schuurmans，Craig Boutilier

　　我們用函數逼近法確定了 Q-學習和其他形式的動態規劃中誤差的根本來源。當近似結構限制了可表達的貪婪策略的類別時，就會產生偏差。由於標準 Q-updates 對可表達的策略類做出了全局不協調的動作選擇，因此可能導致不一致甚至衝突的 Q 值估計，從而導致病態行為，例如過度/低估、不穩定甚至發散。為了解決這個問題，我們引入了策略一致性的新概念，並定義了一個本地備份流程，通過使用信息集，也就是記錄與備份 Q 值一致的策略約束集，來確保全局一致性。我們證明了使用這種備份的基於模型和無模型的演演算法都能消除妄想偏差，從而產生第一種已知演演算法，保證在一般條件下的最優結果。此外，這些演演算法只需要多項式的一些信息集（的潛在指數支持）。最後，我們建議使用其他實用的啟髮式價值迭代和 Q 學習方法去嘗試減少妄想偏差。

　　時間檢驗獎

　　

　　The Tradeoffs of Large Scale Learning

　　權衡大規模學習

　　作者：Léon Bottou，Olivier Bousquet

　　這篇文章建立了一個理論框架，在學習演演算法中考慮了近似優化的影響。分析表明，對於小規模和大規模學習問題來說，近似最優化演演算法的 tradeoff 是不相同的。小規模的學習問題服從於常規的近似估計。大規模學習系統還受限於底層優化演演算法的非平凡方式的計算複雜性。

　　會議重頭戲就此結束，接下來，將是一系列有意思的 workshop 和對所有論文的展示，雷鋒網 AI 科技評論也將為大家持續帶來相關報導。

　　特此感謝第四範式塗威威供圖