直播｜回顧Deep Learning三劍客的艱難歷程，30年的不悔堅持!

　　2017-12-12 00:00直播/人工智慧/技術

　　人工智慧的主流演演算法Deep Learning深度學習的歷史，堪稱Deep History, 也是深度學習三劍客Geoff Hinton, Yann LeCun 和Yoshua Bengio共同走過的30年艱難而輝煌的不悔人生。他們如何從當年的地下小團體成為今天引領人工智慧的風雲人物，來看看其中的精彩故事。

　　深度學習三劍客

　　

　　Geoff Hinton，谷歌大腦研究小組的負責人，出生在英國，1977年在愛丁堡大學獲得博士學位，開始對模擬神經網路著迷。之後在加拿大多倫多大學任教，2013年他的公司DNNresearch被Google收購。他被稱為深度學習教父。

　　Yann LeCun, Facebook人工智慧研究小組FAIR的主任，出生在巴黎，在 Université Pierre et Marie Curie獲得博士學位。曾在AT&T Bell Labs工作多年，2003年起在紐約大學NYU任教，2013年獲小扎邀請加盟Facebook。

　　Yoshua Bengio – Université de Montréal大學教授。出生在法國，在McGill University獲得博士學位，曾在MIT跟隨Michael Jordan教授做博士后研究，後任職 AT&T Bell Labs，1993年起在Université de Montréal任教。

　　

　　Geoff Hinton, Godfather of Deep Learning

　　這個故事要追溯到1956年，美國認知心理學家弗蘭克·羅森布拉特（Frank Rosenblatt）基於神經元的理論發明了一種模擬神經元的方法。紐約時報稱之為與"E-brain teaches itself." 這個被Rosenblatt稱為感知器Perceptron的發明，可以學習如何將簡單的圖像分類為三角形和正方形。當時是在巨大的機器上實施模擬，纏繞著厚重的電線，但這為神經網路創立了理論和實驗基礎。

　　Rosenblatts發明的電腦有八個模擬神經元，由電機和撥號盤連接到400個光檢測器。每個神經元都接收到來自光檢測器的信號的一部分，將它們組合起來，並且根據它們添加到哪裡，輸出1或0。這些數字組成對感知器所看到的事物的描述。當然，最初的結果完全無效。之後Rosenblatt使用一種稱為監督學習的方法來訓練感知器，以正確區分不同形狀。他向感知器顯示一個圖像以及正確的答案，然後，機器將調整每個神經元對其輸入信號的關注度，將這些「權重」轉移到將產生正確答案的設置。

　　

　　在試過多次之後，這些調整使計算機具有足夠的智能，可正確地對之前從未見過的圖像進行分類。今天的深度學習網路使用複雜的演演算法，並擁有數百萬個模擬神經元，它們之間有數十億個連接，也是以同樣的方式訓練的。

　　Rosenblatt預測，感知器很快就能夠學會向人打招呼。他的想法成為人工智慧新生領域的基石。當時研究工作的重點是使感知器具有更複雜的網路，排列成多個學習層的結構，在圖層中連續傳遞圖像或其他數據，使感知器能夠解決更複雜的問題。

　　不幸的是，Rosenblatt的學習演演算法當時對於多層結構的神經網路不起作用。在1969年，曾與他一起上過高中的人工智慧先驅，MIT的權威人士Marvin Minsky，和知名專家Seymour Papert一起，寫了一本批評感知器學派的書Perceptrons，扼殺了當時對神經網路的研究興趣。

　　Minsky表示，多層次神經網路的結構並不會使感知器強大到有實用價值。人工智慧學者們也因此放棄了學習式軟體的想法。他們轉而使用邏輯來產生智能 ：比如下棋的能力。神經網路則被推到了計算機科學的邊緣。

　　未完待續......

　　想了解更多關於深度學習的歷史故事？趕緊關注全球人工智慧學院的直播講座！

　　直播時間：12月13日晚8點整

　　

　　直播簡介

　　2012年， 基於深度學習CNN網路的AlexNet在ILSVRC競賽的ImageNet上大放異彩。 深深影響了做圖像目標檢測UC Berkeley的Jitendra Malik， 他鼓勵博士后Ross Girshick採用CNN技術到圖像目標檢測上。Ross Girshick剛從他的博士導師Pedro Felipe Felzenszwalb那裡畢業， 讀博期間導師和他一起發明了DPM演演算法， 改進了Navneet Dalal和Bill Triggs 提出的HoG特徵方法，成為當時的經典。

　　Ross Girshick不辱使命， 在2014年利用CNN成功取代了HOG、DPM等特徵提取， 結合Selective Search做區域推薦， 再結合SVM做分類演演算法， 成功推出R-CNN，轟動世界。 開啟了深度學習上的圖像目標檢測。

　　隨後，何凱明也基於SPM推出了SPPNet。同時，RCNN在成功結合RoI技術、RPN技術后迅速改進推出了Fast RCNN 和Faster RCNN。 為以後的YOLO、 SSD、AttratioNet、G-CNN、Mask R-CNN等網路打下紮實的深度學習基礎