倍可親

回復: 1

中科院計算所陳雲霽:深度學習處理器的現狀與未來 | 北大AI公開課實錄

[複製鏈接]

1萬

主題

2萬

帖子

3萬

積分

貝殼精神領袖

Rank: 6Rank: 6

積分
35928
華盛頓人 發表於 2018-3-31 11:24 | 顯示全部樓層 |閱讀模式
  2018-03-30 23:58移動晶元/設計/計算機

  3月28日,北京大學「人工智慧前沿與產業趨勢」第五講。本期主講嘉賓為中科院計算所研究員陳雲霽,他的授課主題為《深度學習處理器》。

  主講嘉賓

  陳雲霽,中科院計算所智能處理器研究中心主任。

  他14歲就讀於中國科大少年班,24歲博士畢業於中科院計算所,29歲起任中科院計算所研究員(正教授)、博導。目前他是中科院計算所智能處理器研究中心主任,中國科學院腦科學卓越中心特聘研究員,以及中國科學院大學崗位教授。他被MIT技術評論評為全球35位傑出青年創新者(2015年度)。

  他在包括ISCA、HPCA、MICRO、ASPLOS、ICSE、IJCAI、ISSCC以及8種IEEE/ACM Trans在內的學術會議及期刊上發表論文近一百篇,申請發明專利近一百項。陳雲霽獲得了中國青年科技獎、首屆國家自然科學基金「優秀青年基金」、首屆國家萬人計劃「青年拔尖人才」、中科院青年科學家獎和中國計算機學會青年科學家獎。

  以下為陳雲霽分享實錄整理:

  智能應用

  

  智能應用包括很多:(知覺、記憶、學習、語言、思維和問題解決等)是人類最主要的日常腦力活動。比如各種平台的智能任務、比如智能手環手錶。

  計算機應用已成為計算機最主要的負載之一,計算機的使命是將人從日常腦力活動中解放后出來。

  智能方法

  符號主義:用符號邏輯表達一些東西,目前並不是十分流行

  行為主義:行為能力不斷增強,並沒有很好的實現

  連接主義:最主要的智能技術,人工神經網路,人的大腦是由神經細胞組成

  生物神經元和人工神經元

  這兩者有很大的區別:就像老鼠很米老鼠的區別,米老鼠更萌。相比之下人工神經元更簡單。

  最簡單的人工神經網路只有一條神經元,就可以完成有意思的任務,比如分類,分類是在計算機最基礎普遍的問題。

  很多個神經元可以幹什麼呢?

  深度學習就是多層大規模神經網路,隨著深度學習的發展,不再拘泥於生物上的限制。

  舉個例子:

  圖像識別,快遞上有郵政編碼,機器進行掃碼,就像mnist。

  人臉識別,有特定的光照定語,雖然現在國內還不是很發達,但現在這個差距技術上是可以彌補的。

  語音識別,已經發展成為工業化的技術,比如siri、微信里的語音轉文字、自動翻譯。

  谷歌收購deepman,利用框架:深度學習+自動學習 ,讓計算機學會打四十多種小遊戲,最後在下棋上面,打敗了很多頂尖選手、後來也用於其他領域。

  為什麼需要神經網路處理器

  一個原因是神經網路是處理智能處理迄今最好的方法,它借鑒人腦的工作原理,深度學習技術,已經滲透到雲伺服器和智能手機的方方面面。

  另一個原因是通用CPU/GPU處理神經網路效率低下。

  谷歌大腦:1.6個CPU核跑7天完成貓臉識別訓練

  如何從1000億突觸增長到100萬億突觸(人腦規模)?:對人的大腦研究照抄,就可以研究出來黃鐵軍老師的目標,這之後我們需要更好的設備。

  專門的神經網路處理器

  

  未來每台計算機都可能需要一個專門的深度學習處理器。

  從雲端服務到智能手機,這是一個和GPU同樣規模的潛在市場:每年6.4億晶元,數百億美元銷售額。

  我們在此領域是領先者。

  寒武紀的學術淵源

  從2002年起師從胡偉武研究院從事研究

  從2005年起師從陳國良、姚新教授從事人工智慧研究

  也師從於一位外國老師

  開創深度學習處理器方向:圖片

  

  基於寒武紀的智能手機

  華為mate10:有其深度處理器,拍照識別,自動調節光圈,場景識別比如食物卡路里

  微軟:本地OCR+機器翻譯,本地實時中文翻譯,比如文獻

  學術貢獻:三大科學問題

  傳統ASIC(將給定演演算法硬體化)的思路無法解決深度學習處理的需求

  有限規模的硬體vs任意規模的演演算法

  

  舉例:硬體運算單元的時分復用

  學術創新:通過時分復用,將有限規模的硬體虛擬成任意大規模的人工神經網路

  關鍵技術

  控制架構:支持硬體神經元的動態沖配置和運行時編程

  訪存架構:分離式的輸入神經元、輸出神經元和突觸的片上存儲

  結構固定的硬體vs千變萬化的演演算法

  深度學習指令集

  學術創新:自動化抽取各種深度學習(機器學習)演演算法共性基本運算元,設計首個深度學習指令集來高效處理這些演演算法

  關鍵技術

  運算元聚類:自動化抽取演演算法核心片段,基於數據特性聚為少數幾類

  運算架構:設計共性神經元架構,支持變精度流水級

  設計策略

  選擇差異化的演演算法進行加速

  分析演演算法的計算模式和數據局部性

  設計合適的加速器結構

  

  能耗受限的硬體vs精度優先的演演算法

  稀疏神經網路處理器結構

  學術創新:運用神經網路對於計算誤差的容忍能力,進行稀疏化神經網路處理,在有限的能耗下實現高精度的智能處理

  學術影響

  國際智能晶元領域他引最多的兩篇論文均來自團隊

  2016年國際計算機體系結構年會1/6論文引用寒武紀開展的相關研究

  寒武紀深度學習處理器入選國際計算機學會通訊的研究熱點(每年十餘個,大陸首次)

  2018年sicence雜誌對其團隊進行報道

  

  未來的夢想

  
時代小人物. 但也有自己的思想,情感. 和道德.

1萬

主題

2萬

帖子

3萬

積分

貝殼精神領袖

Rank: 6Rank: 6

積分
35928
 樓主| 華盛頓人 發表於 2018-3-31 11:24 | 顯示全部樓層
將代表性智能演演算法的處理速度和性能功耗比提高一萬倍。幫助我們本地、實時完成各種圖像、語音、文本的理解和識別。

  更重要的是,具備實施訓練的能力之後,可以不間斷的通過觀察人,社會和自然不斷提高能力,成為生活離不開的智能助理。

  Q

  A

  &

  雷鳴對話陳雲霽

  雷鳴:非常感謝,令人震撼,過去沒有拿得出手的東西,現在成為學術和國際上的制高點,咱們做這個寒武紀晶元,是通用的晶元嘛?

  陳雲霽:對,深度學習處理其實是過去做的,產業落地是很重要和關鍵的事情,晶元成本很高,所以必須要有廣的應用面。

  雷鳴:預支很高,那以現在寒武紀的進展,咱們的這個東西離通用的地步還有多遠?

  陳雲霽:離大家的生活已經很近了,雖然我們應用面沒有GPU那麼廣,但比如終端華為手機就可以用到,雲端這一塊,很快大家就可以見到,我們預計今年面向廣大群眾發售,希望大家期待哈哈。

  雷鳴:我對您這個那您這個預計發售的提出兩個問題。第一:性價比怎麼樣?第二:對通用平台的支持怎麼樣?

  陳雲霽:第一個我不太了解,因為我是搞研發的,研發只知道花錢,對於市場上怎麼賣不曉得。

  第二個我可以肯定回答,無縫對接是支持的,同時也提供了一套自己的語言,更低層次的語音。

  雷鳴:您看您學術上又有很高的造詣,那整體來講,中國的晶元產業和美國還有多長的路,還差什麼,我們在逐漸追趕的路上,還需要注意哪些?

  陳雲霽:這是我們的夢想,實現還是有很大難度的。

  雷鳴:應該可以實現。

  陳雲霽:對,比如華為的晶元領域在中國起到了脊樑的作用,電路設計企業,從整體來看,華為肯定是在前列的。即便是華為走在世界前列,也不能說中國的半導體走在前列,必須形成閉環產業,這裡有很多方面,所以只能大家一起努力。

  雷鳴:我個人保持樂觀,從網際網路來看,在全球市值排名榜上,前十名有兩家中國,也是製造業大國。還有一個問題是你弟弟也是學霸,但現在走向企業家,能分享一下他在學者和創業成功這之間轉變的經歷嘛?

  陳雲霽:他的成功還在路上,我們分工明確。在做產業化的,他做公司,我在研究院做技術。從旁觀者來說,做生意很累,天天出差。比如說一位老師在沒有百分百熱情的情況下不要嘗試,是很辛苦的一件事,不像我寫學術投期刊。最開始現金流是正常發展,但對於一個企業來說,如果有一個階段不小心踩空,就會是很大的打擊,壓力很大。建議大家不要干。

  雷鳴:確實挑戰很大,我也和很多人交流過,很多人嘗試了一下就回來了。創業很難,但下不了賊船,真的特別累不想干,但責任很大。

  陳雲霽:您從投資人和創業人來看,哪兒個更有意思?

  雷鳴:這主要來看不一樣的人。從個人的來看,剛畢業投資不太現實,年輕人這個路比較遠。這兩種工作差別很大,中國富豪榜vc幾乎沒有,雖然投資平均收入極高,但是單個想要高還是必須要搞創業,並且從夢想來說如果你想要干一番大事業,還是走創業。實業家投一段時間就很乾著急。因為自己干不來。

  雷鳴:最後問一個就是你一直在做學習研究,在座有很多學生,你對大家往後的發展有什麼建議呢,或者建議他們去做個晶元公司嗎,如果這樣應該如何為以後發展做準備?

  陳雲霽:技術研究角度來說,大家還是要找一個自己非常喜歡很感興趣的東西,做研究本身是一個蠻痛苦的東西,如果你不能從中得到樂趣的話,本身是很折磨。痛苦永遠比快樂多。如果以發表文章為唯一目標的話,雖然太功利但是很痛苦。一定要找一個自己真的想乾的事情。找一個自己的初心。如果有一天想創業,我是想要產生更大的影響,更大載體,或許做公司就能更好地承受。有了這個初心你就能更好的走在別人前面,和面對創業的種種煩惱和壓力。做自己最喜歡的事情還是很重要的,在選擇的時候是內在動力驅動比外在壓力是更好的效果,不僅開心而且效果更好。

  雷鳴:現在神經網路晶元發展怎麼樣,在往何處發展,比如仿腦技術。

  陳雲霽:其實仿腦是潛在智能,我們也在做也做了很長時間,人的大腦有很強的智能,模仿越像效果越好。後來我們慢慢不做,因為我們對人的大腦還不是很了解,所以仿腦就很困難,在精度上和機器學習有很大的差別,沒有應用可以落地。比如有一個公司到現在還沒有實業化,所以未來十年我們需要對人腦的更了解。

  雷鳴:運算的未來,也提到量子計算,運算領域,如何看待量子計算,還有怎麼樣的發展道路?

  陳雲霽:我不是這方面的專家但我有很多師弟在做這方面。量子計算目前能夠適用的領域還不是那麼多,量子的計算很複雜。硬體角度來看,如果你要做一個厲害的大數據分析,需要上百萬比特。科學發展未來是怎麼樣也說不定,二十年後量子怎麼樣也說不準。通用CPU未來是絕對丟不掉的。

  雷鳴:寒武紀過去取得了很多成果,現在走向商業化,請問如何保持學術和商業之間的平衡?

  陳雲霽:這是個很好的問題。業界保持領先,技術上面領先,唯一方法砸更多的錢。過去領先是因為我們搶跑。現在上百個國外機構在引用我們的文獻,一方面開心,一方面擔心。沉睡的巨人已經在覺醒。持續領先很難,只要有足夠多的人和錢。現在辦公司不斷融資,就是為了面對對手,有更多資本面對。現在是很好的時代,國家政策、市場、VC、有更多的資源,技術上來說有了一定保障。但學術和技術上面不一樣,學術上面就是聰明程度。少數聰明人很專註在學術上就可可以,以後學術領先還是要有前瞻性團隊,所以我們在機制上和公司明確切分。

時代小人物. 但也有自己的思想,情感. 和道德.
回復 支持 反對

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 註冊

本版積分規則

關於本站 | 隱私權政策 | 免責條款 | 版權聲明 | 聯絡我們

Copyright © 2001-2013 海外華人中文門戶:倍可親 (http://big5.backchina.com) All Rights Reserved.

程序系統基於 Discuz! X3.1 商業版 優化 Discuz! © 2001-2013 Comsenz Inc.

本站時間採用京港台時間 GMT+8, 2019-10-16 22:05

快速回復 返回頂部 返回列表