終極進化，下一場革命：深度起底人工智慧

　　馬也 鼎實財富

　　

　　鼎實導讀

　　假以時日，人工智慧將會像一場無可阻擋的風暴，席捲你我的生活。而最佳的選擇，不是去抗拒，而是，與風暴共舞！

　　文｜馬也，來源｜撲克投資家（ID:puoketrader），特此感謝！

　　如果說金融領域最近最熱的話題是什麼，人工智慧取代交易員絕對可以入圍其中的前三，畢竟大家都很關心自己的飯碗以後會不會讓機器人給擠掉。

　　人工智慧交易軟體能通過吸取大量數據來了解這個世界，然後對股票、債券、商品和其他金融產品進行預測。人工智慧機器可以獲取書籍、Twitter消息、新聞報道、金融數據、企業財報、國際貨幣政策，甚至是綜藝節目概況等一切有助於其軟體理解全球趨勢的信息。人工智慧可以持續不間斷地觀察這些信息，從不知疲倦，一直學習，不斷優化預測。

　　

　　如今，像高盛這樣的金融巨頭，以及其他大型對沖基金，都正轉向由人工智慧驅動的系統，以預測市場趨勢，從而做出更好的交易決定。2000年，高盛位於紐約的股票現金交易部門有600個交易員。而如今，只剩下兩個交易員，剩餘的工作全部由機器包辦。這還是在人工智慧全面衝擊高盛之前的情況。十年後，高盛員工肯定比今天還要少很多。高收入的華爾街交易員將被無情地拋棄，就像即將倒閉的工廠里的工人一樣。高盛向我們展示了自動化是如何給交易員帶來毀滅性打擊的，而除了高盛，每家主要金融公司的交易大廳也將如此。

　　全球最大資產管理公司貝萊德集團(Black Rock Inc)在3月29日的時候同樣宣布，將對其主動型基金業務進行重組，計劃裁去一批主動型基金經理，並用量化投資策略取而代之。

　　根據Black Rock重組計劃，約有40名主動型基金部門員工將被裁員，其中包括7名投資組合經理。作為全球最大資產管理公司，Black Rock管理資產規模超過5萬億美元，但是去年一年，其主動型基金管理規模縮水了200億美元。

　　

　　將來，人類交易員和對沖基金經理不再有機會，很大一部分原因在於我們是人。人類通常帶有偏見，又相對敏感，無論是有意的，還是無意的。依賴於人類直覺和理性，比純粹依靠數據和統計學更可怕。

　　而人工智慧在交易領域的發展，已經不是單純地透過數學去量化或者回測，像美國一家叫Sentient的公司，就一直在不斷訓練其AI系統，從而讓機器能夠消化巨量的數據，發現市場趨勢，並在整個過程中不斷進化。對這套系統的訓練過程，就如同生物進化。Sentient在世界各地有上千台機器同時運行，並利用計算機演算法打造出數以萬億計的虛擬交易員，Sentient將它們稱為「基因」。Sentient認為它也有別於一般的AI技術，並將其稱為「進化智能」（Evolutionary Intelligence）。

　　Sentient利用歷史數據，讓這些「基因」各自進行虛擬交易。那些表現糟糕的「基因」將被剔除，而能夠賺錢的「基因」則被留下，並進化到下一代，正如生物進化中的自然選擇過程。這個過程的示意圖如下：

　　

　　在美國股市中，Sentient通常持有各類股票，每天的交易頻次達上百次，持倉期限一般為幾天到幾周。

　　如果上文提到這些趨勢已經讓你感到焦慮和不安，那麼，請跟我們一起去真正經歷一次關於人工智慧的深度旅程。

　　什麼是人工神經網路

　　人類大腦神經的信息活動與目前的計算機相比有三個不同的特性：第一，巨量并行和容錯特性。人腦約有1000億個神經元，神經元之間約有上萬億的突觸連接，形成了迷宮般的網路連接，大量的神經元信息活動是同時進行的，而非目前計算機按照指令一條條執行。此外人腦的這種巨量并行特性也使得其具有極好的容錯特性，壞掉一個晶體管就能毀掉一塊微處理器，但是大腦的神經元每時每刻都在死亡。第二，信息處理和存儲單元結合在一起。目前計算機普遍採用馮洛伊曼架構，存儲器和處理器分離，通過匯流排傳遞數據。隨著處理的數據量海量地增長，匯流排有限的數據傳輸速率被稱為「馮·諾依曼瓶頸」，嚴重影響計算機的計算效率和功耗，人腦信息處理和存儲單元結合在一起，擁有極低的功耗（約20W左右）。第三，自組織自學習功能。大腦在與外界互動的同時也會進行學習和改變，而不是像現在計算機遵循預設演算法的固定路徑和分支運行。基於以上幾點不同，人們一直嘗試模仿人類大腦神經元的信息活動機制來設計演算法：信號通過突觸進入神經元細胞，神經細胞利用一種方式把所有從樹突上突觸進來的信號進行相加，如果全部信號的總和超過某個閥值，就會激發神經元細胞進入興奮狀態，這時就會有一個電信號通過軸突發送出去給其他神經細胞。如果信號總和沒有達到閥值，神經細胞就不會興奮起來，不會傳遞信號。

　　

　　生物神經元的結構

　　

　　人工神經元數學模型

　　簡單的人工神經元數學模型就是讓每一個輸入到神經元的信號加權求和，相加后如果超過設定的閾值，就輸出「1」，沒有就輸出「0」。這樣若干個最簡單的神經元輸入輸出相連接，就構成了複雜的人工神經網路。

　　

　　單層人工神經網路

　　

　　多層（深度）人工神經網路

　　通過訓練，人工神經網路能實現基本分類功能。比如輸入一張狗的圖片信號，假定輸出1表明計算機判斷這是一隻狗。我們首先用標記過的狗的圖片輸入人工神經網路進行訓練，如果輸出的結果是0，就調節每個輸入信號的權重等參數，使得輸出為1，這樣大量標記過的狗的圖片訓練后，人工神經網路就自己掌握了判斷狗的特徵，並且具備了泛化能力：我們輸入一張它從未見過的狗的圖片，它也能識別出來這是一隻狗，輸出1。

　　

　　深度學習實際上是建立輸入和輸出數據之間的映射關係

　　通過人工神經網路的原理探究我們可以總結以下結論：1、人工神經網路演算法能夠從輸入的大量數據中自發的總結出規律。人工神經網路演算法與傳統計算機軟體不同，並不要人為的提取所需解決問題的特徵或者總結規律。它能夠從輸入的大量數據中自發的總結出規律，自適應調整自身結構從而舉一反三，泛化至從未見過的案例中；2、人工神經網路最基本的單元功能是分類，所以在分類識別是最直接的應用。以百度為例，其深度學習應用包括搜索、用戶畫像、語音、圖像四大方向，本質上都是實現的分類識別的功能。

　　

　　

　　百度深度學習的四大直接應用本質上都是實現分類識別功能

　　3、人工神經網路從最基本的單元上模擬了人類大腦的結構和運行機制（雖然目前還是低級的模仿），理論上講人腦能夠實現的智能它應該也都能實現。數學上也證明了用3層以上人工神經網路模型，理論上可逼近任意函數。

　　

　　深度學習迅猛發展的歷史背景

　　深度學習名稱的由來。人工神經網路演算法在60年代曾經遭遇低谷，著名人工智慧專家明斯基當時提出了人工神經網路的兩個局限性：1、單層的人工神經網路甚至連最簡單的異或運算都無法實現；2、多層更複雜的人工神經網路當時的計算能力卻無法支撐。20世紀90年代開始，隨著處理器計算能力突飛猛進和雲計算技術使得大量計算機并行計算成為可能后，限制大規模人工神經網路的計算能力瓶頸開始逐步消除。即便如此，主流機器學習界對於人工神經網路仍然興趣寡然，一直堅持人工神經網路研究的加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey Hinton後來為了改變大眾對於人工神經網路的長期的消極態度，乾脆將其改名為深度學習（deep learning），而其多層抽象的數據學習過程一定程度上借鑒了人類的視覺機制。

　　

　　人類視覺從原始信號攝入開始（瞳孔攝入像素），接著做初步處理（大腦皮層某些細胞發現邊緣和方向），然後抽象（大腦判定，眼前的物體的形狀），然後進一步抽象（大腦進一步判定該物體是人臉）

　　一篇論文引發新的浪潮

　　2006年，Geoffrey Hinton和他的學生Ruslan Salakhutdinov在國際頂級期刊《科學》上發表了一篇文章，被認為是深度學習取得突破的重要節點。這篇文章實質上一是講明了深度學習在描述數據本質上廣泛的應用前景，二是給出了多層深度神經網路的很好的訓練方法，讓大眾充分認識到深度學習大規模應用的時代開始來臨，開啟了深度學習在學術界和工業界的浪潮。而Geoffrey Hinton連同他的實驗室DNN research很快被谷歌收購。深度學習在谷歌各項業務中迅速應用效果驚人。在谷歌內部，深度學習從少數的產品組應用起步，一開始就取得了非常大的突破（首次應用到語音識別錯誤率就降低了30%），更多的團隊開始採納深度學習演算法，目前谷歌內部使用深度學習的產品有：安卓、Apps、藥品發現、Gmail、圖片理解、地圖、自然語言、圖片、機器人、語音翻譯等。全球著名的谷歌大腦其實質上就是一個大規模的人工神經網路，它實現了對谷歌各項業務的智力支撐。

　　

　　深度學習已經應用到谷歌的各項業務中去

　　人工智慧發展歷程：在兩次高潮和低谷之後迎來第三次浪潮

　　人工智慧作為一門學科誕生至今已有60年的歷史，期間經歷了2次高潮和低谷。而從2010年到現在又迎來人工智慧發展的第三次浪潮。人工智慧60年的發展，道路雖然起伏曲折，但進展也可謂碩果累累。無論是基礎理論創新，關鍵技術突破，還是規模產業應用，都是精彩紛呈，使我們每一天無不享受著這門學科帶來的便利。人工智慧因其十分廣闊的應用前景和對一個國家的重大戰略意義，近年來日益得到政府部門、學術界的高度關注。

　　

　　（1）1956年達特茅斯會議：人工智慧學誕生1956年夏，達特茅斯學院助教約翰·麥卡錫（John Mc Carthy）、哈佛大學馬文·明斯基（Marvin Minsky）、貝爾電話實驗室克勞德·香農（Claude Shannon）、IBM公司信息研究中心納撒尼爾·羅切斯特（Nathaniel Rochester）、卡內基梅隆大學艾倫·紐厄爾（Allen Newell）和赫伯特·西蒙（Herbert Simon）等先驅在美國達特茅斯學院行了以此為其兩個月的學術討論會，從不同學科的角度探討用機器模擬人類智能等問題，並首次提出了人工智慧的概念，達特茅斯會議上AI的名稱和任務得以確定，同時出現了最初的成就和最早的一批研究者，因此標誌著人工智慧學科的誕生。

　　

　　人工智慧發展歷程第三次浪潮

　　（2）1956年至1974年：人工智慧的第一次大發展

　　1956年達特茅斯會議之後的十幾年是人工智慧的黃金年代。從50年代後期到60年代湧現了大批成功的AI程序和新的研究方向，其中最有影響力的包括搜索式推理、自然語言、微世界等。在這段時間內，計算機被用來解決代數應用題、證明幾何定理、學習和使用英語。初期研究取得了顯著的成果，這些成果在得到廣泛讚賞的同時也讓研究者們對開發出完全智能的機器信心倍增。1963年6月，MIT從新建立的ARPA（即後來的DARPA，國防高等研究計劃局）獲得了220萬美元經費，用於資助MAC工程，其中包括Minsky和McCarthy五年前建立的AI研究組。此後ARPA每年提供三百萬美元，直到七十年代為止，在麻省理工、卡內基梅隆大學、斯坦福大學、愛丁堡大學建立的人工智慧項目都獲得了來自ARPA等政府機構的大筆資金，在接下來的許多年間，這四個研究機構一直是AI學術界的研究（和經費）中心。不過，這些投入卻並沒有讓當時的樂觀預言得以實現。

　　

　　人工智慧發展歷程：從萌芽到爆發

　　（3）1974年至1980年：人工智慧的第一次低谷70年代初，人工智慧遭遇了瓶頸。由於計算機性能的瓶頸、計算複雜性的指數級增長、數據量缺失等問題，AI研究者們遭遇了無法克服的基礎性障礙。例如，在今天已經比較常見的機器視覺功能在當時找不到足夠大的資料庫來支撐程序學習，機器無法吸收足夠的數據量，因此很難實現視覺方面的智能化。

　　由於缺乏進展，對人工智慧提供資助的機構（如英國政府，DARPA和NRC）對無方向的AI研究逐漸停止了資助。到了1974年已經很難再找到對人工智慧項目的資助，研究經費被轉移到那些目標明確的特定項目上。人工智慧遭遇了6年左右的低谷。

　　1969年Minsky和Papert出版了著作《感知器》，書中暗示感知器具有嚴重局限，而感知器是神經網路的一種形式，它最終將能夠學習，做出決策和翻譯語言。這本書的影響是破壞性的，聯結主義的研究因此停滯了十年。到1970年代後期，儘管遭遇了公眾的誤解，人工智慧在邏輯編程、常識推理等一些領域還是有所進展。

　　（4）1980年至1987年：人工智慧的第二次大發展

　　在80年代，一類名為「專家系統」的AI程序開始為全世界的公司所採納，知識庫系統和知識工程成為了80年代AI研究的主要方向。專家系統是一種程序，能夠依據一組從專門知識中推演出的邏輯規則在某一特定領域回答或解決問題。專家系統僅限於一個很小的知識領域，從而避免了常識問題；其簡單的設計又使它能夠較為容易地編程實現或修改，實踐證明了這類程序的實用性。1980年卡內基·梅隆大學為DEC（Digital Equipment Corporation，數字設備公司）設計了一個名為XCON的專家系統，這套系統在1986年之前能為公司每年節省四千萬美元。全世界的公司都開始研發和應用專家系統，到1985年它們已在AI上投入十億美元以上，大部分用於公司內設的AI部門。為之提供支持的產業應運而生，其中包括Symbolics，LispMachines等硬體公司和IntelliCorp，Aion等軟體公司。1981年，日本經濟產業省撥款8.5億美元支持第五代計算機項目，目標是製造出能夠與人對話、翻譯語言、解釋圖像，並且能像人一樣推理的機器。隨後，英國、美國也紛紛響應，開始向AI和信息技術領域的研究提供大量資金。1986年，人工智慧領域著名的BPAlgorithm（ErrorBack Propagation Algorithm，誤差反向傳播演算法）被Rumelhart Mc Celland等大師提出，這使1970年以來一直遭人遺棄的聯結主義重獲新生。

　　（5）1987年至1993年：人工智慧的第二次低谷1987年AI硬體市場需求突然下跌。Apple和IBM生產的台式機性能不斷提升，到1987年時其性能已經超過了Symbolics和其他廠家生產的昂貴的Lisp機。老產品失去了存在的理由：一夜之間這個價值五億美元的產業土崩瓦解。XCON等最初大獲成功的專家系統維護費用居高不下，暴露出各種問題，專家系統的實用性僅僅局限於某些特定情景。到80年代晚期，戰略計算促進會大幅削減對AI的資助。1991年，人們發現十年前日本人宏偉的「第五代工程」並沒有實現。這些事實情況讓人們從對「專家系統」的狂熱追捧中逐步走向失望。人工智慧研究再次遭遇寒冬。儘管遇到各種批評，這一領域仍在不斷前進。來自機器人學這一相關研究領域的RodneyBrooks和HansMoravec提出了一種全新的人工智慧方案，號召「自底向上」地創造智能，他們認為感知運動技能對於常識推理等高層次技能是至關重要的。（6）1993年至2010年：人工智慧復甦期1993年到2010年這一階段，人工智慧處於穩步發展時期，互聯網推動人工智慧不斷創新和實用。人工智慧已被成功地用在技術產業中，取得了一些里程碑式的成果：1997年5月，IBM研發的計算機「深藍」（Deep Blue）戰勝了國際象棋冠軍卡斯帕羅夫；2005年，Stanford開發的一台機器人在一條沙漠小徑上成功地自動行駛了131英里，贏得了DARPA挑戰大賽頭獎；2009年，洛桑聯邦理工學院發起的藍腦計劃聲稱已經成功地模擬了部分鼠腦。2008年11月IBM提出「智慧地球」概念，數字化、網路化和智能化，被公認為是未來社會發展的大趨勢，而與「智慧地球」密切相關的物聯網、雲計算等，更成為科技發達國家制定本國發展戰略的重點。自2009年以來，美國、歐盟、日本和韓國等紛紛推出本國的物聯網、雲計算相關發展戰略。

　　

　　深度學習的效果隨著數據量的增大顯提升

　　（7）2010年到現在：人工智慧進入爆髮式增長期大數據、雲計算支撐人工智慧產業爆發，人工智慧將成為下一輪技術變革的核心。人工智慧新一輪的爆發包括大數據、雲計算和演算法三個核心要素。第一，數據的急劇增長。得益於互聯網、社交媒體、移動設備和廉價的感測器，這個世界產生的數據量指數型增長。大數據是人工智慧發展的助推劑，這是因為有些人工智慧技術使用統計模型來進行數據的概率推算，比如圖像、文本或者語音，有了大量的數據才能為模型的訓練提供原材料。第二，計算能力的進步。雲計算和大規模GPU并行計算的發展為深度學習的應用提供了計算基礎。當人們把原本用於遊戲中處理高質量畫面的GPU拿來運行深度學習演算法后，計算機可以幾百倍地加快模型的訓練速度。目前，AlphaGo的計算能力是IBM深藍的近3萬倍。未來隨著速度更快的晶元乃至量子計算的發展，運算速度會進一步提高，成本也會大幅降低。第三，演算法的發展，特別是深度學習的應用。演算法是解決一個設計程序或完成任務的路徑方法。與大部分傳統演算法相比，深度學習的效果隨著數據量的增大有顯著的提升，因而更大量的數據可以提高演算法的表現。深度學習增加了神經網路的層數，因此網路才有了更強大的特徵挖掘能力。機器學習演算法目前被開源使用，這種情形將促成更大進步，因為在開源環境下開發人員可以補足和增強彼此的工作。

　　人工智慧全球熱潮上升到國家戰略層面

　　人工智慧已經成為國家服務業、工業和軍事的核心競爭力，因此世界各國制定了國家級發展戰略：

　　

　　各國紛紛在戰略層面布局人工智慧

　　2016年5月美國白宮計劃組織四場研討會討論人工智慧。白宮還成立了人工智慧委員會，用於協調全美各界在人工智慧領域的行動。美國交通部宣布歷時10年投資40億美元的提案，旨在實現無人駕駛汽車上路。日本從2016年開始執行的「第五期科學技術基本計劃」中，日本政府列入總額約26萬億日元的研發經費，重點研發物聯網及人工智慧系統，提出要實現領先於世界的「超智能社會」（即Society5.0）。2016年5月25日我國四部委發布《「互聯網+」人工智慧三年行動實施方案》，到2018年形成千億級的人工智慧市場應用規模。2016年8月8日發布的《「十三五」國家科技創新規劃》多次講到人工智慧。

　　人工智慧巨頭競爭白熱化：從開源平台、晶元到應用

　　（1）開源人工智慧基礎平台同時各大科技巨頭紛紛開源人工智慧技術，以此來獲得大量的用戶需求和開發人員，建立開放共享、互利共贏的人工智慧生態圈，典型的例子有：谷歌開源了人工智慧基礎平台Tensor Flow；Facebook開源了人工智慧基礎平台Torchnet；微軟開源了人工智慧基礎平台DMTK；IBM開源了人工智慧基礎平台System ML；雅虎開源Caffe On Spark；百度開源AI人工智慧Warp-CTC源代碼；特斯拉創始人ElonMusk等共同創立非營利開源人工智慧公司OpenAI等。（2）布局人工智慧晶元人工智慧晶元定義了AI產業鏈和生態圈的基礎計算架構，核心晶元是人工智慧時代的戰略制高點。Google、IBM、英偉達、Intel、中科院都在積極布局人工智慧晶元。2016年8月17日，英特爾表示將開發人工智慧技術的專用晶元；IBM正在設計基於大腦結構的晶元TrueNorth；今年5月，谷歌自主研發新型晶元支持人工智慧；英偉達推出人工智慧超級晶元特斯拉P100GPU；中科院研發出全球首個能夠「深度學習」的「神經網路」處理器晶元「寒武紀」；Facebook、微軟以及Twitter都在通過設計新的晶元加強人工智慧研發。（3）研發人工智慧核心技術Google、IBM、Microsoft、Facebook、Amazon、百度等企業巨頭充分認識到人工智慧技術引領新一代信息產業發展的戰略意義，紛紛投入重金收購企業、招募人才和研發核心技術，力圖掌握人工智慧時代的主動權：Google正在研發自動駕駛汽車、Deepmind人機博弈；IBM投資10億美元組建Watson人工智慧部門，在醫療金融等領域推廣應用；微軟推出聊天機器人小冰和人工智慧助理小娜；Facebook專註於人工智慧助理、圖像視頻識別等技術；百度開發無人駕駛、語音識別、百度度秘等人工智慧多領域的應用產品。

　　

　　各個行業對人工智慧投資的頂級公司

　　人工智慧晶元：從通用到專用，類腦計算的進化

　　（1）類腦計算的進化類腦計算可以分為兩個方向：一個是從人工神經網路從功能層面模仿大腦的能力；另一個神經擬態計算(neuromorphic computing)則是從結構層面去逼近大腦，其結構也有兩個層次，一是神經網路層面，與之相應的是神經擬態架構和處理器，二是神經元層面，與之相應的是元器件。

　　

　　人工智慧晶元分類

　　

　　人工智慧大腦的進化

　　（2）GPU王者Nvidia，在深度學習上使用Nvidia的組織2年增長了30多倍，為絕大部分的人工智慧平台提供計算能力1. GPU的高并行處理GPU(GraphicsProcessingUnit)，圖形處理器，專門為2d和3d的圖形、視頻、可視計算和顯示做出優化。

　　

　　GPU VS CPU

　　GPU具有高并行結構（highly paralle lstructure），在處理圖形數據和複雜演算法方面擁有比CPU更高的效率。對比GPU和CPU在結構上的差異，CPU大部分面積為控制器和寄存器，GPU擁有更多的ALU（Arithmetic Logic Unit，邏輯運算單元）用於數據處理，而非數據高速緩存和流控制，這樣的結構適合對密集型數據進行并行處理。CPU執行計算任務時，一個時刻只處理一個數據，不存在真正意義上的并行，而GPU具有多個處理器核，在一個時刻可以并行處理多個數據。

　　

　　採用GPU加速與只採用CPU訓練CNN的性能比較

　　深度學習在神經網路訓練中，需要很高的內在并行度、大量的浮點計算能力以及矩陣運算，而GPU可以提供這些能力，並且在相同的精度下，相對傳統CPU的方式，擁有更快的處理速度、更少的伺服器投入和更低的功耗。以Image Net競賽為例，基於GPU加速的深度學習演算法，百度、微軟和Google的計算機視覺系統在ImageNet圖像分類和識別測試中分別達到了5.98%(2015年1月數據)4.94%（2015年2月數據）、4.8%（2015年2月數據）、的錯誤率，接近或超過了人類識別水平。2. 現硬體加速和編程

　　

　　GPU發展歷程

　　3. GPU的計算標準隨著GPU可編程性不斷增強，特別是CUDA等編程環境的出現，使GPU通用計算編程的複雜性大幅度降低。由於可編程性、功能、性能不斷提升和完善，GPU已演化為一個新型可編程高性能并行計算資源，全面開啟GPU面向通用計算的新時代。GPGPU(GeneralPurposeCPU)，通用目的GPU，它的計算原理是我們任何密集的計算所對應代碼量可能往往連5%都不到，這部分代碼，我們可以把它提取出來，放到GPU上去處理。

　　

　　GPU實現加速計算的原理

　　作為計算平台，人們往往將CPU和GPU聯合起來，組成一個異構的平台。因為和CPU相比，GPU所能處理的事情還比較單純，比如I/O、訪問磁碟或網路，或者說數據採集和整理，或者一些串列的沒法并行的工作，這些操作仍然需要CPU來輔助進行。目前主要的通用計算標準有CUDA(Compute Unified Device Architecture，統一計算設備架構)、OpenCL(Open Computing Language，開放計算語言)、Direct Compute。

　　CUDA在2006年由NVIDIA提出，是一種將GPU作為數據并行計算設備的軟硬體體系；CUDA編程模型將CPU作為主機（Host），GPU作為協處理器（co-processor）或者設備（Device），採用類C語言開發；目前支持Widows、Linux、MacOS三種主流操作系統，但僅支持NIVDIA開發的GPU晶元。OpenCL在2008年由蘋果首先提出，蘋果擁有其商標權；隨後蘋果與AMD，IBM，Intel和NVIDIA技術團隊合作初步完善OpenCL標準，2010年OpenCL1.1發布。OpenCL是第一個面向異構系統通用目的并行編程的開放式、免費標準，此異構平台可由CPU、GPU或其他類型的處理器組成；OpenCL提供了基於任務分區和數據分區的并行計算機制，也是基於C的一個程式語言；不同於CUDA僅支持NIVDIA開發的GPU晶元，OpenCL支持一系列硬體，包括GPU、GPP、現場可編程門陣列（FPGA）和數字信號處理器（DSP）多種GPU晶元。

　　

　　GPU通用計算標準標準名稱提出標準的公司標準特徵

　　目前市場上，比如在PC領域的GPU，基本上只能見到Nvidia，Intel，AMD這幾家公司的產品。Nvidia在這幾家顯卡生產廠商中實力最強，有很多的產品線，GeForce，主要是為桌面遊戲準備的；Quadro，它是專門為顯示級的工作站準備的；TSELA，它專門為科學計算準備的；TEGRA，它是為移動端、自動駕駛平台等準備的；GRID，它是專門為伺服器集成虛擬化使用；NVs，它是對特別大屏幕由多個顯示器拼在一起的這種用途而專門定製的。

　　

　　GPU主流生產廠商

　　Intel主要是集成顯卡，集成在Intel的CPU中，如i5，i7。現在最新的英特爾集成顯卡，基本上達到了NV的入門級顯卡的水平，滿足絕大多數人的日常需求，比如上網、文字處理、看視頻以及玩小遊戲等。Intel集成顯卡最大優點，就是非常省電，同時直接利用這種內存作為顯存，也能大大的降低了這種顯卡的生產成本。AMD的前身ATI，是專業的顯卡生產廠商，後來被AMD收購。AMD的主要產品有面向普通的桌面、移動平台的Radeon系列，為專業工作站平台準備的FirePro系列等。Matrox，目前已經淡出主流市場，在一些專業的2d繪圖領域還有用到。GPU出色的浮點計算性能提高深度神經網路計算的有效性。

　　

　　nvidia遊戲領域收入

　　

　　nvidia數據中心領域收入

　　通過改進機器學習演算法和升級計算硬體，各行各業都在採用深度學習技術來處理爆炸性增長的數據量，幫助他們找到新方法來利用隨手可得的數據財富開發新產品、服務和流程，從而創造巨大的競爭優勢，在深度學習上使用英偉達的組織2年增長了30多倍。

　　

　　在深度學習上使用英偉達的組織2年增長了30多倍

　　

　　NVIDIA為絕大部分的人工智慧平台提供計算能力

　　人工智慧專用晶元：大幅提升人工智慧演算法運行效率，推動人工智慧產業加速發展

　　傳統的演算法在通用晶元(CPU和GPU)上效率不高，功耗比較大，因此從晶元的設計角度來說，通用型往往意味著更高的成本。於是出現了特定的演算法加速器，來加速包括卷積神經網路、遞歸神經網路在內的各種神經網路演算法，專用晶元的最大優勢在於其成本和功耗降低。專用深度學習晶元將大幅提升人工智慧演算法運行效率，推動人工智慧產業加速發展。

　　（1）谷歌TPU晶元：匹配Tensor Flow，專為人工智慧而制今年5月，谷歌展示了一款專門針對人工智慧定製的新型晶元TPU(Tensor Processing Unit)；TPU由谷歌與Open Power Foundation合作開發，Open Power Foundation提供晶元設計。

　　

　　谷歌TPU晶元

　　谷歌的TPU(Tensor Processing Unit)是一種專用的加速器晶元，跟其深度學習軟體TensorFlow匹配。TPU專門針對機器學習進行過裁減，運行單個操作時需要的晶體管更少，其研發目的是為了替代GPU，實現更高效率的深度學習。（2）Nvidia Tesla P100晶元：專門用於加速深度學習2016年4月6日，英偉達CEO黃仁勛在其公司GPTech峰會上發布了一款支持深度學習的新型晶元TeslaP100。這是英偉達第一次設計一個專門用於該領域的晶元，專門用於加速人工智慧，專門用於加速深度學習，並且英偉達決定全力投入人工智慧。

　　

　　NvidiaTeslaP100晶元

　　TeslaP100晶元安裝了150億個晶體管，是目前市場上許多處理器、圖形晶元的3倍；晶元面積為600平方毫米，雙精度運算速度5.3萬億次，單精度運算速度10.6萬億次，半精度運算速度21.2萬億次。Nvidia同時發布了一款搭載了八個P100晶元、可用於深度學習的計算機DGX-1。（3）IBM True North晶元、隨機相變神經元晶元：神經擬態計算，像大腦一樣工作2014年8月7日，IBM宣布研發出一款可以像大腦一樣工作的計算機晶元True North。

　　

　　IBM集成16塊TrueNorth晶元的電路板

　　True North使用了54億個晶體管，分成4096個「神經突觸內核(neurosynaptic cores)」的結構；每一個「神經突觸內核」結構都能使用crossbar（交叉）通訊模式來存儲、處理並向其它結構傳輸數據，這些計算內核產生的效果相當於100萬個神經元和2.56億個突觸。TrueNorth晶元只要幾厘米的方寸，功耗只有65毫瓦。True North是IBM參與DARPA的研究項目SyNapse的最新成果；SyNapse全稱是Systemsof Neuromorphic Adaptive Plastic Scalable Electronics（自適應可塑可伸縮電子神經系統，而SyNapse正好是突觸的意思），其終極目標是開發出打破馮諾依曼體系的硬體。2016年，IBM蘇黎世研究中心宣布，製造出世界首個人造納米級隨機相變神經元，該神經元能用於製造高密度、低功耗的認知學習晶元，可實現人工智慧的高速無監督學習。該神經元尺寸最小能到納米量級，因而信號傳輸速度極快，同時功耗較低，這就使得隨機相變神經元具有生物神經元的特性。

　　

　　IBM隨機相變神經元組成的人工神經元網路

　　IBM相變神經元的整個架構包括輸入端、神經薄膜、信號發生器和輸出端，其中輸入端類似生物神經元的樹突，神經薄膜類似生物神經元的雙分子層，信號發生器類似生物神經元的神經細胞主體，輸出端類似生物神經元的軸突。而神經薄膜是整個神經元產生作用的關鍵物質，它類似生物神經細胞中的液態薄膜，當能量吸收到一定程度時就會產生信號並向外發射。這些信號經過輸出端(軸突)傳導，然後被其他神經元接收，以此循環形成信息處理過程。目前，IBM已經構建了由500個該神經元組成的陣列，並讓該陣列以模擬人類大腦的工作方式進行信號處理。對於類腦計算現在基本可以看到兩個方向，人工神經網路從功能層面模仿大腦的能力，而神經擬態計算(neuro morphiccom puting)則是從結構層面去逼近大腦，其結構也有兩個層次，一是神經網路層面，與之相應的是神經擬態架構和處理器，二是神經元層面，與之相應的是元器件。IBM的True North、隨機相變神經元都是在神經擬態計算方向尋求突破，其中True North在神經擬態架構層面做出努力，剛宣布不久的人工神經元則是在神經元結構層面做出的努力。（4）英特爾Knights Mill晶元：專為機器深度學習設計，可獨自充當處理器2016年8月17日，英特爾數據中心集團執行副總裁戴安·布萊恩特在開發者大會（IDF）上宣布，將在2017年推出專為機器深度學習設計的晶元，XeonPhi家族新成員，代號KnightsMill。KnightsMill晶元可以獨自充當處理器，不再需要單獨的主機處理器和輔助處理器，可以直接接入RAM系統；英偉達的GPU和谷歌的TPU晶元，都是輔助處理器，必須和CPU一起工作。

　　

　　英特爾XeonPhi家族成員

　　Xeon Phi是Intel針對高性能計算市場推出的加速卡，主要與NVIDIA的Tesla、AMD的FireProS等產品競爭，不過後兩者是基於GPU的，而XeonPhi是X86眾核架構的。XeonPhi目前已經發展了三代，第一代KnightsCorner，22nm工藝，最多61個核心，浮點性能1TFLOPS；第二代是KnightsLanding，14nm工藝，最多72核心，浮點性能3+TFLOPS；英特爾於2014年宣布第三代KnightsHill，製程工藝升級到10nm。（5）中星微電子「星光智能一號」晶元：全球首顆具備深度學習人工智慧的嵌入式視頻採集壓縮編碼系統級晶元中星微在今年6月20日，率先推出中國首款嵌入式神經網路處理器晶元，這是全球首顆具備深度學習人工智慧的嵌入式視頻採集壓縮編碼系統級晶元，並取名「星光智能一號」。這款基於深度學習的晶元運用在人臉識別上，最高能達到98%的準確率，超過人眼的識別率。該晶元於今年3月6日實現量產，目前出貨量為十幾萬件。

　　

　　中星微電子「星光智能一號」晶元和主板

　　NPU採用了「數據驅動」并行計算的架構，單顆NPU(28nm)能耗僅為400mW，極大地提升了計算能力與功耗的比例，可以廣泛應用於高清視頻監控、智能駕駛輔助、無人機、機器人等嵌入式機器視覺領域。中星微的「星光智能一號」與IBM人工神經元相比，共同之處是，都是屬於受到生物人腦機理的啟發而通過半導體電路與器件去實現的，都是採用CMOS半導體工藝來生產的。而不同之處在於，所採用的架構和實現方式不同，前者採用卷積型架構，用數據驅動的并行數字電路來實現，後者採用脈衝型架構，用數模混合電路來實現。（6）寒武紀「DianNao」晶元：世界上第一款深度學習處理器晶元2016年3月，中國科學院計算技術研究所發布了全球首個能夠「深度學習」的「神經網路」處理器晶元，名為「寒武紀」。

　　

　　陳雲霽（左）與陳天石（右）

　　寒武紀不是用來代替CPU中央處理器的顛覆式革命，更像是一款針對智能認知等應用的專用晶元，優勢集中在人臉識別、聲音識別等人工智慧方面。目前，寒武紀系列已包含三種原型處理器結構：寒武紀1號（英文名DianNao，面向神經網路的原型處理器結構）；寒武紀2號（英文名Da Dian Nao，面向大規模神經網路）；寒武紀3號（英文名Pu Dian Nao，面向多種機器學習演算法）。

　　Dian Nao是寒武紀系列的第一個原型處理器結構，包含一個處理器核，主頻為0.98GHz，峰值性能達每秒4520億次神經網路基本運算，65nm工藝下功耗為0.485W，面積3.02mm2。在若干代表性神經網路上的實驗結果表明，DianNao的平均性能超過主流CPU核的100倍，但是面積和功耗僅為1/10，效能提升可達三個數量級；DianNao的平均性能與主流GPGPU相當，但面積和功耗僅為主流GPGPU百分之一量級。

　　

　　Dian Nao結構

　　要降低處理器功耗，僅僅降低運算功耗是不夠的，必須優化片上數據搬運。中科院計算所提出對神經網路進行分塊處理，將不同類型的數據塊存放在不同的片上RAM中，並建立理論模型來刻畫RAM與RAM、RAM與運算部件、RAM與內存之間搬運次數，進而優化神經網路運算所需的數據搬運次數。相對於CPU/GPU上基於cache層次的數據搬運，DianNao可將數據搬運減少10~30倍。Da Dian Nao在Dian Nao的基礎上進一步擴大了處理器的規模，包含16個處理器核和更大的片上存儲，並支持多處理器晶元間直接高速互連，避免了高昂的內存訪問開銷。在28nm工藝下，DaDianNao的主頻為606MHz，面積67.7mm2，功耗約16W。單晶元性能超過了主流GPU的21倍，而能耗僅為主流GPU的1/330。64晶元組成的高效能計算系統較主流GPU的性能提升甚至可達450倍，但總能耗僅為1/150。

　　雖然神經網路已成為模式識別等領域的主流演算法，但用戶很多時候可能傾向於使用其他一些經典的機器學習演算法。例如程序化交易中經常使用線性回歸這類可解釋性好、複雜度低的演算法。在此背景下，寒武紀3號多用途機器學習處理器PuDianNao應運而生，當前已可支持k-最近鄰、k-均值、樸素貝葉斯、線性回歸、支持向量機、決策樹、神經網路等近十種代表性機器學習演算法。Pu Dian Nao的主頻為1GHz，峰值性能達每秒10560億次基本操作，面積3.51mm2，功耗為0.596W（65nm工藝下）。

　　Pu Dian Nao運行上述機器學習演算法時的平均性能與主流GPGPU相當，但面積和功耗僅為主流GPGPU百分之一量級。

　　

　　Pu Dian Nao結構

　　晶元是人工智慧時代的戰略制高點從傳統晶元巨頭到互聯網巨頭，以及一些新銳企業，都在大力發展人工智慧晶元。因為晶元作為人工智慧的上游產業將走在行業發展前沿，未來幾乎所有的智能化應用場景，都將離不開人工智慧晶元和軟體。可以說，核心晶元是人工智慧時代的戰略制高點。

　　

　　人工智慧晶元對比

　　人工智慧應用：「人工智慧+」時代呼嘯而來

　　人工智慧就像一列火車，它臨近時你聽到了轟隆隆的聲音，你在不斷期待著它的到來。它終於到了，一閃而過，隨後便遠遠地把你拋在身後。專用人工智慧在某種程度上是通用人工智慧的基石。無論是多任務學習、遷移學習、在線學習、增強學習，都是專用人工智慧向通用人工智慧的有益嘗試。專用人工智慧與通用人工智慧之間沒有明確的界限，人工智慧演算法的專用性是相對的。目前深度學習能夠解決的任務越來越多，其模型和學習演算法越來越趨同，Deepmind的強化學習能夠學習多種多樣的遊戲，都可以認為是專用人工智慧模式的通用化嘗試。

　　製造業：人工智慧有望推動半自動化生產到全自動化生產的飛躍

　　人工智慧將催生全自動化智能生產：經過幾十年的發展，製造業已經實現了一定程度的自動化生產，但大多還只能歸為半自動化生產的程度，無法完全脫離人工的參與。但人工智慧技術的進步將為製造業的進一步自動化以及提升生產效率和準確性做出貢獻，在未來有望徹底取代人工環節，實現半自動化智能工廠到全自動化智能工廠的質的飛躍。

　　

　　人工智慧將催生全自動化智能生產工廠

　　西門子安貝格工廠，最接近全自動化的智能工廠：西門子安貝格電子製造工廠是被認為最接近工業4.0概念雛形的工廠。雖然早在1989年便已設立，但通過不斷升級改造，截止2015年該工廠的產能較1989年提升了8倍，合格率提高了40倍。

　　安貝格工廠超過3億個元器件都有自己的「身份證」，每當一個元件進入烘烤箱時，機器會自動判斷並使用相應的烘烤溫度、烘烤時長，並判斷哪一種元件應該在下一個進入烘箱，實現動態調節生產參數。值得一提的是，安貝格工廠自動化率已達近75%，只有生產過程的開頭部分需要人工參與，產品可與生產設備通信，然後通過IT系統集中控制和調節所有生產流程，使產品合格率達到99.9988%。

　　金融：關注投資決策輔助、信用風控、與智能支付

　　人工智慧技術在金融領域的應用具有十分巨大的想象空間，並且很多應用還處在起步階段，無論從技術角度還是普及程度看，都有很大的提升空間。可能的應用包括但不限於：投資決策輔助，實現信息的智能篩選與處理：核心價值在於幫助金融從業人員迅速找到自己想要的信息，以及利用大數據引擎技術、自然語義分析技術等自動準確地分析與預測各市場的行情走向。

　　典型的案例是美國的Alpha Sense公司，它是一款針對金融從業人員的智能搜索引擎，可以幫他們排除不相關的谷歌搜索結果。AlphaSense搜索資料庫涵蓋了自有客戶的內部數據，同時還有數以千計的外部來源，包括超過1,000家賣方研究機構和超過35,000家上市公司，如券商研究，SEC提交的文件和新聞稿特許財務數據。AlphaSense可以利用自然語言處理和搜索技術，簡化尋找和追蹤最相關的信息。同時可以幫助用戶快速查找和發現關鍵數據點，跟蹤與智能提醒有用的新信息，可以有效提升決策效率。

　　

　　AlphaSense智能搜索幫助提高投資決策效率

　　信用風險管控：人工智慧也能幫助建立金融風控平台，有助於投資項目的風險分析和決策、個人徵信評級、信用卡管理。如LendingClub作為全世界著名的P2P網貸上市公司，在審核借款人信用等級時可以做到自動決策，如果借款人通過了審核，LC會生成給出批貸或者不批貸的借款人，並且自動確定借款人的借款利率，然後借款人可以通過登錄網站選擇接受或者不接受貸款條件，在信用評級這一塊，Lending Club還運用了Facebook來挖掘用戶的日常行為信息作為信用評級的考評手段之一。

　　同時，在出借人端，Lending Club還具有自動投標功能，用戶只需提前設定好其希望投資的標的利率，然後平台自動將其資金投資到與用戶設定的利率相匹配的「貸款包」中，以分散風險。

　　

　　Lending Club的智能風控模式

　　智能支付：利用圖像識別或語音識別，實現「刷臉支付」或者「語音支付」。2015年3月，馬雲在CeBIT開幕式上演示了一項叫做SmiletoPay的掃臉技術，在購物的最後一個階段掃描人臉即可支付，識別率超過99%，這項技術是由螞蟻金服與Face++Financial合作研發的。2015年4月，百度錢包在全球移動互聯網大會上展示了語音支付功能，在支付環節，手機上會出現一串隨機驗證碼，用戶用語音念出這串驗證碼后即可支付。

　　無人駕駛：技術突破、立法加快，人工智慧決定可靠性

　　無人駕駛技術最初的發展從減少、防止機動車事故開始。從1950年至2000年，OEM車廠和Tier1的零部件製造商對車輛發明、生產了許多結構性的改進。最核心的就是四大安全系統：安全帶，防抱死制動系統（ABS），安全氣囊和電子穩定控制（ESC）。從2000年至今，汽車行業推出了一系列高級駕駛輔助系統（Advanced Driver Assistant System，ADAS）功能。從2000年的夜視儀、前方碰撞預警（Forward collision warning，FCW），到2002年的後置攝像頭、泊車輔助（Parkassist，PA），到2005年的車道偏離預警（Lane departure warning，LDW），到2006年的自適應前照燈系統（Adaptive front lights，AFS）、自動泊車（Automatic parking，AP）、盲點探測系統（Blind spot detection，BSD），到2007年的全景可視系統（Surround view systems，SVS），到2008年的前方碰撞輔助（Forward collision assist，FCA），到2010年的瞌睡警示Drowsinessalert，到2014年的車道保持輔助（Lane departure assist，LKA）。通過一系列的ADAS功能進一步地減少、防止機動車事故。2016年以後，部分無人駕駛的功能如單車道自動駕駛、交通擁堵環境下的自動駕駛、車道變化自動駕駛、城市自動駕駛等等有望逐步實現。再進一步過多到完全無人駕駛。

　　

　　無人駕駛技術發展歷程的四個階段

　　無人駕駛關鍵技術正在突破：無人駕駛技術是一個涉及感測器、計算機、信息通訊、自動控制、導航定位、機器視覺、人工智慧等多諸多前沿學科的綜合技術。根據無人駕駛的職能模塊，可將無人駕駛的關鍵技術分為：環境感知技術、定位導航技術、路徑規劃技術和決策控制技術。環境感知技術是通過多種感測器對車輛周圍的環境信息進行感知。環境信息不僅包括了車輛自身狀態信息，如車輛速度、轉向度、位置信息、傾角、加速度等，還包括四周環境信息，如道路位置、道路方向、障礙物位置和速度、交通標誌等。定位導航技術主要包括定位技術和導航技術。定位技術可以分為相對定位（如陀螺儀、里程計算）、絕對定位（如GPS）和組合定位。導航技術可以分為基於地圖的導航和不基於地圖的導航（如慣性導航）。其中高精度地圖在無人駕駛的導航中起關鍵作用。

　　

　　無人駕駛的關鍵技術

　　路徑規劃技術可以為無人駕駛提供最優的行車路徑。無人駕駛車在行駛過程中，行車路線的確定、如何躲避障礙物、路口轉向等問題都需要通過路徑規劃技術完成。據適用範圍不同，路徑規劃技術通常可分為全局路徑規劃和局部路徑規劃。決策控制技術相當於智能車的大腦，它通過綜合分析環境感知系統提供的信息，對當前的車輛行為產生決策。決策技術還需要考慮車輛的機械特性、動力特性，出合理的控制策略。常用的決策技術有機器學習、神經網路、貝葉斯網路、模糊邏輯等。根據決策技術的不同，控制系統可分為反射式、反應式和綜合式。隨著無人駕駛技術的不斷發展演進，對無人駕駛的立法變得十分重要。截至2015年，美國已經有16個州啟動無人駕駛立法；截至2014年是12個州，截至2013年是9個州，截至2012年是6個州。

　　

　　截至2015年，美國已經有16個州啟動無人駕駛立法

　　「無人汽車大腦」人工智慧的智能程度決定了無人駕駛的可靠性：由於無人駕駛完全交由汽車的內置程序負責，因此人工智慧就是無人汽車的大腦，而測距儀、雷達、感測器、GPS等設備都是人工智慧的「眼睛」。人工智慧的智能程度直接決定了無人駕駛汽車在不同的路況、不同的天氣、甚至一些探測設備出現故障的突發情況下能否及時做出正確的判斷並靈活調整行駛策略，最終決定了無人駕駛汽車當前最亟待突破的可靠性。NVIDIA在2016年的CES大會上發布了「DrivePX2」車載計算機，以及一套與之搭配的具有學習功能的自動駕駛系統。

　　

　　NVIDIA具有學習功能的自動駕駛系統

　　該系統的亮點在於「自我學習」，通過讓車輛自行分析路面狀況，而不是在資料庫中尋找預先儲存的策略實現自動駕駛，系統背後連接著名為NVIDIADIGITS的深度學習訓練平台，最終連接到NVIDIADRIVENET神經網路，為車輛的自我學習和完善提供支持。並且由於它是通過判斷物體的行進軌跡而不是物體本身去計算路徑，因此在駕駛時受天氣影響較小。

　　2016年10月20日，馬斯克在電話發布會中宣布，所有特斯拉新車將裝配『具有全自動駕駛功能』的硬體系統——Autopilot 2.0。這套系統包括8個攝像機、12個超聲波感測器以及一個前向探測雷達。攝像機將提供360度的視角，最大識別距離250米！

　　汽車的『眼睛』和『大腦』正在快速進化，眼觀六路、耳聽八方，計算能力更是實現了1 Terraflop（相當於80個處理器內核）的計算能力，遠超普通的電腦。

　　

　　人們駕駛的技能，將會像男耕女織、操作縫紉機、做木工手藝活一樣，逐步離開大眾，成為一些專業技能和個人愛好。

　　假以時日，人工智慧將會像一場無可阻擋的風暴，席捲你我的生活。而最佳的選擇，不是去抗拒，而是，與風暴共舞！