專訪簡仁賢：如何用情感交互拯救智障的機器人？

　　2017-08-17 07:26:42　來源: 網易智能

　　編者按：本期對話嘉賓為竹間智能創始人兼CEO簡仁賢，他為何要另闢蹊徑做情緒情感API，對目前語義理解難題有何解決辦法？又如何將人機交互解決方案成功應用到各個領域？

　　

　　本文系網易智能工作室（公眾號 smartman 163）出品，此篇為《AI英雄》專訪第28期。聚焦AI，讀懂下一個大時代！

　　作者|小羿

　　我問自己，為什麼會愛上你

　　我感覺一切忽然都不重要了

　　我所掌握的所有執念都消失了

　　我找不到明確的答案，我也不需要明確的答案

　　我相信自己，相信自己的感覺

　　我不想再嘗試成為，真實的我以外的東西

　　我希望你會接受這樣的我

　　——薩曼莎

　　這是電影《Her》中女主人公人工智慧系統薩曼莎對身為人類的男主人公西奧多的愛情表白。這部電影獲得了第86屆奧斯卡最佳原創劇本獎，也勾起了人們對於未來世界的憧憬。簡仁賢便是是深受這部電影影響的人之一。

　　作為前微軟（亞洲）互聯網工程院副院長，微軟小冰研發的奠基人之一，簡仁賢在2015年為了讓機器人具備情緒情感，毅然走上了創業之路。如今，他創立的情緒情感識別公司竹間智能科技已經走過了兩年的時間。

　　什麼是情感識別？能否拯救智障的機器人

　　為什麼現在的機器人感覺很智障，為什麼它們的交流如此生硬機械？

　　在簡仁賢看來，人與人之間的交流是自然的交互，包括圖像視覺、聲音與文字，都是有情感在的。而要想達到自然的人機交互，就必須使機器具備情感識別和理解能力。兩年以來，簡仁賢將大部分經歷放在了情緒情感技術的打磨上。採訪一開始，簡仁賢就迫不及待地向網易智能等媒體展示了他們與Google在人臉情緒辨別上的對比測試成績單，並進行了細緻的解說。

　　據簡仁賢介紹，竹間智能的一家合作夥伴將竹間智能Emoti-Face API與Google cloud vision API的做了對比。

　　測試結果顯示，竹間智能的人臉情緒API可以辨識9種情緒，包括開心(Happy)、生氣(Angry)、哀傷(Sad)、驚訝(Surprise)、害怕(Fear)、反感(Disgust)、輕視(Cotempt)、困惑(Confused)、中性(Neutral)。但是Google的人臉情緒API只能辨識4種情緒，分別是憤怒(Anger)、喜悅(Joy)、悲痛(Sorrow)、驚訝(Surprise)。

　　

　　六張不同人臉情緒的識別測試

　　註：測試對比採用香港中文大學ExpW資料庫作為測試集，測試機里有9萬多張人臉。

　　在同一個測試集里，竹間智能的人臉識別的準確率是96.68%，Google是81.52%。在人臉表情識別度上，簡仁賢介紹，這個維度測試同一張照片場景中不同燈光、角度下的三個人臉情緒，還有六張不同人臉情緒的識別。最終結果顯示，竹間智能的準確率達到了81.57，Google只有70.84，前者比後者高出15%。簡仁賢總結說，開心是最好辨認的情緒，在驚訝、哀傷的情緒上竹間智能領先Google的比較多，而生氣這個情緒很難辨認。

　　與此同時，簡仁賢還向網易智能介紹了人臉情緒的識別規律，竹間智能採用的是對錶情給一個幾率值，比如是0到1分數，哪個分值大就是哪種情緒。比如第一張臉系統判斷其他情緒值都是是0，只有開心值是1，就判斷整個情緒是開心的。而Google的做法是用四個值來衡量，Very Unlikely、Unlikely、Likely、Very Likely，用這個四個值的分數去辨別情緒。

　　

　　簡仁賢稱，竹間智能對於人臉情緒識別的演算法，大部分都是原創的，架構訓練和速度更快，不管是在CPU還是在GPU上測試，與其他演算法相比都是運算時間最少的。而且運行存儲十分小，容易直接做到單機上，甚至低端手機上。簡仁賢對自己的技術充滿了信心，「希望竹間智能能將自己的人臉情緒識別技術拿到業界做一個公開的評比。」

　　在人臉識別方面，除了9種情緒之外，竹間智能還對人臉做了22種屬性的識別，包括性別、膚色、皮膚質量、頭髮顏色、是否戴眼鏡、長發還是短髮、哪種鬍子、年齡等等。

　　簡仁賢稱，皮膚質量公司最新做的人臉屬性，可以識別斑點、黑斑、痘痘、黑眼圈、深皺紋、淺皺紋、晒傷、紅斑、油性皮膚、乾性皮膚等等，這部分已經得到了應用。

　　除了在人臉上進行情緒識別和屬性的開發之外，竹間智能還做了22種語義的情緒（基於文字）和4種聲音的情緒（基於聲音）。人臉表情、語義文字、語音聲波，三種情緒識別融合在一起構成了竹間智能最核心的情緒情感識別技術。

　　

　　在數據積累上，簡仁賢稱情緒情感的數據是買不到的，市面上多是一些只能做正負向兩個維度情緒的數據。為此，竹間智能除了少部分用公用數據外，大多數都是自己採集，從爬數據、清洗、標註，累積了大量的數據、數據集、訓練集、測試集，以及演算法的迭代。「因為情感情緒是非常難標註的，所以我們累積了兩年，擁有超過100萬張精確標準過的人臉。」簡仁賢表示。

　　基於情感情緒做人機交互，這條路走得通嗎？

　　

　　情緒情感的識別理解是竹間智能的核心技術，在此之上，簡仁賢把公司定位一家人機交互公司。

　　「竹間智能不是圖像公司、也不是語義公司，而是基於情感情緒的人機交互公司。」簡仁賢這樣給自己的公司定位。

　　在簡仁賢看來，要做到好的人機交互，必須要從人臉視覺上、語音識別、文字理解上都做到情緒情感的理解，並把三者融合起來。「只有這樣才能讓機器人，甚至是AI交互技術實現突破，實現深層的人機交互和理解。」

　　」在人臉識別方面，我們著重的是對於人臉的理解，有別於其它的視覺公司是做安防、人臉驗證、刷臉等技術。「簡仁賢稱，竹間智能在人臉識別上只做情緒情感，其商業模式是在人臉識別上提供情緒情感的辨識和決策。

　　簡仁賢表示，情緒情感的識別對機器人的語音識別、語義理解方面也有很大幫助。「我們有很多合作夥伴提供語料，都是用戶講了一大堆事情，關鍵詞就超過十個，按照傳統的方式無法匹配，還要讓用戶一遍遍地去做選擇題。我們的做法是首先辨別情緒，如果情緒極端不滿，不管你講什麼，先安撫和道歉，之後我再去判別你的意圖。」

　　「比如說在機場的場景上，乘客可能會問「北京到上海的這個班機在哪裡值機？」如果機器人通過攝像頭識別出乘客很慌張，後台馬上幫忙查詢航班，然後可能會先安撫乘客別著急，還有一個半小時才起飛，時間還來得及，我幫您查到了，是在XX號值機窗口，從這邊往右轉...."簡仁賢認為，這才是真正的人機交互。

　　機器人根本聽不懂你在說什麼？問題在上下文理解和記憶

　　對於目前人機交互最難的語義理解技術，簡仁賢也發表了自己的看法。他說，當下很多對話機器人或聊天機器人也好，或者是QA問答系統也好，其實它是不理解語義的。

　　「比如說你跟機器人講，某某明星好醜啊，然後機器人就說，是啊很醜。可是他不知道你是在講誰。如果我把某某明星換成敏感人物，形象、性別敏感的人物，這樣的就會造成言論的錯誤。」簡仁賢表示，如果只是隨便抓一條語料來回這個話，就很容易造成當下的一問一答關健詞的回話。」僅依靠關鍵詞匹配和後台搜索是做不好語義理解的，它只會導致聊天的效果是不可控的，失去了人機交互的黏性。「簡仁賢揭了bot們的底。

　　

　　簡仁賢認為，語義理解應該是包括上下文的理解和記憶兩部分。由上下文和記憶的理解再來理解情緒情感，然後識別意圖，才有辦法得到一個理解的結果。只有真正理解每句話的意圖，機器人才有辦法判斷如何回話。

　　「記憶包括短期記憶和長期記憶，短期記憶指的是我們在對話的48小時之內的東西，長期記憶是有關於你的屬性，你喜歡什麼，不喜歡什麼，你的年齡，你的愛人是誰，你住哪裡，老家哪裡，你喜歡誰的電影，喜歡聽誰的歌等等。」簡仁賢對網易智能表示，對於記憶的部分，竹間智能是從對話裡面用語義理解的技術，去把這些抽出來，然後去除隱私信息，再建立起來的。

　　但即便這樣，人機交互的語義理解部分還是存在的很大的問題，尤其是中文，同一句話可能在不同的場合表示不同的意思。

　　簡仁賢表示，目前在開放式領域，能夠精準的判斷你的意圖是做不到的。但是如果限定在特定的對象或環境中，就比較好。「在開放式領域，比如我在家裡說太吵了，那我說的是外面吵還是電視太吵？但是如果我對著電視講，太吵了，我的意圖是把聲音關小一點。」「我對證券業說，我的股票主力走了沒，主力是什麼意思？我對一個球隊說橫打主力是誰，這個主力跟那個主力不一樣的。所以我對著特定領域的「主力」，這是代表不一樣的意思的。「簡仁賢解釋到。

　　目前，竹間智能已經根據特定領域做了幾百種意圖，這些意圖識別準確率達到90%以上。「但是僅僅建立一個特定領域的理解還是不夠的，我們會配合合作夥伴，利用他們的數據來做一個適合他們的，這就成了解決方案。「簡仁賢表示。

　　技術落地，如何將人機情感交互用到行業中？

　　技術搭建成熟以後，簡仁賢發現還是不能達到真正的效果，所以他的團隊將觸角伸向了應用領域。「只有到行業里去應用，才能夠拿到真實的用戶的使用數據，對你的模型才能做更精進。」簡仁賢說。

　　簡仁賢認為，在應用領域，是一個快速迭代的過程，「像我們的情緒情感的模型做了四代了，我們的意圖引擎也重寫了四次了。包括我們的語義理解，語義理解的部分都重寫了兩次。就是因為我們獲取到的的信息不一樣，但是我們的架構很低耦合，可以讓我們做到快速迭代。所以場景的應用是很重要的。「

　　目前，竹間智能的情緒情感的人機交互解決方案已經用到了電商、金融和物聯網等領域。

　　在金融領域，竹間智能主要服務金融、證券、保險三個子領域。「比如金融業務之前問答系統，用戶的黏性和效率都是很低的。傳統的問答系統其實需要人工維護，而且維護成本相當高。因為他們要寫幾萬個，甚至於十萬個以上的模板來維護，都是模板維護，它不是人工智慧。所以傳統的客戶系統，他們是急需要智能的，用人工智慧的技術來解決。」據簡仁賢向網易智能透露，目前金融部分的業務已經成為竹間智能的主要To B業務。

　　其次，電商、零售、快銷這些領域是竹間智能最開始接觸應用場景。「比如電商客服場景，用戶進來有可能說，我貨訂了這麼久，為什麼還沒收到？對於商家來講他需要知道你的意圖是什麼，是要查物流嗎？可是首先我們通過情緒識別出不滿，先安撫，然後再查物流告知貨什麼時候送到。」簡仁賢稱，這樣的人機情感交互完全有別於傳統的機器人客服。「傳統的智能客服系統都是不智能的，如果用戶跟機器人講，我這個貨訂了好幾天了都還沒收到。機器人會回復：我猜你要問的是，1，2，3.......然後你再選，然後選完以後可能最後再給你選擇。」簡仁賢說到。

　　另外，竹間智能目前還利用22種人臉屬性以及9種時尚穿著識別，為美妝導購產業服務。「包括快銷品、護膚品、化妝品，跟臉有關係的場景都可以用到，我們可以依據人臉屬性和情感情緒，做適時的個性化推薦和導購。」簡仁賢說。

　　第三個落地場景是物聯網部分，包括機器人、手機、電視等。「這三個應用領域是可以融合的，比如說機器人公司將產品賣給銀行網點的，剛好我們有銀行的知識，就可以用上了。我們的商業模式是一個體系的，這樣容易把服務串起來。」

　　

　　簡仁賢表示，公司的目標是在未來兩到三年，通過融合視覺、聲音、文字三種情緒識別技術，做出一套完整的多模態人機交互解決方案。當然，這個解決方案是可以高度定製化的。

　　對於未來的商業模式，簡仁賢認為，情緒情感識別是非常專業和垂直的技術，是在走大公司沒有專註的事情，也不會和市面上特別火的圖像識別公司產生衝突。，「其實在AI的領域裡，只有靠小公司才有辦法在特定領域裡做出來一些場景，大公司不可能為其它的公司需要AI場景的做定製化服務。」簡仁賢表示，竹間智能未來會給一個標準的解決方案，然後在標準的解決方案上面為客戶進行定製化。

　　「很多人說服務機器人不看好，我說服務機器人在未來三五年會很流行，特別是在無人店。」簡仁賢表示，我們現在希望把服務機器人變得很智能，把情感元素加進去，把意圖元素加進去，融合各式各樣的場合。(完)

　　關注網易智能公眾號（smartman163），獲取人工智慧行業最新報告。

　　

　　點擊查看《AI英雄》專題，往期內容一步直擊！

　　1、專訪微軟洪小文：下一個十年，AI應用將成兵家必爭之地

　　2、專訪地平線機器人技術余凱：我特立獨行 不畏懼行業泡沫！

　　3、專訪科沃斯錢東奇：人工智慧落地還要十年，你很酷不代表你能存活

　　4、專訪雲從科技周曦：刷臉時代 一支」國家隊」的獨特」戰法」

　　5、專訪馭勢科技吳甘沙：2021年實現L5自動駕駛很難 共享無人車可期

　　6、專訪優必選周劍：人形機器人普及還要十年，90%創業太虛都會死

　　7、專訪聯想芮勇：以前大家把搞AI的當騙子 現在我希望AI是只"慢牛"

　　8、專訪第四範式戴文淵：AI的Windows時代何時到來？

　　9、專訪英特爾宋繼強：如果機器人取代了你的工作，要學會靈活轉型並與AI共處

　　10、專訪圖森未來侯曉迪：那些不能盈利卻說要改變世界的人，不是騙自己就是在騙別人

　　11、專訪Gowild邱楠：討厭硬體免費，所有的付出都應該被尊重，今年低成本機器人會上量

　　12、專訪碼隆科技黃鼎隆：人工智慧已裝酷60多年 現在的核心是賺錢

　　13、專訪微軟黃學東：語音交互的技術前景到底是怎樣的？

　　14、專訪達闥科技黃曉慶：機器人的1G時代何時到來？

　　15、專訪出門問問李志飛：人工智慧將成為人類智商的延伸

　　16、專訪ROOBO劉穎博：我如何走過機器人市場的那些坑？

　　17、專訪英語流利說CEO王翌：為什麼中國人學英語效率這麼低？

　　18、專訪百度風投劉維：哪些AI公司會在泡沫中死掉

　　19、對話哈薩比斯：AlphaGo告別圍棋AI的故事剛開始

　　20、專訪于爾根：AI早就有了意識 未來十年行業走向哪？

　　21、專訪尼科：用腦機介面下載意識實現永生 還有多遠

　　22、專訪楊強：阿爾法狗已經是上帝？它還有致命弱點

　　23、對話尤瓦爾：AI替人類工作不可逆 智神將掌管世界

　　24、專訪彭軍：L3不適合商業化 無人車要考慮場景應用

　　25、對話李德毅：「駕駛腦」裝進汽車 堵車將成歷史

　　26、對話景鯤：DuerOS要做語音交互時代的安卓 有戲嗎

　　27、專訪謝殿俠：別只盯著音箱 語音交互將重構APP