沈定剛教授：深度學習在醫學影像分析中的應用丨2018醫學影像AI經典演講回顧（二）

　　2019-02-03 14:06人工智慧/開發/技術

　　

　　作為國內最早一批密集報道醫學影像AI產學融合與醫工交叉的媒體。2018年，雷鋒網AI掘金志全程報道了從海外MICCAI、RSNA、CVPR到國內ISICDM、MICS等眾多頂級大會，同時也是多個知名醫學圖像分析學術論壇的獨家媒體與首席合作媒體。

　　此外，AI掘金志自己也舉辦了CCF-GAIR全球人工智慧與機器人峰會丨計算機視覺+醫學影像專場，邀請到七大Fellow當選者田捷、MICCAI大會主席沈定剛、飛利浦中國CTO王熙、微軟亞洲研究院副院長張益肇等專家在大會上做了深度報告。

　　作為春節特輯，AI掘金志將在假期持續推送上述會議中的經典演講全文，歡迎大家關注。

　　首期內容我們送上了田捷教授的《基於AI和醫療大數據的影像組學研究及其臨床應用》 。

　　本期，我們將推送沈定剛教授的演講內容。

　　「在美國將近20年，我都是在霍普金斯大學、賓夕法尼亞大學、北卡大學教堂山分校的放射科里與醫生們一起工作，因此知道他們的整個工作流程，知道怎麼把我們的人工智慧技術更好地應用到他們臨床流程里的相應部分中去，而不是從頭到尾都使用人工智慧。」沈定剛教授在演講中談到。

　　沈教授現為美國北卡羅來納大學教堂山分校終生教授、傑出教授，美國電子和電氣工程師協會 (IEEE)會士，美國醫學與生物工程院(AIMBE)會士和國際模式識別協會(IAPR)會士，國家千人（短期），在國際權威期刊上發表論文400餘篇，被引用2萬餘次。在最近Guide2Reasearch網站發布的2018年全球計算機科學和電子領域，沈定剛教授H-index 82，在該指數的前1000名華人學者中排名第13。

　　沈教授在1999年就前往美國約翰霍普金斯大學醫學院放射科從事醫學圖像分析方面的工作，是世界上最早開展醫學影像人工智慧研究的幾位科學家之一，並最先將深度學習應用於醫學影像，從事醫學影像分析、計算機視覺與模式識別等領域的研究近20年。

　　沈定剛教授認為，所謂的AI或者深度學習，只是解決問題的一種方法，方法必須為解決問題服務。他也時常告誡自己的學生：這個行業里的研究者，不能光知道深度學習，很多幾十年累積起來的經典方法都必須要懂。因為一個方法不可能解決所有的問題，每種方法總有它的局限性。同時，在思路上，應該是通過問題找方法，而不是用方法來找問題。

　　沈定剛教授經歷了人工智慧由低谷轉向高潮的過程，但是不管行業冷或者熱，從研究生開始的20多年的研究工作中，他的主線就是用圖像分析的方法來解決臨床問題。

　　沈定剛教授率領著一個學術能力強大的團隊，其實力在智能醫療領域處於國際引領水平。據了解，今年他的團隊有20篇論文被醫學影像AI的頂級會議MICCAI錄取，其中12篇被大會提前錄用。論文主要有幾個研究方向：圖像成像、圖像配准、老年痴呆症和兒童自閉症的診斷。

　　沈定剛教授表示，現在國內很多初創公司的發力點集中在診斷環節，但醫學是一個很長的鏈條，成像、檢測、診斷、治療、預后每個環節都大有文章可做。將AI應用到源頭，即成像質量的提高，將會是未來的一大熱點。

　　他的團隊從成像方面入手，研究如何利用AI技術，實現低成本、快速和高質量的成像，以此發表了4篇MICCAI論文。「一方面是應用AI技術，將質量較差的影像變成質量更好的影像；第二個方面是在具體應用過程中，將病人採集過程中丟失的圖像補回來；第三個方面就是快速成像，因為有些模態圖像掃描慢、雜訊很大，AI技術可以將需要幾分鐘掃完的圖像在幾十秒內完成，這將很好提升患者體驗。」

　　在圖像配准方面，沈教授的團隊研究通過無監督深度學習方法來進行圖像配准。在做醫學圖像分析時 ,經常要將同一患者幾幅圖像放在一起分析，從而得到該患者多方面綜合信息，提高醫學診斷和治療的水平。對幾幅不同的圖像作定量分析，首先要解決的就是幾幅圖像的嚴格對齊問題。他坦言，圖像配准實現起來難度也很大，遠遠超過圖像的分割、診斷。

　　在深入到具體病例研究中，沈教授的團隊也獲得了一些實實在在的成果：3篇關於老年痴呆症診斷的論文，6篇關於兒童腦發育和自閉症診斷的論文。在接受雷鋒網採訪時他說道，現在關於老年痴呆症的研究非常火，但在十年前，這類研究課題在美國非常難申請，100個課題里可能只有3%-5%能夠通過。老年痴呆症的研究其中一個方向是用人工智慧的方法來建立腦部功能網路，用多層次的方式來表示大腦裡面的網路連接，以此預測老人會不會從輕度智力障礙轉變成老年痴呆症。

　　兒童自閉症的預測也一直是醫學界的難題。通常要等到兒童3到4歲才能確認其是否患有自閉症。沈教授的團隊希望藉助人工智慧，將這個預測時間提前至僅6個月大的嬰兒，根據這個階段嬰兒的腦部結構圖像來預判是否3到4歲時會患自閉症。

　　實際上，對自閉症的研究，沈定剛教授所在的北卡羅來納大學教堂山分校已經累積了深厚的數據。該校在十多年時間裡收集了將近2000例個體樣本（包括正常兒童）。「兄弟姐妹中若有患自閉症的兒童，他們自己得自閉症的概率非常大。UNC對這類高風險兒童進行跟蹤記錄，在他們6個月、12個月、18個月等時間段獲取他們的腦部圖像。如果到3到4歲時發現患有自閉症，就返回去看他小時候的圖像。正是因為有了這些延續性的數據，才有可能用人工智慧方法來預測自閉症。」

　　去年10月，沈教授完成了一次身份轉型，同時擔任聯影智能聯席CEO。學界和業界的融合，需要沈教授花費更多的精力。他開玩笑說，從今年1月開始到現在，已經瘦了10斤。同時他也表示，業界的身份其實對學術研究幫助很大。公司在實際過程中會遇到更多、更複雜的問題，一定程度上也為研究者拓寬了思路。

　　以下為沈定剛的現場演講內容，雷鋒網作了不改變原意的整理和編輯：

　　沈定剛：非常感謝雷鋒網的邀請，我演講的題目是「深度學習在醫學影像分析中的應用」。上午嘉賓們講了很多深度學習方面的工作，其實我們在2012年就率先把深度學習方法應用到醫學影像分析中。從那以後，深度學習在醫學影像中的應用越來越多。現在大家關心的影像AI，我認為有一點至關重要，那就是跟醫生的密切合作。

　　我在美國將近20年，都是在醫學院的放射科（霍普金斯大學、賓夕法尼亞大學、北卡大學教堂山分校）跟醫生們一起工作，從中知道他們的整個臨床流程。只有知道他們的整個流程，才能把我們的人工智慧技術更好地運用到臨床流程的相應部分中去，而不是從頭到尾整個流程都用AI，那是不可能的。

　　我在學術界工作了很長時間，國內有100多位高校老師從我的實驗室學習回來，其中有近二十位已經成為高校的計算機學院、生物醫學工程學院的院長、副院長、系主任或副系主任。現在我覺得，高校的影像AI研究與公司的影像AI持平開發之間的差異越來越小。但是，學校里做的研究，通常數據非常小，這樣研究結果推廣性相對較差。

　　今年年初開始，我領導聯影智能專門做影像AI。聯影智能是上海聯影的子公司，聯影是國內最大的生產高端影像設備的企業，其生產的影像設備，在影像前、影像中以及影像后都會需要用到人工智慧技術。剛才有嘉賓提到如何將計算機視覺用到影像中去，其實這裡有一個相應的例子。比如在邊遠地區的基層醫院，我們可以給他們提供很好的影像設備，但是他們通常缺乏好的技師，不能準確地定位病人來掃描，這時候計算機視覺就可以幫助病人的準確定位，完成一鍵掃描。

　　當然，人工智慧技術如果只應用在後面的診斷，而不跟影像設備結合起來，總體效果不一定好。我們要做的是全鏈條、全棧式的影像人工智慧，也就是用人工智慧優化從成像到影像的篩選，再到後面的跟蹤、診斷、治療和預后這樣一個完整的流程，從而達到最佳診斷效果。

　　現在很多公司都在做肺結節檢測，但通常是在給定圖像的情況下來完成。想象一下，現在，如果把成像過程跟後面的人工智慧診斷結合起來，這就像在掃描過程中有一位有經驗的「醫生」坐在那裡，每重建一些slice圖像，這位「醫生」就會告訴你這裡有沒有肺結節，如果有可疑肺結節，設備就自動重建得密一些，正常的slice就按常規的厚度去重建。這樣的結合，就有可能把後面的肺結節檢查做得更好；如果讓醫生人工來看，也可以看得更仔細，並且不增加多少工作量。

　　大家都在講人工智慧，幫助醫生診斷，這樣的人工智慧（Artificial Intelligence AI）其實是輔助智能（Assisted Intelligence AI）。除此之外，我們還要做超越人類的增強智能，這時候的Artificial Intelligence （AI）就變成了Augmented Intelligence（AI）。比如說，小孩發育過程中，如果皮層發育不好，可能會患自閉症；但是造成自閉症的皮層病變可能只有0.3%，醫生手工測量要達到這個精度非常困難。 我實驗室裡面每年有幾位來自大陸以及台灣的醫生，包括主任醫生、副主任醫生，以及來自台灣長庚醫院的醫生。我讓他們人工來標圖，他們標出來的皮層之間的差異高達30%，而且同一個醫生前後兩天標註的差異高達20%。因此0.3%的變化，通過手工方法是測不出來的。這時候我們需要的就是增強智能，是超越人類的「人工智慧」。

　　剛才有嘉賓提到了標註問題。醫學上的標註跟計算機視覺的標註存在很大差異。計算機視覺的標註，只要是正常人，即使沒上過學，也可以標註出圖裡面哪裡是車，哪裡是人，哪裡是路。而在醫學領域，只有影像科的醫生才可以標，而且只有有經驗的醫生才能標得好，但是全世界這樣的醫生人數有限，所以醫學影像的標註非常難，非常複雜。

　　做影像AI，我們必須知道我們要解決什麼問題，然後找相應的技術來解決問題，而不是有了技術再找問題。

　　我下面要講的技術是用於解決我們手頭上的兩個重要問題。

　　第一個要解決的問題就是Baby Connectome小孩腦發育里的問題。當我們採集了6個月大嬰幼兒的影像和基因信息，我們想知道，這小孩三到四歲時會不會患自閉症？ 我們知道，孩子在小時候腦子的可塑性非常強，如果小孩6個月大的時候我們就知道他將來會患自閉症的話，就可以提前對他進行一系列的特殊訓練、特殊教育和干預。這樣的話，這小孩雖然3到4歲時還會患自閉症，但等他成人以後還有可能正常地生活和工作，這是非常有意義的。

　　第二要解決的問題是腦子老化可能導致的老年痴呆症問題。例如，有人在70歲得了輕度智力障礙，我們的問題是這位老人會不會在幾年以後轉變成老年痴呆症？ 要回答這個問題，我們需要有比人的能力更強的AI。

　　先舉一個例子，關於小孩早期腦發育。我們知道小孩出生后的前12個月非常重要，因為在這個階段小孩開始學習說話、走路，有很多病變可能也在一年內發生。首先，我們來看一張同一個小孩從出生到60個月大時的腦圖像。我們前一年每隔三個月對小孩的大腦進行掃描，從而獲得小孩腦子前一年的變化。經研究發現，第一年小孩的大腦體積增大120%，第二年大概增大15-20%。很多早期的病變，比如自閉症，在第一年就已經可以看到相應的癥狀，但是第一年圖像變換非常複雜。這裡我們不用視頻的形式，而是把圖像一幅一幅顯示出來。最左邊是兩周的圖像，最右邊是12個月的圖像，中間是6個月的圖像，可以看到紅的曲線和綠的曲線幾乎完全重疊在一起。

　　我們腦子裡包含白質、灰質、皮層，皮層里的灰質包含我們的腦神經元。要在前6個月的時候就能預測小孩3到4歲的時候會不會患自閉症，需要對腦子進行一系列複雜分析：第一步是腦圖像分割，就是把白質和灰質從圖像中分割出來，但這是一個非常難的問題。請注意，利用現有的成人圖像的所有分析方法都不能準確分割小孩的腦圖像。我們可以看看用成人圖像分割方法的結果，分割得雜亂無章。這方面我們在UNC做了10年的研究，投入了很多博士后和學生，這些人後來也都成為了本領域的專家，取得了很多研究成果。

　　除了研究腦結構之外，還可以研究腦連接（腦區之間的連接）和腦功能。有了這一系列的投入和十年的研究積累，我們才可以做剛才提到的增強智能。雖然現在有很多初創公司，但還沒有一個初創公司碰這種複雜的腦圖像分析，特別是小孩腦圖像的分析。

　　我們做了一系列的研究，研究如何把圖像分割開來，如何把左右腦分開。重建的腦表面有很多洞，我們也可以用人工智慧（Deep Learning）的方法做自動糾正。皮層裡面有內表層和外表層，如何把它翻開來，然後把整個腦子裡面分成很多的區域，每個區域有不同的功能。比如說海馬是管我們記憶的，老了以後，我們的記憶喪失了，因為海馬萎縮了；這裡面不同的顏色表示不同的腦區域。在這個應用中，給你一個三維的腦圖像，我們需要用三維的方法把相應的區域識別出來；有時需要用四維甚至五維方法。例如功能圖像，每過1秒採集一副功能圖像，裡面的每個位置測量相應的血樣成分，這時候的圖像是四維圖像。分析四維圖像，比分析二維或三維圖像更複雜。另外，若要知道腦結構變化與病變的關係，和醫生的合作非常重要，這是非常複雜的研究，而我這裡只講了一個分割問題。

　　如果你感興趣的話，所有具體的方法都可以在我給出的論文中找到，而我只介紹一下概念。做腦圖像分割，首先我們把圖像分割成腦液體和腦組織，這個腦組織包括白質和灰質。很重要的一點，所謂的Deep Learning，我們必須要把它和臨床信息結合起來。早晨有人問到，Deep Learning已經很流行了，是不是傳統方法就沒用了？如果你把前面二三十年已經研究得很好的傳統技術和Deep Learning結合，其效果會有很大提高。同樣，如做分割只是把腦子裡的腦組織和腦液體分割開來，分割完了之後，再訓練第二個神經網路，這樣可以精細地把白質和灰質分開來。要做到這樣非常精細的分割結果，需要很多的積累。如果只是用現有的方法，就只能看到剛才雜亂無章的結果。

　　下面我首先介紹聯影智能公司（簡稱UII）做的一些研究。

　　第一個是癌症的治療。醫生至少要花幾個小時來勾畫人的器官。而我們用Deep Learning來勾畫，每個器官少於一秒鐘就可以完成。同時，我們想用最便宜的GPU實現最貴GPU的性能。因為在聯影，手持的設備不可能用很貴的GPU，所以在這個條件下我們必須在保證準確率不下降的情況下，使用最便宜的GPU。我們基於3000個來自不同類型的CT數據（這在影像分析中其實已經是非常大的數據了，很多情況下只有幾十個、幾百個），這裡面有大概一二十個器官，我們將它們全部分割出來，每個器官只需要0.7秒左右。

　　醫學影像必須跟醫生很好地結合起來。例如，醫生在診斷老年痴呆症時，看腦子不同區域，比如說紅點區域，判斷腦室有沒有長大，海馬有沒有萎縮，再綜合判斷這個人有沒有患老年痴呆症。基於這樣的診斷方式，我們利用神經網路來做訓練區域的自動檢測，然後利用區域信息和另一個神經網路做老年痴呆症的預測和診斷。如果一個新的病人來看醫生，只需採集他的圖像，通過訓練好的兩個神經網路就可做疾病的診斷和預測。如果這個人是輕度智力障礙，我們還可以預測5年後他會不會變成老年痴呆症。

　　另一個應用場景是幫助醫生來看肺部圖像。先用人工智慧助理檢查一遍，沒有問題的圖像可以排在最後面，有問題的圖像放在最前面，醫生就可以先看有問題的圖像。特別是醫生早晨剛來的時候，他非常清醒，所以他犯錯誤的可能性非常小，後面的他可以不看，即使他看的話，由於疲憊導致犯錯所帶來的影響也不大。現在我們的演演算法精度已經很高，遠超同行。

　　剛才說到，在計算機視覺裡面，你可以畫一個包的輪廓，計算機會給你生成一個你喜歡的包，這個技術在醫療領域也有很多應用。這裡左邊是核磁共振（MRI）的圖像，右邊是CT圖像。CT可以清晰顯示人體組織在每個位置的密度，這對放射治療非常有用。但是，如果要知道射線打進去涉及哪些地方，CT圖像裡面有很多軟組織是顯示不清楚，而MRI可以把軟組織看得很清楚。如何把兩者結合起來？無需既做一個CT又做一個MRI，而是從MRI中估計出像真實CT的圖像。

　　我們可以比較用GAN從MRI生成的CT圖像跟真實的CT圖像，可以看出它們差異很大。如何把它做得更好？可以用Context-Aware GAN。例如，用第一個已訓練的GAN，可以把MRI生產一個CT圖像，但效果不太好；我們可以用這個生產的CT加上MRI訓練第二個GAN，然後把它用到MRI上，生成新的CT圖像；這樣可以繼續下去，最後得到一個高質量的CT圖像。

　　
　　

　　我們比較一下，左邊是MRI，右邊是生成的CT，經過四層輸出之後，可以看到它和真實的CT圖像差異非常小。這樣的圖像可以用於治療規劃，但不能用於診斷，因為小的病變可能在處理過程中會丟失。這也是為什麼我一直強調做醫學影像一定要和臨床結合起來。我認為，現在學術界和工業界的醫學影像AI研究和開發是沒有多大區別的，是相輔相成的。

　　提問：我是做傳統圖像的學生，我看您做的醫療圖像的識別跟傳統圖像識別有很多共通的觀點，我比較關心的是相對於傳統圖像來說，醫療圖像在設計網路或者訓練方式上有哪些特殊的問題需要進行針對性的設計？另外就是對於我們這種從傳統圖像想轉做醫療圖像來說，您覺得最大的障礙在哪裡？是數據不公開的限制，比如說醫院很多數據是不公開的，還是說我們對醫療方面專業知識的缺失，導致我們設計網路的時候會忽略一些信息？

　　沈定剛：你的第一個問題非常重要。我們要非常清楚，在進行醫學影像研究時，圖像里的每一個小點都是我們人體非常重要的部分，對每一點都要非常重視，這是和做傳統圖像識別的區別。另外，傳統圖像識別很多是二維的，很多人還是用二維的方法來做三維、四維的事情，但他們差異性非常大，所有的網路必須變成三維、四維。

　　怎麼樣從事醫學影像研究？醫學影像的門檻非常高，不能自己一個人去干，必須要有一個非常有經驗的人帶領。此外，醫學影像要用醫生的話來說醫生的事情，也就是能和醫生進行專業對話。所以我認為，要做好醫學影像AI，必須要跟非常有經驗的老師來做。今年6月27日，上海聯影智能成立了醫智合作培育研究中心，希望能把醫院放射科醫生和理工科人員聚集起來，大家一起來做醫學影像AI。我們不僅提供這個平台，還幫助和指導他們更好的運用影像AI。相信他們在這裡訓練完之後，回到醫院或者學校，自然而然就會成為該領域的專家。幾年之後，相信我們中心會培養出更多人才，培養很多真正懂醫學影像AI的專家，這樣整個行業才能有更多的人，來一起推動行業的發展。

　　提問：您來到聯影智能之後，在成像的研究應該給聯影智能非常具有啟發性的幫助，我們對聯影智能也有很大期待。剛才您講到T1和T2的成像問題，未來聯影智能會考慮這種序列上的改善，然後去做這樣的成像方面最前沿的嘗試嗎？

　　沈定剛：對，這都是要變成產品的。我們把人工智慧的方法跟剛才我說的成像結合起來以後，所得到的結果完全讓那些從事MR成像人員的出乎意外。其實，人工智慧可以與很多領域結合起來，開發出很多新的技術。