0
近期，雷鋒網醫健AI掘金志邀請阿里巴巴達摩院醫療AI負責人遲穎，做客雷鋒網公開課，以“醫療AI技術的探索和疫情期間的實踐”為題，詳細介紹了阿里達摩院在醫療健康AI上的探索與最新成果。
后續將有更多課程上線，添加微信公眾號 醫健AI掘金志 在公眾號聊天框回復“聽課”，進群可收看本節課程視頻回放
2017年10月11日，阿里巴巴達摩院正式成立，定位于基礎科學和創新技術研究。目前分布在全球8個城市，有1000+研究員。達摩院的人工智能中心是阿里云智能負責云上人工智能基礎技術研發及產品落地應用的團隊，主要在城市大腦、工業視覺、設計智能、醫療健康等領域提供AI技術支撐。
在講座中，遲穎系統地介紹了疫情期間，達摩院在新冠肺炎CT影像診斷、全基因組測序分析、疫情預測、醫療行業機器人翻譯系統、基于知識圖譜的智能問答等一系列技術與落地成果。
以CT影像診斷為例，目前，達摩院的相關產品已經為500多家的醫院服務，同時還在向海外各國開放。最快兩秒、最長20秒就可以處理一個病例，每天最多分析一萬三千例樣本。
而在全基因組分析方面，達摩院的數據分析能力，可以將此前2～3天的全基因組分析全流程提速5倍，并且每個樣本數據分析的時間從6個多小時縮短到幾分鐘。
遲穎表示，我們很希望盡快把醫療相關知識融入日常研究，用科技去服務我們的客戶，和合作伙伴進行更好的合作，改善人們的生活、醫療健康狀況。
以下為遲穎演講全文內容，醫健AI掘金志做了不改變原意的編輯
2017年10月11日，達摩院正式成立，定位于基礎科學和創新技術研究。目前分布在全球8個城市，有1000+研究員。人工智能中心的醫療健康板塊，我們會在影像診斷、基因分析、智能問診、醫療搜索、公共衛生等方面，為醫生、病人以及相關機構提供輔助診斷和決策的AI技術支撐。
我們首先講一下，醫療健康AI能做什么？
經過統計，健康的因素主要分為：保健服務10%，基因因素20%，環境因素20%，健康行為50%；健康花費方面，醫療服務占了88%，5%的病人消耗掉了60%的醫療資源，其他的健康監控行為僅占4%。
一般我們什么時候會得到最好的醫療服務？是將要離世時在ICU病房里。
ICU病房里的傳感器非常多。飛機和車都有傳感器，每一天飛機有2T的數據產生；而車以特斯拉為例，每一個小時傳40T的數據到云端；健康人群包括亞健康人群，收集到的數字是零。
實際上人的血管、心肌和骨骼是沒有神經感知的。所以當這些部位的疾病出現時，我們怎么去盡早預防和干預？
這里是達摩院醫療健康智能的一個簡單介紹。
我們的任務是希望讓AI輔助醫療保健，使醫療分析和健康管理變得高效、普惠、低成本。
我們主要分四個部分：視覺引擎、知識引擎、搜索引擎和基因引擎。
剛剛講到傳感器很重要，所以我們也很希望可以通過聽覺、視覺、感知和文本，去保證身體的健康體征可以被監測到，比如心臟，血糖血壓，睡眠或步態等常見的特征。
智能健康管理實例
對于一些老年人或者亞健康人群，有一些檢查是我們現在正在進行中的，如智能健康管理。
我們在2019年剛剛舉辦了一場心電圖的天池大賽。心電圖的智能預警，心律失常事件可以得到準確的預測，對重要心律失常事件比如停搏、心動過速、房室顫，ST段變化等進行預警。
心血管AI輔助診斷是基于心臟CT數據分析，針對這些影像做心電門控心臟CT鈣化積分運算、冠狀動脈CTA影像分析等等。
膝腰疾病的識別主要基于影像（CT、核磁共振等），提供相關的疾病智能分析功能，比如腰椎退行性疾病等監測。
糖尿病慢性病的管理，包括健康指標收集，風險模型評估，干預建議方案，健康再評估，通過康養社區智能硬件設備收集相關信息。
高血壓/高血脂，雙高是老年人常見的疾病，也是比較危險的疾病。我們進行雙高區域分類，希望早期篩查、發現、干預，進行多元數據的融合，包括利用基因數據進行疾病發病率預測。
老年人步態分析，包括刻板步態、曲線步態、減痛步態以及短腿步態等。基于這些步態可以分析是否患病，比如帕金森、阿爾茲海默癥、膝髖關節骨性關節炎、小腦功能障礙等等。
醫療小組影響力
首先，我們在一些比賽中取得了還不錯的成績。
2017年7月份的Luna16肺結節篩查比賽拿了冠軍；BB Task NLP 關系提取大賽是一項第一、一項第二；MICCAI的LiTS肝臟和肝結節比賽，三項世界第一；Image到文本的轉換比賽叫ImageCLEF med captioning，獲得第2名；2019的骨科脊柱分割世界大賽第2名；MICCAI PAIP的肝臟病理分割第4名。
我們還舉辦了很多的天池大賽，最早的有一場肺結節，然后有高血壓和高血糖結果預測的比賽。
去年一年就有三場比賽，主要是肺部綜合、心電圖和病理，每場比賽都吸引了全球2000多支參賽隊伍。
在投論文方面
1、基因方向，去年10月份，在心臟發育和疾病方向上發了一篇nature子刊nature communication。
2、19年7月份，心臟冠脈中心線自動提取算法被MICCCAI 2019提前收錄。心臟弱監督的分割已經投稿了明年的MICCAI。
3、冠脈分支命名是被CVPR 2020收錄。CVPR雖然不是醫療領域的會議，并且每年醫療方面的文章只有20篇左右，能入選很不容易。但它是影像處理的頂會。早在CVPR 2017的時候我們就有一些文章，像貝葉斯監督哈希算法等等。
4、IEEE ISBI上我們一直都有論文，比如肝臟血管分割核心技術已經被ISBI 2020會議收錄。去年是3D肺結節檢測及分割，以及肺部區域分割的新方法等。
冠脈CTA影像智能診斷
最初，達摩院主要是聚焦在心臟和骨科兩個方向上。先介紹一下冠脈CTA影像智能診斷。
功能在這里簡單羅列一下，主要是CTA冠脈樹智能重建、冠脈分支自動命名、智能狹窄檢查及斑塊類型分析、智能鈣化積分計算功能、左心室心肌厚度評估功能、結構化報告和膠片打印。
右下角是我們對心臟冠脈標注的一個全自動工具，可以幫助醫生迅速地把狹窄和斑塊標注出來。這里面是整個血管的中心線提取，整個過程都是全自動的，可以節省醫生大量的時間。
下面我們看一下冠脈CTA里面的一些亮點，主要是高精準的冠狀動脈識別和分析。
我們可以看到視頻里不同的顏色，已經把不同的冠脈分支表現出來了。
左圖中所示，其他方法能檢測到的冠脈主干和分支比較粗的地方，而我們的方法可以精細到主干末梢和很細的分支，如圖中紅色部分。這是我們的特色之一。
將這部分重建之后，就可以進行分支命名。我們使用的是圖網絡的方法。
圖網絡是深度學習里面比較新的方法，從結果分析里可以看到，這個方法的準確率比普通方法有大幅提高。
我們再看一下斑塊和狹窄識別。
我們看到一個血管分支，這里面，輕度狹窄大概30%左右、重度狹窄90%左右。普通的算法過于平滑，我們的算法比較細顆粒度。這里可以看和金標準相比，我們的算法更加接近了。
我們自動獲取中心線的算法如上圖。使用的是心臟打了造影的CT影像，在影像上我們用判別式的3D CNN來輔助冠脈追蹤來獲取中心線。
傳統的方法一般是分割和追蹤，但是有一些問題。
首先，分割的方法效率比較低，因為一個很大的心臟區域的volume里面只是去檢測幾根非常細的血管，這個檢索的過程中效率是非常低的。
傳統的追蹤也有它的問題，就是沒有辦法去區分靜脈，基于先驗知識的追蹤停止標準也是不魯棒的。
比如遇到一個很長的斑塊，追蹤就會過早的停止，比如說圖中血管上就有很長的斑塊在里面，遇到這種情況時，只是基于先驗知識的追蹤就很不魯棒了。
不管是分割還是傳統的追蹤方法都需要精準的標注，從時間成本上來說是非常昂貴的，尤其是細小的動脈分支。
那么我們的方法有什么改進呢，首先我們是有一些精準標注的的訓練數據，這些數據我們可以用來訓練追蹤器Tracker來尋找中心線。同時追蹤器不僅是把方向給出來，而且還會給出血管的半徑。我們不僅有這一塊，還有判別器Discriminator。
那它的作用是什么呢？
首先它會識別靜脈；第二，用來訓練學習的停止標準，可以更魯棒和更靈活；第三，因為我們不僅有精準的標注，還有大量的粗略標注。
這在實際工作中是非常常見的，因為醫生都特別的忙。我們可以用一些粗略的方法去得到一些不太精準的標注。這種情況下用Discriminator一起去訓練這個模型，就把精準標注和粗略標注的圖用來一起訓練模型。
Discriminate判別的這一部分，可以明顯降低標注成本，同時保證精準的結果。
左上角的這個圖實際上就是一個血管的中心點，它周圍所有可能的方向都在這個單位圓上表示出來了。
這個圖基于血管的方向，每次移動一個半徑的距離。我們的Tracker就是追蹤方向以及半徑的，把結果輸出來以后，他就可以往前挪一步，一直到血管末梢停止的地方。
右上角這個圖我們剛才都看過了，是拉直的血管。右下角的圖是loss曲線，包括方向和半徑，用判別部分的迭代，可以同時降低Tracker輸出的結果。
這個方向和半徑的輸出錯誤率，從這兩個圖上可以看到隨迭代次數有明顯的降低。
心臟發育過程中的增強子定位是我們發表在nature子刊上的文章內容。
我們首先從重要的蛋白，以及基因的這些修飾可以看到候選增強子的位置，然后用這些做好標記的增強子的位置去進行訓練，訓練出模型之后就可以預測增強子的位置。
心臟發育過程中會有各種問題，有可能是遺傳的，或是早期變異病變，都可以從訓練的模型里面得到總結，然后對新的樣本問題進行預測、推斷。
基因
基因方面我們還有其他的應用，比如妊娠糖尿病。
一般在第24周的時候會看出孕婦有糖尿病還是沒有，但是我們在第8周的時候，就可以根據基因進行預警、干預。在正確干預且患者有很好依從性的條件下，80%到90%的高風險人群就不會得糖尿病。這是基因方面的一個應用。
骨科
骨科方面，一個是脊柱結構的椎體和椎間盤的精準分割。
左邊是CT圖，中間、右邊是核磁。根據分割出來的結果，我們可以細顆粒度區分退行性病變。
右邊這張圖里展現了椎體和椎間盤的病變，錐體主要是退行性的病變，椎間盤有膨出、疝出、突出、脫出、游離等各種不一樣的異常情況。
我們在這方面的研究比較全，還在進行椎管狹窄的研究，我們在計劃舉辦相關比賽。
髖關節手術測量方面，這里是術前規劃，所展示的是一個X光片。當這個X光片呈現出來的時候，我們的算法可以進行全自動的特征點位置、關鍵角度和長度的測量。
一方面可以節省醫生大量的時間，因為這個手術之前需要做各種各樣的計算；
另外一方面也使得耗材廠商的庫存量可以降低。經過自動計算以后，耗材的型號基本上也都出來了，以前是必須拿著各種型號的耗材到手術室，讓醫生來挑、在術中比對。
因此，這個方法也可以縮短術中的時間。
肺部
從最開始的LUNA 16比賽，我們就開始積累經驗。為什么要講這個呢？是因為這次疫情期間，我們首先做了基于CT影像的肺炎檢測。
這是2017年LUNA比賽冠軍的事情，之后我們辦了第一屆天池醫療大賽，就是肺結節篩查。當時是2887支參賽隊伍、3900多位選手、20個國家和地區參賽。
我們的目的是推動這個行業的算法提升。我們提供了高質量的CT樣本，在這個過程中建立了一些長遠的合作關系，發掘了一些醫療影像團隊。2019年，我們又辦了一場肺綜合的比賽，也是2000多支隊伍參賽。
我們看一下落地場景，肺結節和肺綜合都是在美年大健康落地，現在累計調用量已經有1300萬次左右。每次掃描最慢的耗時是15秒，最快一兩秒即可，性能accuracy（準確率）是98.55%左右，recall（召回率）是99.52%左右。
肺部綜合疾病，為什么我們要做這件事呢？
一般來講，單病種在早期篩查中的用處是相對有限的。比如我們做了肺結節，但是醫生用我們的算法看完肺結節之后，還要看肺部有沒有什么其他疾病。如果可以一次性看到多種病變，對醫生的意義更大
我們第一批切入的疾病就是肺密度增高影、索條、肺大泡、動脈硬化、淋巴結鈣化，以及最開始的肺結節。
關于肺綜合我們在ISBI上發表了兩篇論文。
項目流程主要是包括輸入、預處理、分割、檢測、描述。輸入包括參數、CT數據；預處理包括肺窗提取、圖像轉換；分割包括肺區分割、縱隔分割；檢測主要是病灶檢測；最后描述包括病灶類型、病灶尺寸等等。
這里是一個自動實現肺葉分割的方法。我們首先用肺分割的方法對數據進行預處理，從這個圖上我們可以看到把肺部完整的分割出來。
輸入的圖是256*256*128尺寸，分割出來的結果就是右側這個樣子。然后我們是用坐標卷積層，什么叫坐標卷積層？就是我們在這個地方把坐標x軸、y軸、z軸三個坐標的信息引入作為一個有彈性的限制條件，加在其他卷積層的后面連起來，保證分割出來的肺葉是很準確的。
還有一個方法是Volume R-CNN，這是一個檢測CT影像目標和實例分割統一的神經網絡框架。它是一個端到端的網絡框架，可以同時高效地進行目標檢測和實例分割。
我仔細解釋一下。首先看RPN這個網絡有一個loss function，它和方框檢測以及實例分割的mask結果這三塊是這個訓練的目標。ROIs 和CT影像是輸入，曲線的意思是反向迭代的時候不做梯度計算。
RoiAlign是很關鍵的一步，鏈接了4個模塊，我們從箭頭就可以看到鏈接的這4個模塊，并且直接從CT影像的特征地圖上萃取ROIs的特征，直接萃取特征就可以加速整個過程。
接下來展現的是我們這次新冠肺炎的CT影像分析。我們是基于以前的方法，但是又做了很多的改進。
我們使用到以前肝分割和肝病灶分割的世界冠軍算法，也是我們這次算法的基礎。
可以看到，我們的輸出結果是有分割的，一個不同的顏色展示的分割mask，肺部區域分割，肺葉的分割。我們會輸出新冠肺炎、普通肺炎還有其他病灶的概率。
我們在國內已經在為500多家左右的醫院服務，包括火神山醫院，同時還在向海外各國開放。
目前已經在接觸的國家有近45個，日本、印度、印尼等已經部署好，進入例行臨床。歐洲、亞洲、和南美的一些其他國家也已經開始部署、試點。
這里簡單說一下我們的計算速度，最快兩秒，最長20秒處理一個病例，讀片速度基本上是醫生的60倍。總調用量超過45萬，每天最多分析一萬三千例樣本。
海外的部署，主要是通過阿里云全球數據中心進行公有云和私有云的部署。
阿里云有12個在海外的點，包括新加坡、澳大利亞、日本東京，還有美國東西部各一個點，印尼雅加達、德國法蘭克福、英國倫敦、印度、迪拜以及中國香港。
全基因組測序分析
全基因組測序分析也是我們疫情期間推出的一個主要產品。
現在國家的標準從試行第5版開始就有規定，呼吸道標本或血液樣本的病毒基因測序已經可以作為確診的標準，只需要我們和已知的新冠病毒高度同源就可以。
我們說一下PCR的問題，就是漏檢存在假陰性，有的時候還比較高，我聽到業界認定的某一些產品假陰性可高達40%。
我們的基因測序是對整個基因鏈條95%以上的基因進行分析，準確率可以達到99%以上。并且我們進行病毒變異情況的統計分析，可以分析進化來源和時間，這個在變異地圖上可以比較清晰地看到。
我們看一下整個流程，三個設備是流程里的主要步驟。
一個是第三方合作伙伴提供的自動化實驗建庫儀，一個是基因測序儀，還有我們自己的基因分析一體機，或者云端服務。
我們一次檢測可以檢查20人以上，主要使用場景在浙江省疾控中心，和武漢金銀潭醫院等。從疫情最開始的2月1號就得到疾控中心的認可，我們已經把這些設備都搬到了疾控中心。
其他場景還有臨床檢驗中心、海關等這些需要管理疫情的機構。還有一些已有實驗和測試能力的實驗室，這些地方都可以部署。
核心價值主要是：快速精準檢測，提高地方疫情處理能力；核心算法優化，全面監控疫情發展和變化；軟硬一體模塊化，簡化操作和配置，及時部署和使用。
關于第二點，我們會根據基因的情況進行蛋白結構的預測，二維預測還有三維結構預測都有助于病毒疫苗的制備，和老藥新用等藥物研發提供基礎。
在主要功能的用戶界面展示中可以看到，有測序數據分析、進化分析、蛋白結構分析。
通過序列分析和序列拼接，我們可以分析與病毒序列的同源性；診斷這一塊，進化分析是進行進化樹的構建，智能分析病毒傳播或演化的擬時間圖譜；蛋白的分析，與老藥新用、疫苗制備這些有很大關系。
性能介紹剛剛基本上都有講過了，我就highlight一下病源篩查的鑒定時間。現在大部分做全基因組分析的公司基本上都要用2~3天的時間，才可以有結果。
我們的這個方案實驗建庫只需要三個小時；基因分析跟大家都一樣，建議用戶用自己原有的測序儀；我們的數據分析把以前將近6個小時的計算縮短到幾分鐘。實驗建庫是我們的合作伙伴做了很大的改進，我們一起把2~3天的一個工作量縮短到14個半小時。
這里總結一下，剛剛我們講的14個半小時、20個病人同時并行處理，每個病人實際上只需要40分鐘左右，所以和現在市面上的PCR方法比較，平均時間還是短的。
我們現在也向海外開放服務，已經收到明確需要部署全基因組分析的，有10個以上的國家和地區。
并且，這個方法已經在武漢的金銀潭醫院部署，通過宏基因的方法檢測病毒源，幫助降低患者死亡率。并且已經開始了和國家疾控中心的合作。
疫情預測
疫情分析也是疫情期間很重要的一個產品，我們已經收到了客戶-國務院辦公廳的感謝信，但是因為預測的內容太多，時間關系，我只是簡單介紹一下方法。
展示的這幾個圖，首先是把我們的模型和現有的一些數據去做對比、擬合，然后對未來進行預測，例如計算國外輸入的病例影響。
右邊的圖是根據某個決策，可能在不同的日期，來進行一些推斷，比如死亡率、重癥率的一些推斷。不同的顏色表示的是這些政策不同的執行時間，這是一個模板。
我們有一個DataV的工具，就是Data Visualization，用來做綜合信息大屏，是我們阿里平臺上的一個很炫的特色。
左下角的這個圖就是用DataV做出來的，它有地圖可以顯示，比如說各個省份的R值。然后可以顯示某個城市全面開放、逐步開放，或者是全面管制的情況，用曲線來描述。
左側的R值針對不同的行業，包括學校、交通，還包括一些娛樂場所，比如電影院等等。
剛剛說的行業包括各種職業，比如人口密集型的不能在家辦公的生產企業，或者是IT公司，大家都可以在家辦公，這些都有很大的差別。
右側可以看到國家之間的交通有管制，各個國家之間的關聯，會受到病毒輸入的影響不一樣，所以這個值有不同。
同時還可以看到各自國家的醫療水平，能夠感覺得到疫情在那里會不會爆發。因為這個圖做的比較早（2月10日左右），所以這里就給大家進行一個簡單的介紹。
我們也對海外國家開放，現在收到很多的詢問，有些在進行緊密的跟進，有一些數據已經給過來，我們會用一定的時間再出報告。
這個項目，我們也對海外國家開放了。現在收到很多的詢問，有十幾個國家有明確的需求，在搜集數據給我們出報告。
我們做的事情主要就是輔助用戶決策，進行感染控制，醫療物資調配，出入境和旅游管控等等。并且根據政策上的改變，或者是社會的主要事件對預測進行更新。
基本上疫情預測是2天出報告，會預測兩個月的時間，這兩個月的時間可以保證我們看到在當前的各種條件、政策下，拐點是什么時候，以及各種各樣的特征。
醫療的專業翻譯
我們在疫情期間還有一個工具——醫療的專業翻譯。這個工具最早是和我們的一個藥企合作伙伴，合作推出的。BLEU很高，大于48，當時行業比較好的只有40。醫學術語翻譯準確率大于94%，人工評價可理解度也超過94%。
我們還有一個特色是完善的文件解析生成能力，適應用戶不同文件格式輸入，可以有效降低用戶在大量翻譯需求上的開支。
這次疫情中，我們把它用在哪里了呢？是在馬老師的位于Ding Talk（也就是釘釘）上的全球醫生交流中心。
我們可以看到，主要是根據視頻的音頻去進行聲音的捕捉以及翻譯，然后形成雙語字幕。左邊就是在我們前幾天發布的平臺網頁上，王建安院長的一個很棒的視頻。我們現在已經翻譯了四十個這樣的視頻，還有很多在等待翻譯。
知識圖譜
在左邊我們可以看到阿里員云公眾號上上線的智能問答，這是疫情剛剛爆發時推出的一個簡單問答，是為了讓大家迅速了解病情，從而控制恐懼的情緒。
右上角是我們的產品天貓精靈，通過天貓精靈返回或者獲取聲音。這個對于老年人和亞健康人群都很有幫助，很多關于健康的問題可以直接問天貓精靈。
我們在手機端也有這種很直觀的服務，比如可以詢問一些跟老年慢性病相關的問題。
搜索引擎
搜索引擎是可以用在各種各樣的產品上的，那我為什么把這個著重介紹一下呢？
我們都知道在淘寶平臺有拍立淘，是根據照片尋找類似商品，這個能力已經做到很好了。
醫療行業，也是把拍立淘的技術作為影像檢測的基礎，同時我們還加入了文本。
在這個地方我們可以看到圖像里面有一些病灶，但是多個的情況下可以選一個，或者是選多個都可以.然后在窗口可以輸入關鍵字，或者是輸入整篇報告，然后進行搜索。
搜索的目的是希望可以幫到醫生，當他在看當前病歷時，可以立刻知道數據庫里有沒有類似病例。右邊實展示了各種各樣的相似病例，然后進行排序。在這邊點擊任何一個進去，可以看到前后每一幀的情況，并且可以復制下面的報告，具體看它是如何相似，哪個角度相似；可以把報告拷過來進行修改，大大節省醫生的時間和精力。
另一方面，我們對C端用戶端有一個參考。它可以搜索一些治病的過程，例如，需要經歷哪些流程、怎么收費情況，讓病人對自己關心的問題有一個參考。
最后，是對未來的展望，我們可以簡單提一下一些未來可做的前沿應用示例。
比如VR遠程救助，5G遠程手術，無醫生病房/機器人醫生，5G遠程多學科會診，醫院上云、未來藥物管理、醫療IOT、無人機和急救車智能管理、以及未來醫保。
從業務和服務的角度，我們會努力服務好醫院、區域協同、政府監管、基層公衛、亞健康和健康人群/C端用戶、國內國際藥企、醫保和商保、器械廠商和手術耗材廠商。
我們很希望可以盡快把醫療的相關知識更多的、更深入的學習進來，用科技去服務我們的客戶，和合作伙伴進行更好的合作，改善人們的生活、醫療健康狀況。
我們希望會是醫學領域的學霸，然后為客戶的理想和自己的夢想去沖！雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
