深度學習在眼科，皮膚科，放射科和病理學等醫(yī)學學科的應用最近顯示出巨大的前景，可以為全世界患者提高高質量醫(yī)療保健的準確性和可用性。谷歌的報告同樣說明，卷積神經(jīng)網(wǎng)絡能夠在一定程度上準確地檢測淋巴結中的乳腺癌轉移，其水平能夠媲美經(jīng)過專業(yè)訓練的病理學家。但通過復合光學顯微鏡進行直接的組織可視化仍然是病理學家診斷疾病的主要手段，所以影響病理學廣泛采用深度學習的關鍵障礙是：微觀組織的數(shù)字可視化。

在今天舉行的美國癌癥研究協(xié)會年度會議上，谷歌的科學家公布了一份名為“An Augmented Reality Microscope for Real-time Automated Detection of Cancer”的論文，他們描述了一個增強現(xiàn)實顯微鏡（Augmented Reality Microscope，ARM）平臺，并認為這可以幫助加速全世界的病理學家采用深度學習工具。這個平臺由改進的光學顯微鏡組成，支持實時圖像分析，并且能將機器學習算法的結果直接渲染在視場之中。重要的是，谷歌的ARM平臺可以通過低成本，易于使用的組件來集成到各個醫(yī)院和診所中現(xiàn)有的光學顯微鏡，同時不需要分析整個組織的數(shù)字化版本。

現(xiàn)代計算組件和深度學習模型將支持大范圍的預訓練模型運行在這一平臺。在傳統(tǒng)的模擬顯微鏡中，用戶主要是通過目鏡觀察樣品。機器學習算法能夠將輸出實時投影回光路，數(shù)字投影將疊加在樣本的原始（模擬）圖像上，從而幫助用戶定位或量化目標特征。重要的是，計算和視覺反饋能夠迅速更新，速度約為每秒10幀，所以模型輸出能夠實現(xiàn)無縫更新。

左圖：ARM的示意圖。數(shù)碼相機能夠捕捉與用戶相同的視場，并將圖像傳送到能夠運行機器學習模型實時參考的附加計算單元。結果將反饋到一個自定義的，與目鏡一致的AR顯示屏中，并將模型輸出投影到與顯微鏡玻璃片相同的平面上。右圖：谷歌原型已改裝成典型的臨床級光學顯微鏡。

原則上，ARM可以提供各種視覺反饋，包括文本，箭頭，輪廓，熱圖或動畫，并且能夠運行多種類型的機器學習算法以解決不同的問題，如對象檢測，量化或分類。

為了展示ARM的潛在用途，谷歌將其配置為運行兩種不同的癌癥檢測算法：一種檢測淋巴結標本中的乳腺癌轉移；另一種檢測前列腺切除標本中的前列腺癌。模型可以在4-40倍的放大倍數(shù)下運行，并且通過綠色輪廓來突出檢測到的腫瘤區(qū)域，從來顯示給定模型的結果。綠色輪廓有助于將病理學家的注意力吸引到相關區(qū)域，同時不會掩蓋潛在的腫瘤細胞外觀。

上圖：通過ARM透鏡觀察到的示例視圖，其顯示了4倍，10倍，20倍和40倍顯微鏡物鏡下的淋巴結轉移模型。

在最初的訓練中，兩種癌癥模型采用了搭載明顯不同光學配置的全視野數(shù)字切片掃描儀圖像，但即便沒有額外的重新培訓，模型在ARM上的表現(xiàn)都十分優(yōu)秀。例如，淋巴結轉移模型的曲線下面積（AUC）為0.98，而在ARM上運行時，谷歌前列腺癌模型在視場中的癌癥檢測AUC為0.96，性能略低于WSI（全視野數(shù)字化切片）。谷歌表示，通過利用直接從ARM獲取的數(shù)字圖像進行額外訓練，他們可以進一步提高模型的性能。

谷歌表示，他們相信ARM有潛力對全球健康帶來重大的積極作用，特別是對發(fā)展中國家中傳染病的診斷，如肺結核和瘧疾。另外，對于正在采用數(shù)字病理工作流程，但其掃描儀仍然面臨重大挑戰(zhàn)或需要快速結果的醫(yī)院而言，ARM同樣能夠發(fā)揮重要的作用。當然，光學顯微鏡在病理學以外的很多行業(yè)都已經(jīng)證明了自己的作用，而ARM可以廣泛適用于醫(yī)療保健，生命科學研究和材料科學等應用。谷歌進一步指出，他們對進一步探索ARM如何能加速機器學習的普及來積極地影響世界感到十分興奮。