深度學(xué)習(xí)在眼科，皮膚科，放射科和病理學(xué)等醫(yī)學(xué)學(xué)科的應(yīng)用最近顯示出巨大的前景，可以為全世界患者提高高質(zhì)量醫(yī)療保健的準(zhǔn)確性和可用性。谷歌的報(bào)告同樣說明，卷積神經(jīng)網(wǎng)絡(luò)能夠在一定程度上準(zhǔn)確地檢測淋巴結(jié)中的乳腺癌轉(zhuǎn)移，其水平能夠媲美經(jīng)過專業(yè)訓(xùn)練的病理學(xué)家。但通過復(fù)合光學(xué)顯微鏡進(jìn)行直接的組織可視化仍然是病理學(xué)家診斷疾病的主要手段，所以影響病理學(xué)廣泛采用深度學(xué)習(xí)的關(guān)鍵障礙是：微觀組織的數(shù)字可視化。

在今天舉行的美國癌癥研究協(xié)會(huì)年度會(huì)議上，谷歌的科學(xué)家公布了一份名為“An Augmented Reality Microscope for Real-time Automated Detection of Cancer”的論文，他們描述了一個(gè)增強(qiáng)現(xiàn)實(shí)顯微鏡（Augmented Reality Microscope，ARM）平臺(tái)，并認(rèn)為這可以幫助加速全世界的病理學(xué)家采用深度學(xué)習(xí)工具。這個(gè)平臺(tái)由改進(jìn)的光學(xué)顯微鏡組成，支持實(shí)時(shí)圖像分析，并且能將機(jī)器學(xué)習(xí)算法的結(jié)果直接渲染在視場之中。重要的是，谷歌的ARM平臺(tái)可以通過低成本，易于使用的組件來集成到各個(gè)醫(yī)院和診所中現(xiàn)有的光學(xué)顯微鏡，同時(shí)不需要分析整個(gè)組織的數(shù)字化版本。

現(xiàn)代計(jì)算組件和深度學(xué)習(xí)模型將支持大范圍的預(yù)訓(xùn)練模型運(yùn)行在這一平臺(tái)。在傳統(tǒng)的模擬顯微鏡中，用戶主要是通過目鏡觀察樣品。機(jī)器學(xué)習(xí)算法能夠?qū)⑤敵鰧?shí)時(shí)投影回光路，數(shù)字投影將疊加在樣本的原始（模擬）圖像上，從而幫助用戶定位或量化目標(biāo)特征。重要的是，計(jì)算和視覺反饋能夠迅速更新，速度約為每秒10幀，所以模型輸出能夠?qū)崿F(xiàn)無縫更新。

左圖：ARM的示意圖。數(shù)碼相機(jī)能夠捕捉與用戶相同的視場，并將圖像傳送到能夠運(yùn)行機(jī)器學(xué)習(xí)模型實(shí)時(shí)參考的附加計(jì)算單元。結(jié)果將反饋到一個(gè)自定義的，與目鏡一致的AR顯示屏中，并將模型輸出投影到與顯微鏡玻璃片相同的平面上。右圖：谷歌原型已改裝成典型的臨床級光學(xué)顯微鏡。

原則上，ARM可以提供各種視覺反饋，包括文本，箭頭，輪廓，熱圖或動(dòng)畫，并且能夠運(yùn)行多種類型的機(jī)器學(xué)習(xí)算法以解決不同的問題，如對象檢測，量化或分類。

為了展示ARM的潛在用途，谷歌將其配置為運(yùn)行兩種不同的癌癥檢測算法：一種檢測淋巴結(jié)標(biāo)本中的乳腺癌轉(zhuǎn)移；另一種檢測前列腺切除標(biāo)本中的前列腺癌。模型可以在4-40倍的放大倍數(shù)下運(yùn)行，并且通過綠色輪廓來突出檢測到的腫瘤區(qū)域，從來顯示給定模型的結(jié)果。綠色輪廓有助于將病理學(xué)家的注意力吸引到相關(guān)區(qū)域，同時(shí)不會(huì)掩蓋潛在的腫瘤細(xì)胞外觀。

上圖：通過ARM透鏡觀察到的示例視圖，其顯示了4倍，10倍，20倍和40倍顯微鏡物鏡下的淋巴結(jié)轉(zhuǎn)移模型。

在最初的訓(xùn)練中，兩種癌癥模型采用了搭載明顯不同光學(xué)配置的全視野數(shù)字切片掃描儀圖像，但即便沒有額外的重新培訓(xùn)，模型在ARM上的表現(xiàn)都十分優(yōu)秀。例如，淋巴結(jié)轉(zhuǎn)移模型的曲線下面積（AUC）為0.98，而在ARM上運(yùn)行時(shí)，谷歌前列腺癌模型在視場中的癌癥檢測AUC為0.96，性能略低于WSI（全視野數(shù)字化切片）。谷歌表示，通過利用直接從ARM獲取的數(shù)字圖像進(jìn)行額外訓(xùn)練，他們可以進(jìn)一步提高模型的性能。

谷歌表示，他們相信ARM有潛力對全球健康帶來重大的積極作用，特別是對發(fā)展中國家中傳染病的診斷，如肺結(jié)核和瘧疾。另外，對于正在采用數(shù)字病理工作流程，但其掃描儀仍然面臨重大挑戰(zhàn)或需要快速結(jié)果的醫(yī)院而言，ARM同樣能夠發(fā)揮重要的作用。當(dāng)然，光學(xué)顯微鏡在病理學(xué)以外的很多行業(yè)都已經(jīng)證明了自己的作用，而ARM可以廣泛適用于醫(yī)療保健，生命科學(xué)研究和材料科學(xué)等應(yīng)用。谷歌進(jìn)一步指出，他們對進(jìn)一步探索ARM如何能加速機(jī)器學(xué)習(xí)的普及來積極地影響世界感到十分興奮。