虛擬現(xiàn)實和增強現(xiàn)實工具允許研究人員以前所未有的方式瀏覽和分享數(shù)據(jù)。但截至目前為止,它們主要是作為早期采用者的工具集,尚未實現(xiàn)大規(guī)模普及。
在我戴上VR頭顯后,外面的世界便消失于無。一個細胞出現(xiàn)在我的視野之中,當抬起脖子時,我可以從多個角度瀏覽它。我把頭伸進去探索它的內(nèi)部結(jié)構(gòu)。借助運動控制器,我可以逐層分解細胞,用手腕輕輕挖掘,揭開埋在表面之下的細微結(jié)構(gòu)。
Arivis是一家位于德國慕尼黑的生命科學軟件公司,他們開發(fā)了這種特殊的VR可視化工具,名為InViewR。
虛擬現(xiàn)實早已出現(xiàn),但市場對這項技術(shù)的興趣要到2016年才開始迅速增長。增強現(xiàn)實則是一種相關的技術(shù),其能夠通過透視頭顯或智能手機屏幕將數(shù)字對象疊加在周圍的環(huán)境中。
一些科學家認為VR和AR比傳統(tǒng)的平面屏幕更直觀,更適合用于瀏覽復雜的3D結(jié)構(gòu)。其他人則通過基于智能手機的廉價頭顯來提高公眾對這項技術(shù)的理解。他們的人數(shù)相對較少:VR和AR仍然是一項利基工具。但一些研究人員表示,虛擬現(xiàn)實和增強現(xiàn)實提供了新的視角。
Adam Lacy-Hulbert是華盛頓州西雅圖貝納羅亞研究所(Benaroya Research Institute)的首席研究員。他對溶酶體特別感興趣 (一種幫助清理細胞內(nèi)部的結(jié)構(gòu)),但傳統(tǒng)顯微鏡的一些2D圖像令他感到困惑。Bulbert說道:“這看起來就像是細胞溶酶體的一部分已經(jīng)移動進入細胞核,而這看起來完全沒有道理。”
貝納羅亞研究所開發(fā)的工具ConfocalVR則借助VR來顯示共聚焦顯微鏡的圖像,這使得真正發(fā)生的事情“在幾秒鐘內(nèi)顯現(xiàn)出現(xiàn)”。細胞核實際上是在溶酶體周圍變形和移動。
VR也為加利福尼亞大學的博士后研究員Wilian Cortopassi提供了幫助。ChimeraX是一種蛋白質(zhì)和其他結(jié)構(gòu)的分子可視化工具,它在2016年11月增加了對VR頭顯的支持。通過“行走”在氫鍵網(wǎng)狀組織的虛擬空間之中,Cortopassi明白了蛋白質(zhì)中的某些突變體是如何阻礙靶向藥物。Cortopassi指出,當你對大量的原子進行可視化時,電腦顯示器會非?;靵y;但在虛擬現(xiàn)實中,“你能夠以不同角度或距離瀏覽氫原子,并快速發(fā)現(xiàn)一些重要的相互作用?!?/p>
1. 虛擬現(xiàn)實
雖然存在價格便宜的選項,但大多數(shù)可視化工具只支持最昂貴的頭顯,如Facebook的Oculus Rift和HTC的Vive,因為它們可以追蹤用戶的頭部,并支持用戶在三維空間中自由行走。研究人員和玩家有他們的偏好,但OculusRift和HTC Vive之間的差異很小。“我認為目前還沒有明確的贏家?!盋himeraX的開發(fā)者之一Tom Ferrin如是說道。他的實驗室位于加利福尼亞大學,專門從事分子可視化工具。
并非所有工具都與所有頭顯兼容。InViewR僅適用于Oculus Rift,而ChimeraX和ConfocalVR則支持兩者。Oculus Rift和HTC Vive都基于Windows操作系統(tǒng),但Vive同時兼容MacOS X。
VR是計算密集型的設備,因為每只眼睛都必須看到不同的圖像以產(chǎn)生3D效果,而且這些圖像必須快速進行刷新。在某些情況下,新顯卡可以提供足夠的計算能力,“但一般情況下,你可能需要購置一臺新電腦”,Benaroya的信息學和研究技術(shù)主管,以及ConfocalVR的創(chuàng)造者之一Tom Skillman解釋道。Oculus Rift推薦使用VR認證電腦,價格從850美元到3100美元不等。他們同時建議至少8GB內(nèi)存和一枚高端顯卡。
VR軟件本身也可能很昂貴。盡管ConfocalVR和ChimeraX對非營利機構(gòu)是免費提供,但對商業(yè)公司而言則并非如此。ConfocalVR沒有提供價格信息,但ChimeraX可能需要支付高達20000美元的費用。
對于喜歡團隊協(xié)作的用戶而言,ConfocalVR的開發(fā)者在4月增加了支持4名用戶同時瀏覽和抓取同一VR空間中結(jié)構(gòu)的選項。這可能意味著科學家們不必面對面地一起工作,而這有可能會降低通勤成本。ChimeraX和InViewR的開發(fā)者都希望在未來增加類似的協(xié)作功能。
2. 增強現(xiàn)實
與VR相比,用于AR頭顯的可視化軟件則相對落后。美國密蘇里堪薩斯城醫(yī)院Children’s Mercy的信息總監(jiān)Mark Hoffman曾通過微軟HoloLens來瀏覽蛋白質(zhì)和CT掃描。
他表示AR的用戶友好程度高于VR,因為用戶可以看到周圍的環(huán)境,所以不容易產(chǎn)生暈動癥。Hoffman實際上曾在VR中遭遇過暈動癥,而這并非是一種罕見的現(xiàn)象。他說:“在使用HoloLens期間,我從未感到任何的不適。”
但缺點是,HoloLens只能將對象投影至視場中心的一個相對狹窄的矩形區(qū)域。Hoffman指出:“這是取舍的一部分。AR并非完全的身臨其境,而是‘理解的促成者’。你在平面屏幕中可能會忽略很多東西,但在AR中卻會變得更為清晰?!北热缯f蛋白質(zhì)與蛋白質(zhì)的相互作用。
Children’s Mercy的外科醫(yī)生正在探索手術(shù)前通過AR來瀏覽患者心臟的CT掃描。Hoffman采用循序漸進的方法來通過HoloLens瀏覽相關數(shù)據(jù)。通過將影像投影至空間的固定點,外科醫(yī)生可以探索具體的組織。Hoffman解釋說:“他們可以走進心臟的心室,他們可能會看到特定兒童的一條血管入口點沒有位于正確的位置?!盚oloLens售價3000美元,而且必須要直接向微軟訂購。
3. 低成本的選擇
更廉價的頭顯可以幫助研究人員覆蓋更廣泛的受眾,比如說基于智能手機的三星Gear VR或售價15美元的谷歌Cardboard。
Juicebox VR是一款專門面向這種簡單設備的應用。美國休斯敦貝勒醫(yī)學院的遺傳學家Erez Aiden表示,這款工具可以把人類基因組的連接渲染成火星般的地貌。Juicebox VR的開發(fā)商正是Aiden的實驗室,他表示:“當人們與之交互時,他們真的能夠理解數(shù)據(jù)的樣子?!?/p>
生物學家同樣采用了Augment。這款應用通常是用于可視化家具在房間中的樣子,而生物學家則利用該工具幫助同事和學生通過智能手機屏幕來瀏覽蛋白質(zhì)的3D模型。
對于有興趣自行開發(fā)可視化工具的研究人員而言,Unity則是其中一個最為普遍的開發(fā)環(huán)境。利用Unity來幫助Juicebox VR運行在Mac Pro的Muhammad Saad Shamim指出,它運行在相對適中的硬件上。Hoffman指出,對于HoloLens來說,用戶不需要成為高級開發(fā)者才能導入3D對象。然而,他們需要熟悉Unity和微軟的Visual Studio編程環(huán)境。其他選項包括Unreal Engine,以及免費3D圖形工具OpenGL。使用OpenGL創(chuàng)建ChimeraX的Ferrin表示,OpenGL比Unity或Unreal需要更多的前期工作,因為開發(fā)者需要直接處理更多的編程細節(jié),但回報是功能的限制更少。
盡管VR和AR工具已經(jīng)在消費者文化中開始普及,但目前只有少數(shù)實驗室使用了該技術(shù),而且還有多少人會效仿仍有待觀察。然而,許多倡導者預測VR和AR可能在未來五年內(nèi)成為標準的實驗室工具。Skillman說,該技術(shù)以三維方式向我們大腦提供信息,而這本應是最自然的方式。他指出,在2D屏幕構(gòu)建3D心理模型需要大量的智力工作,但“當你戴上頭顯時,所有這一切工作都會消失。
- QQ:61149512