從游戲到專業(yè)培訓(xùn)，虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)提供了一種沉浸在體驗(yàn)中的新穎方式。然而，當(dāng)前的VR/MR技術(shù)存在一個(gè)根本性的挑戰(zhàn)：以臨場(chǎng)感所需的極高分辨率呈現(xiàn)圖像。這對(duì)渲染引擎和傳輸過(guò)程提出了巨大的要求。頭顯往往沒(méi)有足夠的顯示分辨率，這會(huì)限制視場(chǎng)，令體驗(yàn)變得糟糕。為了驅(qū)動(dòng)更高分辨率的頭顯，傳統(tǒng)的管道需要高端處理能力，但即使是高端移動(dòng)處理器也無(wú)法實(shí)現(xiàn)這一點(diǎn)。盡管挑戰(zhàn)將毫無(wú)疑問(wèn)地繼續(xù)出現(xiàn)，但關(guān)于提高顯示分辨率的研究同時(shí)在為我們帶來(lái)希望。

為了進(jìn)一步提高VR和MR的視覺(jué)質(zhì)量，我們提出了一個(gè)利用人類視覺(jué)感知優(yōu)勢(shì)的管道，能夠以低計(jì)算和低功耗的方式實(shí)現(xiàn)優(yōu)秀的視覺(jué)質(zhì)量。本文提出的管道考慮了完整的系統(tǒng)相依性，包括渲染引擎，內(nèi)存帶寬和顯示模塊本身的能力。我們確定，目前的限制不僅僅局限于內(nèi)容創(chuàng)建，可能同時(shí)存在于傳輸數(shù)據(jù)，處理延遲，以及與真實(shí)對(duì)象（混合現(xiàn)實(shí)應(yīng)用程序）進(jìn)行交互方面。這個(gè)管道包括：1.專注于減少每像素計(jì)算的Foveated Rendering（注視點(diǎn)渲染）；2.有助于減少視覺(jué)偽影的Foveated Image Processing（注視點(diǎn)圖像處理）；3.有助于每像素位數(shù)傳輸?shù)腇oveated Transmission（注視點(diǎn)傳輸）。

1. 注視點(diǎn)渲染

對(duì)于人類的視覺(jué)系統(tǒng)，中央凹為視場(chǎng)中心提供了更清晰的視覺(jué)，而外圍視場(chǎng)的視覺(jué)質(zhì)量則相對(duì)更低。注視點(diǎn)渲染利用這一特性來(lái)減少頭顯外圍視覺(jué)的空間分辨率，從而減少每像素的計(jì)算。為了做到這一點(diǎn)，高視敏度（High Acuity，HA）區(qū)域需要通過(guò)眼動(dòng)追蹤進(jìn)行更新，確保感知視圖與眼球掃視保持一致，從而為用戶提供視場(chǎng)范圍內(nèi)的恒定高分辨率感知。相反，缺乏眼動(dòng)追蹤的系統(tǒng)可能需要渲染更大范圍的HA區(qū)域。

左邊圖像以全分辨率呈現(xiàn)。右邊圖像使用了兩層注視點(diǎn)渲染，一個(gè)以高分辨率渲染（黃色區(qū)域內(nèi)）和一個(gè)以較低分辨率渲染（黃色區(qū)域外部）。

傳統(tǒng)的注視點(diǎn)渲染技術(shù)可能會(huì)將幀緩沖區(qū)分成多個(gè)空間分辨率區(qū)域。當(dāng)由于頭部運(yùn)動(dòng)或動(dòng)畫(huà)導(dǎo)致內(nèi)容出現(xiàn)運(yùn)動(dòng)時(shí)，呈現(xiàn)降低空間分辨率而帶來(lái)的鋸齒有可能導(dǎo)致可察覺(jué)的瞬時(shí)偽影。以下例子說(shuō)明了由于頭部旋轉(zhuǎn)而帶來(lái)的瞬時(shí)偽影。

左邊是平滑的完整渲染；右側(cè)則顯示了注視點(diǎn)區(qū)域由于運(yùn)動(dòng)而導(dǎo)致的瞬時(shí)偽影。

在下面的章節(jié)中，我們將介紹兩種不同的偽影減少方法：Phase-Aligned Foveated Rendering（相位對(duì)齊注視點(diǎn)渲染）和共形注視點(diǎn)渲染（Conformal Foveated Rendering）。每一種都在渲染過(guò)程中為視覺(jué)質(zhì)量提供了不同的好處，并且適用于不同的條件。

2. 相位對(duì)齊渲染

由于渲染內(nèi)容的二次采樣，低視敏度（Low-Acuity，LA）區(qū)域在注視點(diǎn)渲染期間會(huì)產(chǎn)生鋸齒。對(duì)于上文所述的傳統(tǒng)注視點(diǎn)渲染，當(dāng)用戶移動(dòng)頭部時(shí)，顯示像素網(wǎng)格將同時(shí)在虛擬場(chǎng)景上移動(dòng)，所以這種鋸齒偽影會(huì)在幀與幀之間閃爍。這些像素相對(duì)于場(chǎng)景的運(yùn)動(dòng)會(huì)導(dǎo)致所有現(xiàn)有的鋸齒偽影閃爍，而用戶十分容易察覺(jué)到這一點(diǎn)，即便是在外圍視覺(jué)也同樣如此。

在相位對(duì)齊渲染中，我們強(qiáng)制LA區(qū)域截錐與世界（例如總是面向北，東，南等等）對(duì)齊，而不是與當(dāng)前幀的頭部旋轉(zhuǎn)對(duì)齊。大部分鋸齒偽影與頭部姿勢(shì)無(wú)關(guān)，因此更不容易察覺(jué)。在上采樣之后，這些區(qū)域?qū)⒅匦峦队爸磷罱K的顯示屏，以補(bǔ)償用戶的頭部旋轉(zhuǎn)，這樣可以減少瞬時(shí)閃爍。與傳統(tǒng)的方法一樣，我們將HA區(qū)域渲染至一個(gè)單獨(dú)的通道，并將其覆蓋在注視點(diǎn)處的合并圖像上。下圖是傳統(tǒng)注視點(diǎn)渲染和相位對(duì)齊渲染的比較：

非世界對(duì)齊的渲染內(nèi)容出現(xiàn)了瞬時(shí)偽影（左邊）；右邊則是相位對(duì)齊方法的效果。

這種方法能夠大大減少渲染過(guò)程中的視覺(jué)偽影。在相同水平的敏度降低下，相位對(duì)齊渲染比傳統(tǒng)注視點(diǎn)渲染需要更多的計(jì)算，但盡管如此，我們?nèi)匀豢梢酝ㄟ^(guò)提高注視點(diǎn)渲染水平來(lái)實(shí)現(xiàn)更優(yōu)秀的渲染效果，而且無(wú)需擔(dān)心產(chǎn)生過(guò)多的偽影。

3. 共形渲染

另一種用于注視點(diǎn)渲染的方法是，根據(jù)視覺(jué)注視點(diǎn)到屏幕距離的非線性映射，在一個(gè)匹配視敏度分辨率下降程度平滑變化的空間中渲染內(nèi)容。

這種方法存在兩個(gè)主要的好處。首先，通過(guò)緊密匹配人眼視覺(jué)保真度的下降，我們可以減少計(jì)算的像素總數(shù)（與其他方法相比）；其次，通過(guò)利用保真度的平滑下降，我們可以防止用戶在高視敏度和低視敏度之間看到一條清晰的界線，而這通常是用戶首先注意到的偽影之一。這兩個(gè)好處可以支持系統(tǒng)使用更高程度的注視點(diǎn)渲染，同時(shí)保持相同的質(zhì)量水平，從而產(chǎn)生更多的資源節(jié)約。

對(duì)于這種方式的執(zhí)行，我們將虛擬場(chǎng)景的頂點(diǎn)扭曲成非線性空間。接下來(lái)，這個(gè)場(chǎng)景以降低的分辨率進(jìn)行光柵化，然后作為后處理效果（結(jié)合以透鏡畸變校正）而恢復(fù)成線性空間。

請(qǐng)點(diǎn)擊此處輸入圖片描述

比較傳統(tǒng)注視點(diǎn)渲染方法（左）與共形渲染（右），后者將內(nèi)容渲染至與視覺(jué)感知靈敏度和頭像透鏡特性相匹配的空間。兩種方法都使用相同數(shù)量的總像素。

與相位對(duì)齊方法相比，共形渲染的主要優(yōu)點(diǎn)在于：這種方法只需進(jìn)行一次光柵化。對(duì)于存在許多頂點(diǎn)的場(chǎng)景而言，這個(gè)優(yōu)勢(shì)可以帶來(lái)大量的資源節(jié)約。此外，盡管相位對(duì)齊渲染可以減少閃爍，但它仍然會(huì)在高視敏度區(qū)域和低視敏度區(qū)域之間產(chǎn)生明顯的界限，而共形渲染則不會(huì)顯示這種偽影。然而，共形渲染的缺點(diǎn)是，外圍視覺(jué)的鋸齒偽影仍然會(huì)閃爍，這對(duì)需要高視覺(jué)保真度的應(yīng)用而言可能不太理想。

4. 注視點(diǎn)圖像處理

頭顯通常需要在渲染之后執(zhí)行圖像處理步驟，比如說(shuō)局部色調(diào)映射，透鏡畸變校正或照明混合。隨著圖像處理的進(jìn)行，不同的操作將應(yīng)用于不同的操作區(qū)域。作為示例，包括色差校正在內(nèi)的透鏡畸變校正或許不需要為顯示器的每個(gè)部分提供相同的空間精度。在放大之前，通過(guò)對(duì)新內(nèi)容進(jìn)行透鏡畸變校正，我們將能在計(jì)算資源中獲得顯著的節(jié)約。另外，這種技術(shù)不會(huì)產(chǎn)生可感知的偽影。

請(qǐng)點(diǎn)擊此處輸入圖片描述

在注視點(diǎn)空間為頭部顯示器校正透鏡色差。頂部圖像為傳統(tǒng)的管道；底部圖像（綠色）則顯示了在注視點(diǎn)空間中的操作。

請(qǐng)點(diǎn)擊此處輸入圖片描述

左圖為透鏡畸變后重建的注視點(diǎn)內(nèi)容；右圖則顯示了通過(guò)注視點(diǎn)方式執(zhí)行透鏡畸變校正時(shí)的圖像差異（幾乎無(wú)差異）。在右圖中，幀緩沖區(qū)邊緣附近產(chǎn)生了最小誤差，而頭顯用戶通常難以察覺(jué)這些誤差。

5. 注視點(diǎn)傳輸

對(duì)一體機(jī)而言，一個(gè)重要的功耗來(lái)源是從系統(tǒng)級(jí)芯片（SoC）到顯示模塊的數(shù)據(jù)傳輸。為了降低功耗和帶寬，我們使用注視點(diǎn)傳輸來(lái)向顯示器傳輸所需的最小數(shù)據(jù)量，如下圖所示。

注視點(diǎn)傳輸能夠支持流式內(nèi)容進(jìn)行預(yù)重建（右圖），并且減少傳輸?shù)奈粩?shù)，而不是說(shuō)傳輸放大的注視點(diǎn)內(nèi)容（左圖）。

請(qǐng)點(diǎn)擊此處輸入圖片描述

這種改變需要將簡(jiǎn)單的放大和混合操作移至顯示端，并且只傳輸注視點(diǎn)渲染內(nèi)容。如果眼動(dòng)追蹤隨著上圖中的注視點(diǎn)區(qū)域（紅框）移動(dòng)，這將會(huì)出現(xiàn)復(fù)雜性。由于在SoC和顯示器之間使用的Display Stream Compression（顯示傳輸壓縮，DSC）不是為內(nèi)容創(chuàng)建而設(shè)計(jì)，所以此類運(yùn)動(dòng)可能會(huì)導(dǎo)致瞬時(shí)偽影（下圖）

請(qǐng)點(diǎn)擊此處輸入圖片描述

左邊是完全整合的注視點(diǎn)渲染和壓縮技術(shù)（左）；右圖則是可能因?yàn)樵谧⒁朁c(diǎn)內(nèi)容中應(yīng)用DSC而造成的典型閃爍偽影。

6. 新的管道

我們專注于“注視點(diǎn)管道”的一些組成部門。通過(guò)考慮注視點(diǎn)管道對(duì)顯示系統(tǒng)各部分（渲染，處理和傳輸）的影響，我們可以實(shí)現(xiàn)下一代輕量級(jí)，低功耗和高分辨率的MR/VR頭顯。多年來(lái)，這一直是研究領(lǐng)域的一個(gè)積極討論的話題，相信搭載注視點(diǎn)管道的VR和MR頭顯將于未來(lái)幾年內(nèi)出現(xiàn)。