通信世界網(wǎng)消息（CWW）多功能視頻編碼（VVC，Versatile Video Coding）是國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門（ITU-T）和國際標(biāo)準(zhǔn)化組織/國際電工委員會（ISO/IEC）聯(lián)合制定的最新國際視頻編碼標(biāo)準(zhǔn)。與前代高效視頻編碼（HEVC）相比，VVC編解碼器能夠在保證相同視頻質(zhì)量的情況下，縮減視頻數(shù)據(jù)大小約50%。在網(wǎng)絡(luò)視頻流量不斷增長的時代，視頻壓縮變得越來越重要。隨著使用生成式人工智能（AI）制作視頻內(nèi)容的浪潮即將到來，同時視頻內(nèi)容制作和內(nèi)容消費(fèi)的節(jié)奏不斷加快，減少多媒體內(nèi)容的比特數(shù)仍是一個重要問題。

讓我們來看看那些使VVC區(qū)別于當(dāng)前所使用的視頻編碼器的基礎(chǔ)創(chuàng)新，以及高通技術(shù)公司為打造一個充滿活力的VVC生態(tài)系統(tǒng)所做出的努力。

新一代視頻編碼器中的基礎(chǔ)創(chuàng)新：推動生態(tài)系統(tǒng)向前發(fā)展

面向常見用戶體驗，優(yōu)化視頻編碼

不止于顯著降低數(shù)據(jù)大小，在視頻會議、屏幕共享和全景視頻等特定視頻場景中，VVC編解碼器還引入了多種特別實(shí)用的智能工具。

視頻會議

新冠疫情對人們的工作方式產(chǎn)生了深遠(yuǎn)的影響，致使人們對遠(yuǎn)程辦公工具（尤其

是視頻會議軟件）的需求劇增，視頻通話已成為個人和專業(yè)用途中很重要的通信方式。

在視頻通話中，會持續(xù)監(jiān)測兩端的網(wǎng)絡(luò)帶寬，并相應(yīng)調(diào)整入站和出站視頻質(zhì)量，使視頻數(shù)據(jù)適應(yīng)可用帶寬。對于以前的視頻編解碼器，比如高效視頻編碼（HEVC）和高級視頻編碼（AVC），當(dāng)視頻分辨率發(fā)生變化以適應(yīng)可用網(wǎng)絡(luò)帶寬時，服務(wù)器需要發(fā)送一種特殊類型的幀，稱為“即時解碼刷新”（IDR）幀。這會中斷時間預(yù)測，意味著無法引用來自先前幀和后續(xù)幀的數(shù)據(jù)估算。

VVC提供了一種叫做“參考圖像重采樣”（RPR）的特殊功能，可以彌補(bǔ)當(dāng)前這一代視頻編解碼器的不足。在解碼時，RPR能夠改變視頻的分辨率，而無需IDR幀。這能夠避免大量IDR幀帶來的數(shù)據(jù)量激增，從而實(shí)現(xiàn)更流暢的視頻通話體驗，不會出現(xiàn)卡頓。

新一代視頻編碼器中的基礎(chǔ)創(chuàng)新：推動生態(tài)系統(tǒng)向前發(fā)展(1)799.png

VVC中的參考圖像重采樣可實(shí)現(xiàn)更流暢的視頻通話體驗

屏幕共享

屏幕共享在團(tuán)隊協(xié)作中變得越來越受歡迎，尤其是在遠(yuǎn)程辦公的時代。借助屏幕共享功能，團(tuán)隊成員可以輕松地展示他們的工作并實(shí)時進(jìn)行項目協(xié)作。隨著屏幕共享使用需求的不斷增長，與攝像頭生成內(nèi)容一起被渲染、混合或疊加的圖形數(shù)據(jù)的使用需求也在增長。

從一開始，VVC就是一種旨在支持對屏幕共享內(nèi)容進(jìn)行編碼的編解碼器。VVC編解碼器包括五個主要的與屏幕內(nèi)容編碼相關(guān)的底層工具：變換跳過殘差編碼（TSRC）、基于塊的差分脈沖編碼調(diào)制（BDPCM）、幀內(nèi)塊拷貝（IBC）、自適應(yīng)顏色變換（ACT）和調(diào)色板模式。

通過減少需要傳輸?shù)臄?shù)據(jù)量，這些工具幫助提升編碼屏幕內(nèi)容的色彩準(zhǔn)確度和總體數(shù)據(jù)效率。以前的視頻編解碼器增加了一些屏幕編碼改進(jìn)特性，但這些不夠高效，且并非被所有終端支持。相比之下，由VVC定義的屏幕共享內(nèi)容的編碼工具在主檔次（Main Profile）中被默認(rèn)支持，并且應(yīng)該在大多數(shù)支持VVC的設(shè)備上可用。

相較于其他視頻編解碼器所展現(xiàn)出的高效率，可以說，VVC將會是那些擁有全部或部分屏幕共享內(nèi)容應(yīng)用的主流選擇。

 新一代視頻編碼器中的基礎(chǔ)創(chuàng)新：推動生態(tài)系統(tǒng)向前發(fā)展(1)1289.png

VVC改善屏幕共享的色彩準(zhǔn)確度和總體數(shù)據(jù)效率

全景視頻

全景視頻已超越傳統(tǒng)視頻的被動范式，提供更高程度的沉浸感和交互感。此項革命性技術(shù)能夠使用戶與場景或環(huán)境交互，在虛擬空間中感受參與感和臨場感。虛擬現(xiàn)實(shí)（VR）是一個已經(jīng)在我們?nèi)粘Ｉ钪袑?shí)現(xiàn)的沉浸式技術(shù)范例，在娛樂之外，對電子醫(yī)療、電化教育和文化遺產(chǎn)展示等重要經(jīng)濟(jì)領(lǐng)域產(chǎn)生影響。

VVC為全景視頻引入智能工具：碼流提取與合并、子圖像、虛擬邊界和水平環(huán)繞運(yùn)動補(bǔ)償。全景視頻通常需要以時間同步的方式同時處理多個基本碼流。對于以前的視頻編解碼器，每個基本碼流需要一個實(shí)例化的視頻解碼器。不過，碼流的提取與合并定義了一種在壓縮域拼接和剪裁視頻的方式，解耦了視頻應(yīng)用所需的基本碼流數(shù)和在終端上運(yùn)行所需的視頻解碼器實(shí)例數(shù)。

子圖像是VVC中引入的全新圖像分區(qū)方案。它是一個矩形編碼區(qū)域，獨(dú)立于鄰近區(qū)域進(jìn)行編碼，因此可獨(dú)立提取圖像。子圖像可以對應(yīng)于一個感興趣的區(qū)域，比如消費(fèi)者通過VR頭顯看到的區(qū)域?；谟脩粢曄颍軌蛑С謨?yōu)先處理并向頭顯終端發(fā)送更高保真度的子圖像。

新一代視頻編碼器中的基礎(chǔ)創(chuàng)新：推動生態(tài)系統(tǒng)向前發(fā)展

VVC支持子圖像，改善360度視頻體驗

在360度視頻中，當(dāng)我們將其轉(zhuǎn)化為二維表示時，某些投影（例如立方體貼圖cubemaps）的非對齊面邊界可能出現(xiàn)間斷點(diǎn)。但通過在邊緣處禁用環(huán)路濾波，可以減少這些偽影。借助VVC，我們能夠通過水平或垂直虛擬邊界來進(jìn)行環(huán)路濾波的控制，虛擬邊界的配置也會在碼流中進(jìn)行標(biāo)記和傳輸。

環(huán)繞運(yùn)動補(bǔ)償支持從圖像的左邊界以外開始執(zhí)行運(yùn)動補(bǔ)償，在水平方向上進(jìn)行環(huán)繞預(yù)測，并使用來自圖像右側(cè)的像素值，反之亦然。這一全新的靈活性有助于使用等距柱狀投影格式對全景視頻進(jìn)行編碼。

領(lǐng)先的基礎(chǔ)視頻技術(shù)

20多年來，高通技術(shù)公司在重要視頻技術(shù)的發(fā)展中扮演了至關(guān)重要的角色，這些技術(shù)徹底改變了視覺內(nèi)容在智能手機(jī)、平板電腦、PC、電視和其他終端上被拍攝、傳輸以及消費(fèi)的方式。這些創(chuàng)新使視頻質(zhì)量更佳，內(nèi)容更豐富，同時還降低了帶寬和存儲空間，為生態(tài)系統(tǒng)中的消費(fèi)者和公司都創(chuàng)造了巨大效益。我們的發(fā)明家獲得廣泛認(rèn)可，我們技術(shù)發(fā)明的影響力不僅限于移動生態(tài)系統(tǒng)，對更加廣泛的領(lǐng)域也有所助益。業(yè)界廣泛部署由高通技術(shù)公司助力推動的視頻技術(shù)，其中包括領(lǐng)先的視頻編解碼器、流協(xié)議（streaming protocol）和多媒體文件格式。

在推動VVC技術(shù)發(fā)展方面也不例外。與HEVC一樣，高通技術(shù)公司是本文中所介紹的VVC標(biāo)準(zhǔn)的主要貢獻(xiàn)者。

通過智能手機(jī)VVC演示，推動生態(tài)系統(tǒng)向前發(fā)展

VVC在生態(tài)系統(tǒng)中的發(fā)展勢頭強(qiáng)勁，目前已經(jīng)被加入DVB核心規(guī)范（Digital Video Broadcasting Project/國際數(shù)字視頻廣播組織），用于廣播和寬帶應(yīng)用的視頻編碼。巴西數(shù)字電視廣播技術(shù)標(biāo)準(zhǔn)ISDB-T International（又稱SBTVD），也采用了VVC作為主要視頻編解碼器——預(yù)計其他廣播標(biāo)準(zhǔn)也將相繼采用該視頻編碼標(biāo)準(zhǔn)。

在高通技術(shù)公司，我們對VVC編解碼器如何提升當(dāng)下的視頻體驗感到興奮。為此，我們已經(jīng)開始與生態(tài)系統(tǒng)中的伙伴合作，期待將VVC技術(shù)帶給消費(fèi)者。

近日，我們攜手騰訊公司，在集成Adreno GPU的第二代驍龍8移動平臺上對其VVC軟件解碼器進(jìn)行了優(yōu)化。該預(yù)商用原型實(shí)現(xiàn)了超過30%的性能提升，能夠穩(wěn)定且實(shí)時流暢地播放4K 10-bit 60幀/秒（FPS）的超高清VVC內(nèi)容。7月28-31日，2023年中國國際數(shù)碼互動娛樂展覽會（ChinaJoy 2023）于上海舉辦，我們首次演示了這款經(jīng)優(yōu)化后的解碼器。我們相信，經(jīng)優(yōu)化的軟件解碼器（例如這款來自騰訊公司的解碼器）將有助于加速在視頻內(nèi)容服務(wù)中采用VVC編解碼器的進(jìn)程。