12月19至20日,由騰訊主辦的2020 TECHO PARK開(kāi)發(fā)者大會(huì)在北京時(shí)尚設(shè)計(jì)廣場(chǎng)舉辦。在大會(huì)主論壇上,騰訊杰出科學(xué)家、多媒體實(shí)驗(yàn)室負(fù)責(zé)人劉杉帶來(lái)了主題為《從視頻編解碼到互動(dòng)沉浸式媒體》的演講,重點(diǎn)分析了視頻編解碼技術(shù)的演進(jìn)迭代以及騰訊在新媒體及互動(dòng)沉浸式媒體方向所進(jìn)行的探索和嘗試。

劉杉表示,世界性的疫情讓很多領(lǐng)域的活動(dòng)從線(xiàn)下轉(zhuǎn)為線(xiàn)上,而如何在保持高質(zhì)量服務(wù)的同時(shí)降低網(wǎng)絡(luò)數(shù)據(jù)帶寬的壓力,向多媒體技術(shù)提出更高要求。騰訊作為一家互聯(lián)網(wǎng)科技公司,旗下的很多業(yè)務(wù)和多媒體技術(shù)密切相關(guān),因此視頻編解碼技術(shù)是騰訊所必備的重要核心能力。

騰訊杰出科學(xué)家、多媒體實(shí)驗(yàn)室負(fù)責(zé)人 劉杉

在多媒體技術(shù)革新方面,騰訊在不斷尋求突破。自2018年參與H.266/VVC標(biāo)準(zhǔn)制定以來(lái),騰訊多媒體實(shí)驗(yàn)室約有100項(xiàng)技術(shù)被標(biāo)準(zhǔn)采納,數(shù)量位居全球領(lǐng)先;為積極推動(dòng)AV1商業(yè)化,騰訊云于2019年11月率先成為中國(guó)第一家支持AV1轉(zhuǎn)碼的云服務(wù)商;今年10月,騰訊在標(biāo)準(zhǔn)截稿3個(gè)月內(nèi)在國(guó)內(nèi)率先發(fā)布了H.266高清/超高清實(shí)時(shí)播放器。

在新媒體和沉浸式互動(dòng)媒體方面,劉杉認(rèn)為,隨著5G時(shí)代的來(lái)臨,深度沉浸式媒體廣闊的應(yīng)用場(chǎng)景和商業(yè)空間將被全面激活,而沉浸式媒體技術(shù)與實(shí)時(shí)媒體傳輸技術(shù)結(jié)合,可以生成更多沉浸式應(yīng)用。目前騰訊已上線(xiàn)多個(gè)沉浸式媒體解決方案,以滿(mǎn)足不同業(yè)務(wù)的開(kāi)發(fā)需求。

在展區(qū),騰訊多媒體實(shí)驗(yàn)室5G+VR直播解決方案亮相,吸引眾多觀眾體驗(yàn)。觀眾通過(guò)現(xiàn)場(chǎng)大屏,就可以看到展區(qū)、會(huì)場(chǎng)360度實(shí)時(shí)直播,同時(shí)支持任意轉(zhuǎn)換角度,無(wú)需戴上眼鏡,通過(guò)大屏便可置身其中,帶來(lái)身臨其境的沉浸式體驗(yàn)。

在演講最后,劉杉表示,未來(lái)騰訊將繼續(xù)積極投入多媒體技術(shù)的研發(fā),擁抱開(kāi)源生態(tài)建設(shè),為開(kāi)發(fā)者和合作伙伴提供有效的服務(wù)和支持。

以下為劉杉演講實(shí)錄:

各位領(lǐng)導(dǎo),各位同事,各位嘉賓,大家好。我是劉杉,來(lái)自騰訊多媒體實(shí)驗(yàn)室。非常遺憾今天不能夠到現(xiàn)場(chǎng),那么我就通過(guò)視頻這個(gè)形式和大家做一個(gè)分享。今天分享的題目是“從視頻編解碼到互動(dòng)沉浸媒體”。

去年的techo我做了一個(gè)“視頻編解碼技術(shù)與應(yīng)用”的分享。那么今天分享的第一個(gè)主要內(nèi)容,我會(huì)和大家簡(jiǎn)單介紹一下在這一年當(dāng)中視頻編解碼技術(shù)的一些演進(jìn)和迭代。在這之后,我會(huì)介紹騰訊多媒體實(shí)驗(yàn)室和騰訊云,在新媒體及互動(dòng)沉浸式媒體方向的一些探索和嘗試。

今年是特殊和具有挑戰(zhàn)性的一年。世界性的疫情為我們的生活帶來(lái)了巨大的改變,教育、辦公、娛樂(lè)、銷(xiāo)售等領(lǐng)域的很多活動(dòng)都因?yàn)橐咔榈年P(guān)系從線(xiàn)下變?yōu)榫€(xiàn)上,多媒體技術(shù)則為這些云服務(wù)提供了必不可少的支持。自三月以來(lái)全球視頻流量激增,網(wǎng)絡(luò)帶寬面臨巨大壓力,世界各地屢次出現(xiàn)因網(wǎng)絡(luò)壓力過(guò)大而導(dǎo)致的區(qū)域性斷網(wǎng)。歐盟委員會(huì)不得不約談netflix 等網(wǎng)絡(luò)影音服務(wù)商,要求在高峰期降低畫(huà)質(zhì),將寶貴的數(shù)據(jù)帶寬留給居家辦公和學(xué)習(xí)。有調(diào)查結(jié)果顯示,流媒體軟件市場(chǎng)加速增長(zhǎng)19%,如何在保持高質(zhì)量服務(wù)的同時(shí)降低網(wǎng)絡(luò)數(shù)據(jù)帶寬的壓力也為各項(xiàng)多媒體技術(shù)提出更高要求。

而與此同時(shí),人們對(duì)視頻觀感質(zhì)量的要求也在持續(xù)攀升。更高的分辨率,更高的亮度和色度動(dòng)態(tài)范圍,和更高的幀率等技術(shù)指標(biāo),配合VR360, Freeview等新媒體方式,在提升視頻觀感質(zhì)量的同時(shí),也對(duì)數(shù)據(jù)帶寬提出更高的要求?；ヂ?lián)網(wǎng)流量數(shù)據(jù)顯示,在2017年標(biāo)清和高清視頻內(nèi)容大約各占一半,到了2019年標(biāo)清內(nèi)容占比下降到大約1/3, 高清內(nèi)容成為主流,超高清內(nèi)容占比開(kāi)始攀升;預(yù)計(jì)到2022年超高清內(nèi)容占比會(huì)進(jìn)一步提升到約總流量的1/4。同時(shí),根據(jù)中國(guó)產(chǎn)業(yè)信息網(wǎng),中國(guó)VR內(nèi)容市場(chǎng)自2016年以來(lái)持續(xù)以每年2-3倍的速度增長(zhǎng)。這些都使得視頻編解碼(即視頻壓縮)這一個(gè)已經(jīng)存在了很多年的技術(shù)領(lǐng)域,即使在今天也依然具有其重要性和必要性。

而騰訊作為一家互聯(lián)網(wǎng)科技公司,旗下的很多業(yè)務(wù)都和視頻這一媒體形式密切相關(guān),例如:騰訊視頻,微視,微信,QQ,教育,泛娛樂(lè)等等,還有在這次疫情中為在線(xiàn)教育和遠(yuǎn)程辦公作出巨大貢獻(xiàn)的騰訊會(huì)議和騰訊課堂等產(chǎn)品。因此領(lǐng)先高效的視頻編解碼技術(shù)也是騰訊公司所需要和必備的一項(xiàng)重要核心能力。

簡(jiǎn)單回顧一下,在過(guò)去三十多年里,全球很多企業(yè)和研究機(jī)構(gòu)投入巨大資源,研發(fā)了許多視頻編解碼技術(shù),并形成了幾代視頻編解碼標(biāo)準(zhǔn)。其中主流的標(biāo)準(zhǔn)有: ISO/IEC和ITU 制定的國(guó)際標(biāo)準(zhǔn),像我們熟知的 MPEG-2, H.264/AVC, H.265/HEVC 和今年七月結(jié)稿的H.266/VVC. 騰訊于2018年初開(kāi)始參與H.266/VVC標(biāo)準(zhǔn)制定,在歷時(shí)兩年多時(shí)間里,向標(biāo)準(zhǔn)組織提交幾百個(gè)技術(shù)提案,其中約有100項(xiàng)技術(shù)被標(biāo)準(zhǔn)采納,數(shù)量位居全球領(lǐng)先。

與此同時(shí),自去年正式加入AOMdia,成為進(jìn)入AOMedia 董事會(huì)的第一家中國(guó)公司以來(lái),騰訊和其他AOMedia成員公司一起積極拓展開(kāi)源生態(tài),推動(dòng)AV1商業(yè)化,騰訊云已于去年十一月率先成為中國(guó)第一家支持AV1轉(zhuǎn)碼的云服務(wù)商。在下一代開(kāi)源視頻編解碼標(biāo)準(zhǔn)AV2制定方面,騰訊貢獻(xiàn)了大量重要提案,包括通用測(cè)試條件,AV2需求文檔等,并貢獻(xiàn)了大量技術(shù),涵蓋了塊劃分,幀內(nèi)預(yù)測(cè),變換,量化,環(huán)路濾波等多項(xiàng)核心技術(shù)領(lǐng)域,累計(jì)貢獻(xiàn)壓縮比提升居世界前列。騰訊專(zhuān)家在AOMedia組織中和Google專(zhuān)家一起共同擔(dān)任技術(shù)孵化組主席,并和Facebook專(zhuān)家一起共同擔(dān)任軟件實(shí)現(xiàn)工作組主席。

我們也大力投入國(guó)標(biāo)AVS的建設(shè),推廣,和應(yīng)用落地。目前騰訊云支持AVS2和AVS3高清/超高清實(shí)時(shí)轉(zhuǎn)碼,我們也為電視臺(tái)等單位做了AVS私有化部署。

今年十月,在H.266/VVC標(biāo)準(zhǔn)第一版截稿僅三個(gè)月后,騰訊在國(guó)內(nèi)率先發(fā)布了H.266高清/超高清實(shí)時(shí)播放器。這個(gè)播放器內(nèi)置騰訊自研H.266軟件解碼器,可以支持高清、超高清以及屏幕內(nèi)容分享等場(chǎng)景的實(shí)時(shí)解碼,各項(xiàng)性能指標(biāo)國(guó)際領(lǐng)先。

大家現(xiàn)在看到的就是用我們發(fā)布的H.266播放器在播放標(biāo)準(zhǔn)測(cè)試序列。

每套視頻編解碼標(biāo)準(zhǔn)制定,都需要有一套標(biāo)準(zhǔn)測(cè)試序列,用來(lái)檢驗(yàn)各項(xiàng)提案技術(shù)的性能,來(lái)幫助決定該項(xiàng)技術(shù)是否應(yīng)當(dāng)被采納進(jìn)入標(biāo)準(zhǔn)。

騰訊的標(biāo)志性序列,同時(shí)也是對(duì)我們業(yè)務(wù)具有代表性的內(nèi)容,王者榮耀,也被VVC標(biāo)準(zhǔn)納入測(cè)試序列集。

這個(gè)播放器目前已面向開(kāi)發(fā)者開(kāi)源。

騰訊云積極投入開(kāi)源社區(qū)的建設(shè),同時(shí)也將騰訊先進(jìn)的技術(shù)能力通過(guò)騰訊云為各個(gè)行業(yè)開(kāi)發(fā)者提供服務(wù)。在產(chǎn)品設(shè)計(jì)上,不僅針對(duì)國(guó)內(nèi)市場(chǎng),騰訊對(duì)海外業(yè)務(wù)也有充分的布局與考量,針對(duì)海外OTT市場(chǎng),騰訊云打造了媒體服務(wù)系列產(chǎn)品,為國(guó)內(nèi)產(chǎn)品國(guó)際化以及海外開(kāi)發(fā)者和服務(wù)商提供充分的技術(shù)產(chǎn)品支持,媒體服務(wù)系列產(chǎn)品可提供RTP/HLS/DASH等8種海外常見(jiàn)流媒體協(xié)議,7天24小時(shí)全天候穩(wěn)定直播服務(wù),支持60多個(gè)國(guó)家和地區(qū)的本地化部署。

在科學(xué)技術(shù)迅速發(fā)展的今天,人們已經(jīng)不滿(mǎn)足于只是觀看傳統(tǒng)二維視頻,而是渴望更真實(shí)更具沉浸感的體驗(yàn)。而沉浸式媒體,通過(guò)實(shí)現(xiàn)物理世界和虛擬世界的融合共生,被認(rèn)為是改變未來(lái)生活和工作方式的顛覆性趨勢(shì)之一。以VR為代表的沉浸式媒體內(nèi)容市場(chǎng)在近幾年顯著增長(zhǎng),應(yīng)用產(chǎn)業(yè)鏈迅速擴(kuò)展,應(yīng)用領(lǐng)域也越來(lái)越廣泛,滲透到例如文旅,教育,娛樂(lè),醫(yī)療和制造等行業(yè)。預(yù)計(jì)到2025年沉浸式媒體市場(chǎng)規(guī)模發(fā)展可達(dá)到161B usd(1611億美元)因此更多的公司和廠家也正在加大沉浸式媒體技術(shù)研發(fā)和生產(chǎn)的投入。

更深度的沉浸式體驗(yàn),主要體現(xiàn)在真實(shí)場(chǎng)景的6DOF、更清晰和流暢的內(nèi)容顯示、多通道交互等方面,依賴(lài)VR、AR、點(diǎn)云、Freeview等核心技術(shù),配合圖片、視頻、文字、聲音等傳統(tǒng)媒體格式,結(jié)合壓縮、傳輸、顯示、交互等環(huán)節(jié),通過(guò)手機(jī)、電腦、頭戴式、大屏等不同設(shè)備進(jìn)行最終呈現(xiàn)。從沉浸式應(yīng)用場(chǎng)景來(lái)看,正在從面向個(gè)人娛樂(lè)的消費(fèi)類(lèi)市場(chǎng)深化發(fā)展到企業(yè)級(jí)市場(chǎng)的垂直行業(yè)應(yīng)用場(chǎng)景。未來(lái)隨著5G的大規(guī)模普及,沉浸式媒體硬件及技術(shù)的進(jìn)一步突破、制作成本的下降以及更多優(yōu)質(zhì)內(nèi)容的開(kāi)發(fā),將推動(dòng)沉浸式媒體產(chǎn)品和服務(wù)被主流群體采納,深度沉浸式媒體廣闊的應(yīng)用場(chǎng)景和商業(yè)空間將被全面激活。

一個(gè)高質(zhì)量高效率的互動(dòng)沉浸式系統(tǒng)包含了從采集,處理,壓縮,傳輸,到解壓縮,后處理,渲染和交互等多個(gè)技術(shù)模塊。里面包含的技術(shù)有例如投影,采集拼接,FOV,自適應(yīng)傳輸?shù)燃夹g(shù),涉及的傳輸協(xié)議有HLS, DASH, RTC等。因?yàn)槌两矫襟w內(nèi)容的數(shù)據(jù)量比傳統(tǒng)高清/超高清視頻更龐大,比如這里展示的VR360演唱會(huì),和freeview 籃球比賽,那么如何將所有這些技術(shù)模塊有效結(jié)合,綜合優(yōu)化,對(duì)提供優(yōu)質(zhì)的端到端體驗(yàn)就更為重要和關(guān)鍵。

將沉浸式媒體技術(shù)與實(shí)時(shí)媒體傳輸技術(shù)結(jié)合,可以生成更多沉浸式應(yīng)用。比如,傳統(tǒng)的視頻會(huì)議只能采用單一固定鏡頭,視野和互動(dòng)性都具有一定局限性。通過(guò)融入沉浸式技術(shù),可以創(chuàng)造出三自由度和六自由度的視聽(tīng)效果,結(jié)合虛擬會(huì)議室設(shè)置,為與會(huì)者提供更加全面的會(huì)議信息和更加豐富的會(huì)議體驗(yàn)。

點(diǎn)云是沉浸式媒體領(lǐng)域又一項(xiàng)具有代表性的技術(shù),近兩年也正在得到更多的關(guān)注。點(diǎn)云端到端系統(tǒng)包括點(diǎn)云數(shù)據(jù)的處理、壓縮、模型重建和渲染、互動(dòng)等技術(shù)模塊。騰訊自研點(diǎn)云系統(tǒng)可以通過(guò)視頻、圖片、深度等信息進(jìn)行三維物體和空間重建,可用于如會(huì)展和房地產(chǎn)等業(yè)務(wù)場(chǎng)景。由于點(diǎn)云采用三維空間點(diǎn)陣的方式來(lái)表達(dá)真實(shí)物體和場(chǎng)景,可想而知構(gòu)建一個(gè)高精度點(diǎn)云模型所需要的數(shù)據(jù)量是非常巨大的。因而點(diǎn)云數(shù)據(jù)壓縮也是點(diǎn)云系統(tǒng)中不可缺少的一個(gè)環(huán)節(jié)。騰訊多媒體專(zhuān)家積極參與點(diǎn)云壓縮國(guó)際標(biāo)準(zhǔn)制定并有技術(shù)提案被國(guó)際標(biāo)準(zhǔn)采納,同時(shí)擔(dān)任AVS點(diǎn)云專(zhuān)題組聯(lián)合組長(zhǎng)。

騰訊云現(xiàn)已上線(xiàn)多個(gè)沉浸式媒體解決方案,包括VR視頻解決方案,騰訊臨境沉浸式解決方案等,以滿(mǎn)足不同業(yè)務(wù)的開(kāi)發(fā)需求。騰訊臨境沉浸式解決方案可以提供完整空間建模能力,并支持H5頁(yè)面、安卓、IOS手機(jī)端、小程序端全平臺(tái)展示和分享。

我們已經(jīng)逐步進(jìn)入5G時(shí)代。5G網(wǎng)絡(luò)提供給我們超強(qiáng)的帶寬,超低的延遲,使得更多的應(yīng)用觸手可及,也使得萬(wàn)物互聯(lián)成為可能。在5G的影響下,媒體內(nèi)容的生產(chǎn),獲取和傳播方式都在發(fā)生變化。無(wú)論是4K/8K,還是VR/AR/MR/點(diǎn)云,這些在過(guò)去因?yàn)槭芟抻诰W(wǎng)絡(luò)帶寬的應(yīng)用,在5G的推動(dòng)下可能會(huì)迎來(lái)突破。騰訊將繼續(xù)積極投入多媒體技術(shù)的研發(fā),擁抱開(kāi)源生態(tài)建設(shè),為開(kāi)發(fā)者和合作伙伴提供有效的服務(wù)和支持。

謝謝大家。