今日,快手在2020年中國國際數(shù)碼互動娛樂展覽會(簡稱ChinaJoy)上,率先發(fā)布了基于5G網(wǎng)絡(luò)的云端渲染技術(shù)。該技術(shù)以短視頻業(yè)務(wù)場景為依托,為用戶提供了趣味性的體驗。本次快手提供了馴龍高手、二次元變身兩項展示。這兩項展示具備沉浸感強(qiáng)、體驗效果逼真的特點,受到了廣大參會者的追捧。

本次快手展示的云端渲染技術(shù),充分發(fā)揮5G高帶寬、低延遲的優(yōu)勢,釋放云端強(qiáng)大的計算能力,克服本地算力不足的缺點,達(dá)到云端實時渲染、5G低延遲傳輸、本地即時展示的目的。

圖為馴龍高手應(yīng)用效果示意

為了給用戶提供好萊塢級別的視覺體驗,馴龍高手綜合應(yīng)用多項自研技術(shù),包含基于物理的實時渲染(Physically Based Rendering)、對真實世界的仿真物理模擬、基于體素的流體建模與渲染系統(tǒng)、大規(guī)模GPU粒子系統(tǒng)、YCNN推理引擎。多項先進(jìn)技術(shù)和大量次時代資源的使用,導(dǎo)致本地設(shè)備無法提供足夠的算力與存儲空間。而5G技術(shù)的到來,使云端模擬成為可能,解決了上述問題。百萬面同屏、真實光影效果、華麗的粒子特效、纖毫畢現(xiàn)的毛發(fā)模擬、逼真的交互體驗、高精度的AI推理,畫面流暢細(xì)膩、特效精致震撼,為短視頻特效行業(yè)樹立了標(biāo)桿。

圖為二次元效果對比圖

二次元變身是基于CycleGAN、UGATIT等框架而實現(xiàn)的,快手在實踐中對于算法魯棒性、模型效果、數(shù)據(jù)準(zhǔn)備效率、時序穩(wěn)定性等進(jìn)行了優(yōu)化和升級。服務(wù)端的全圖二次元技術(shù),支持人像、背景、多人效果。通過端云協(xié)同的技術(shù)方案,服務(wù)端運(yùn)算的結(jié)果以直播下發(fā)的方式展示,為用戶提供更清晰、質(zhì)感的二次元轉(zhuǎn)換。

為了更好的適配5G網(wǎng)絡(luò),快手音視頻部門自研了網(wǎng)絡(luò)傳輸協(xié)議和實時編解碼技術(shù),采用快手自建的SDN網(wǎng)絡(luò),通過基于UDP協(xié)議的高清視頻低延時通信技術(shù),實現(xiàn)本地采集視頻云端處理的實時回顯。把用戶在手機(jī)上采集到的視頻實時發(fā)送到云端,利用服務(wù)器強(qiáng)勁的硬件資源進(jìn)行渲染,再把渲染結(jié)果實時發(fā)送到用戶手機(jī)進(jìn)行顯示。

快手云端渲染系列技術(shù),充分將移動終端與服務(wù)器的硬件能力相結(jié)合,實現(xiàn)較為復(fù)雜的運(yùn)算,未來將充分挖掘5G網(wǎng)絡(luò)的應(yīng)用價值,在視頻內(nèi)容生產(chǎn)、直播、小游戲等應(yīng)用場景中將發(fā)揮重要作用。