編 | 白鴿

智東西3月2日消息，據(jù)Tech Crunch報(bào)道，今日，谷歌為You Tube添加了一項(xiàng)新的AI功能。即通過構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)，讓用戶拍攝視頻時(shí)可自動(dòng)更換視頻背景（摳圖）。

據(jù)悉，摳圖是一門應(yīng)用了幾十年的特效技術(shù)，不過做起來很費(fèi)時(shí)間，也很復(fù)雜。如在拍電影時(shí)，導(dǎo)演會讓演員在綠幕前表演，之后使用計(jì)算機(jī)的數(shù)字特效更換綠屏。此前，因計(jì)算機(jī)在一秒內(nèi)至少需要計(jì)算30次，所以在移動(dòng)設(shè)備上想要更換普通的RGB圖像，也不是很容易。如此可見想要更換視頻背景的難度。

谷歌工程師們則認(rèn)為這是一個(gè)挑戰(zhàn)，并為此建立了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，使其通過數(shù)千張被標(biāo)記的圖片進(jìn)行訓(xùn)練。

通過訓(xùn)練，該神經(jīng)網(wǎng)絡(luò)可以分辨臉部特征，如眼睛、頭發(fā)、眼鏡、嘴等部位的特點(diǎn)，并將這些特征與其它東西區(qū)分開來。為了做到這一點(diǎn)，谷歌工程師對其進(jìn)行了一系列的優(yōu)化，從而降低了需要壓縮的數(shù)據(jù)量。此外，它還將先前的計(jì)算結(jié)果作為下一步的計(jì)算基礎(chǔ)，盡管它看起來有點(diǎn)作弊，但卻可以進(jìn)一步降低移動(dòng)設(shè)備的負(fù)荷。

在研發(fā)該功能中，其具體的任務(wù)是制作一個(gè)二進(jìn)制蒙版，以計(jì)算從前景到背景進(jìn)行分離的每一幀視頻所用的時(shí)間。其中，實(shí)現(xiàn)計(jì)算跨幀蒙版的時(shí)間的一致性是關(guān)鍵點(diǎn)。目前的方法是利用LSTM或 GRU進(jìn)行計(jì)算，但對于移動(dòng)設(shè)備來說，這樣操作是非常昂貴的。而谷歌研究人員則通過將之前計(jì)算掩碼作為之后計(jì)算掩碼的基礎(chǔ)進(jìn)行計(jì)算，從而保持時(shí)間上的一致性，如下圖所示：

（原始幀（左）在其三個(gè)顏色通道中分開，并與之前的蒙版連接，并被用作神經(jīng)網(wǎng)絡(luò)的輸入來預(yù)測當(dāng)前幀的蒙版（右））

而在視頻分割過程中，還要實(shí)現(xiàn)幀到幀的時(shí)間連續(xù)性，同時(shí)也要考慮到諸如在拍攝視頻過程中突然出現(xiàn)其他人物，以至于造成時(shí)間上不連續(xù)等問題。為訓(xùn)練其模型適應(yīng)這些問題，谷歌研究人員通過以下幾點(diǎn)對其進(jìn)行優(yōu)化：

1、清空之前的蒙版，訓(xùn)練神經(jīng)網(wǎng)絡(luò)在第一幀和第一個(gè)場景人物之間正常工作，并且模擬出了某人出現(xiàn)在相機(jī)中的場景。

2、將其轉(zhuǎn)換為真正的背景蒙版，通過轉(zhuǎn)換訓(xùn)練，可使神經(jīng)網(wǎng)絡(luò)將其調(diào)整到前一幀蒙版之前。

3、轉(zhuǎn)換圖像。該功能實(shí)現(xiàn)了在相機(jī)中進(jìn)行平滑流暢且快速的圖像轉(zhuǎn)化。

這樣做的結(jié)果就是其神經(jīng)網(wǎng)絡(luò)在移動(dòng)設(shè)備上運(yùn)行的速度非?？?，如在iPhone 7上實(shí)現(xiàn)了運(yùn)行速度100+ FBS，在Pixel 2上實(shí)現(xiàn)了40+ FBS，并且其更換背景的準(zhǔn)確性非常高。

刪除或替換背景工具對用戶來說很具有吸引力，所以該功能的推出對于很多人來說都是一個(gè)好消息。想要體驗(yàn)該功能嗎？遺憾的是，它目前只能讓 YouTube Stories用戶使用該功能。

原文來自：Tech Crunch、Google Blog