藝術(shù)家Heather Day在Facebook園區(qū)的AR藝術(shù)作品

《大西洋月刊》(the Atlantic)撰文稱，F(xiàn)acebook新的“AI Camera”團(tuán)隊(duì)想要在現(xiàn)實(shí)世界中開辟出一個(gè)新的空間。在圍繞手機(jī)攝像頭的爭奪戰(zhàn)中，該團(tuán)隊(duì)將會(huì)整合過去十年最重要的一些技術(shù)進(jìn)展，如神經(jīng)網(wǎng)絡(luò)、機(jī)器人、相機(jī)系統(tǒng)和社交網(wǎng)絡(luò)數(shù)據(jù)。在不遠(yuǎn)的未來，你的攝像頭將會(huì)理解它所在的位置，識別取景框內(nèi)的人，無縫地強(qiáng)化你所看到的現(xiàn)實(shí)。

以下是文章主要內(nèi)容：閱讀時(shí)間大概6分鐘

在Instagram故事功能中給閃閃發(fā)光的生日蛋糕蠟燭拍個(gè)視頻，然后點(diǎn)擊貼紙按鈕。在列表最上方，你就會(huì)看到蛋糕。

這是小玩意，這種簡單的伎倆并不令人驚嘆，也沒有什么神奇之處。但它是某種變革性的東西的開端。智能手機(jī)已經(jīng)改變了大多數(shù)人拍照的方式。硅谷的最新追求是重新想象攝像頭，將近年來人工智能的進(jìn)步應(yīng)用于讓你的手機(jī)變得能夠輕松理解現(xiàn)實(shí)世界，就像谷歌理解整個(gè)網(wǎng)絡(luò)那樣。

坐擁20億用戶的Facebook已經(jīng)將負(fù)責(zé)Instagram、Facebook和Messenger的相機(jī)軟件編程的數(shù)個(gè)團(tuán)隊(duì)重組成一個(gè)名為“AI Camera”的新部門。該部門去年成立的時(shí)候，只有一個(gè)成員。如今，它已經(jīng)擴(kuò)張到60人。當(dāng)中包括曾在微軟從事Photosynth工作的里克·（Rick Szeliski）和邁克爾·科恩（Michael Cohen）。AI Camera團(tuán)隊(duì)還能夠利用在公司其它部門的頂級神經(jīng)網(wǎng)絡(luò)研究者的專業(yè)知識，比如大名鼎鼎的雅恩·樂昆（Yann LeCu）和賈揚(yáng)清。

AI Camera團(tuán)隊(duì)負(fù)責(zé)賦予這些應(yīng)用內(nèi)的攝像頭理解你讓它們對準(zhǔn)的東西的能力。在不遠(yuǎn)的未來，你的攝像頭將會(huì)理解它所在的位置，識別取景框內(nèi)的人，無縫地強(qiáng)化你所看到的現(xiàn)實(shí)。

目前，該團(tuán)隊(duì)都是推出小的成果，比如那個(gè)生日蛋糕貼紙伎倆。但那只是一個(gè)想要改變你使用手機(jī)攝像頭方式的開發(fā)項(xiàng)目的開始。

AI Camera結(jié)合利用過去數(shù)十年眾多最重要的技術(shù)進(jìn)步：神經(jīng)網(wǎng)絡(luò)、機(jī)器人、相機(jī)系統(tǒng)和社交網(wǎng)絡(luò)數(shù)據(jù)。這些底層技術(shù)正在共同構(gòu)成智能手機(jī)的照片拍攝和顯示功能。

也許這聽上去很荒謬。但人類捕捉、理解和分享現(xiàn)實(shí)世界的照片的欲望已被證明幾乎無法滿足，正因?yàn)榇?，F(xiàn)acebook、蘋果、谷歌、三星、Snapchat、微軟等大型科技公司悉數(shù)進(jìn)軍該領(lǐng)域。

Facebook的項(xiàng)目也讓人聯(lián)想到了其它科技巨頭的動(dòng)作。閱后即焚通訊應(yīng)用Snapchat母公司Snap自稱是相機(jī)公司，其在“鏡頭”上的應(yīng)用可謂Pokémon Go以外增強(qiáng)現(xiàn)實(shí)的最佳詮釋。在谷歌今年5月的開發(fā)者大會(huì)上，桑達(dá)爾·皮查伊（Sundar Pichai）展示了Google Lens（谷歌鏡頭），該軟件能夠檢測攝像頭在對準(zhǔn)什么東西，還能夠利用這一信息提供其它的功能，如輸入密碼和識別花朵。

在Snap的刺激下，科技巨頭們紛紛開始拼合能夠通過智能手機(jī)這一完整的成像和顯示系統(tǒng)能夠完成的東西。手機(jī)攝像頭被使用的每一毫秒，所產(chǎn)生的數(shù)據(jù)都能夠被捕捉、處理、理解和回送給用戶查看。

空間化Facebook

“我們實(shí)質(zhì)上是在探究我們需要哪些技術(shù)來打造令人驚嘆的增強(qiáng)現(xiàn)實(shí)產(chǎn)品?！盇I Camera團(tuán)隊(duì)產(chǎn)品經(jīng)理約翰·巴內(nèi)特（John Barnett）指出。

他說，試想一下，在現(xiàn)實(shí)世界上疊加一個(gè)持久穩(wěn)固的可分享社交層，一個(gè)逃出信息流的空間化Facebook。

“當(dāng)初每一個(gè)人都為只是疊加一層?xùn)|西的Pokémon Go感到非常興奮。要是有1000層那樣的東西呢？”巴內(nèi)特問道，“所有的這些信息層都會(huì)出現(xiàn)在情境空間里，跟你關(guān)心的東西密切相關(guān)?！?/p>

這跟我們所熟知的那個(gè)Facebook全然不同。盡管它已經(jīng)從桌面端轉(zhuǎn)向“移動(dòng)端”，但它鮮少跟你握持手機(jī)所在的物理空間進(jìn)行交互。

“在現(xiàn)有的Facebook結(jié)構(gòu)中，我們給你呈現(xiàn)世界上正在發(fā)生的一切事情，通過折疊空間來給予你時(shí)間。”巴內(nèi)特說道，“而AI Camera則是要折疊時(shí)間來給予你空間?！?/p>

也就是說，F(xiàn)acebook在同時(shí)處理兩種模式：動(dòng)態(tài)消息（News Feed），實(shí)時(shí)向你展示你關(guān)心的東西；空間化的Facebook，告訴你這里正在發(fā)生什么。你可以觀察這種世界，也可以提供反饋。至少，你可以對你的世界這么做。

增強(qiáng)現(xiàn)實(shí)的一個(gè)愿景

在Facebook門洛帕克園區(qū)的其中一個(gè)樓層上，眺望南海灣的泥灘，你會(huì)看到一個(gè)平平無奇的角落。上面鋪設(shè)了管道。監(jiān)控?cái)z像頭在東向的墻壁上。透過肉眼，你看不出該面墻跟Facebook園區(qū)數(shù)百面其它的墻有什么區(qū)別。

然而，掏出一部裝有Facebook正在開發(fā)的一款應(yīng)用的手機(jī)，將它對準(zhǔn)該面墻，你會(huì)看到一個(gè)漂亮的藝術(shù)作品。該作品主要由舊金山藝術(shù)家Heather Day創(chuàng)作而成。它在Facebook CEO馬克·扎克伯格（Mark Zuckerberg）在F8開發(fā)者大會(huì)發(fā)表主旨演講時(shí)曾短暫亮相。

管道下，鮮藍(lán)色，藍(lán)綠色，青綠色，各種色彩匯集在墻壁上……太酷了，它就是懸浮在空中。

關(guān)閉該應(yīng)用，再將它打開，再一次將手機(jī)對準(zhǔn)那個(gè)角落，那個(gè)藝術(shù)品再一次出現(xiàn)。繞著它來回走，穿過它，Heather Day的畫作仍舊在那里。要是全世界各地都成千上萬個(gè)像這樣的東西，會(huì)怎么樣呢？然后旁邊是墨西哥卷餅的推薦信息，跑步和騎行記錄應(yīng)用Strava的分段記錄項(xiàng)，你的朋友在鏡頭前擺拍……

這是增強(qiáng)現(xiàn)實(shí)的一個(gè)愿景。增強(qiáng)現(xiàn)實(shí)是指將數(shù)字信息疊加在現(xiàn)實(shí)世界的圖像上面。在蘋果推出旨在讓開發(fā)者將AR引入應(yīng)用的框架ARKit以后，AR近幾個(gè)月迎來了很多的發(fā)展動(dòng)力。開發(fā)者們最近一直在展示那些AR應(yīng)用，谷歌前不久也發(fā)布了一套類似（盡管沒有獲得廣泛的贊譽(yù)）的工具：ARCore。

不管怎么樣，AR對于智能手機(jī)來說是一項(xiàng)極其復(fù)雜的任務(wù)。阿爾瓦羅·科列特（Alvaro Collet）是來自卡內(nèi)基梅隆大學(xué)的計(jì)算機(jī)視覺專業(yè)博士，從微軟加盟Facebook，加入AI Camera團(tuán)隊(duì)。他站在我旁邊，看著那面墻。“這實(shí)際上是一個(gè)很有挑戰(zhàn)性的場景，因?yàn)樗浅Ｆ秸！笨屏刑馗嬖V我。

即時(shí)定位與地圖構(gòu)建

這種基本的任務(wù)讓人想到了機(jī)器人數(shù)十年來要做的事情。研究人員將其稱作SLAM（即時(shí)定位與地圖構(gòu)建）。

SLAM的理論和實(shí)踐在過去30年里形成，源自多位機(jī)器人研究者，比如SRI的蘭德爾·史密斯（Randall Smith）和彼得·奇斯曼（Peter Cheeseman）、悉尼大學(xué)的休·杜蘭特-懷特（Hugh Durrant-Whyte）、塞巴斯蒂安·特倫（Sebastian Thrun）、來自卡內(nèi)基梅隆大學(xué)的科列特導(dǎo)師馬夏爾·赫伯特（Martial Hebert）。這些研究者大多數(shù)都研究真實(shí)的機(jī)器人，主要是裝有各類傳感器的自動(dòng)化車輛。但隨著智能手機(jī)開始興起，研究人員意識到，他們的系統(tǒng)可能將能夠觸及數(shù)億人，而不是數(shù)十人。

SLAM的問題在于，你需要給機(jī)器人（或者手機(jī)）所在的世界構(gòu)建地圖，但機(jī)器人（或者手機(jī)）和世界的位置都是不確定的。

“如果你知道已經(jīng)是3D的世界的所有特征，那擺正攝像頭的位置會(huì)很容易。相反，如果你有所有的攝像頭位置信息，那給世界構(gòu)建3D地圖會(huì)很容易?！笨屏刑卣f道，“SLAM的問題在于，開始展開工作的時(shí)候，你沒有3D地圖，你不知道攝像頭在哪里。那是即時(shí)定位方面的工作?！?/p>

有很多的方法解決該存在于不同算法當(dāng)中的問題。每一種方法都需要作出折衷。有的可提供很高的精準(zhǔn)度，但計(jì)算方面成本高昂。有的可能沒那么廣泛地考慮來自一個(gè)傳感器的圖像，但運(yùn)行快速，不需要太多的計(jì)算工作。

開發(fā)挑戰(zhàn)

Facebook同時(shí)為iOS和Android平臺(tái)開發(fā)產(chǎn)品，這給它帶來了不少的挑戰(zhàn)。當(dāng)然，F(xiàn)acebook的優(yōu)勢在于它無與倫比的規(guī)模：20億用戶，而且這一數(shù)字還在不斷增加。但要利用好這種規(guī)模，F(xiàn)acebook必須要讓AR同時(shí)適用于形形色色的手機(jī)，而不只是適用于像Pixel 2、三星Galaxy Note 8和iPhone X這樣的高端機(jī)型。那意味著他們實(shí)際上要部署多個(gè)算法來實(shí)施SLAM。在低端的手機(jī)上，運(yùn)算會(huì)更加艱難，因此他們得提升運(yùn)行速度。高端手機(jī)會(huì)有更好的表現(xiàn)，因?yàn)樗鼈冇凶銐驈?qiáng)大的處理能力。

對于低端機(jī)型，AI Camera團(tuán)隊(duì)必須要考慮各種隱藏的硬件問題。在手機(jī)內(nèi)部，有個(gè)攝像頭，但還有個(gè)可用來了解手機(jī)運(yùn)轉(zhuǎn)情況的慣性測量單元（IMU）。該單元包含陀螺儀和加速計(jì)。低端設(shè)備上的所有這些零部件都必須要進(jìn)行校準(zhǔn)。它們的時(shí)鐘必須要同步化。由于制造質(zhì)量較低，每臺(tái)設(shè)備對比iPhone可能都會(huì)表現(xiàn)出不同程度的差異。

在所有的電子工作完成，手機(jī)知道它自己大概在哪個(gè)位置和場景的幾何結(jié)構(gòu)以后，接著要解決的下一層技術(shù)是：深度神經(jīng)網(wǎng)絡(luò)。該“神經(jīng)”部分意味著，這類軟件需要“經(jīng)過訓(xùn)練”，而不是通過傳統(tǒng)規(guī)則來程序化。在獲得大量的標(biāo)記數(shù)據(jù)后，神經(jīng)網(wǎng)絡(luò)能夠根據(jù)它看到的東西標(biāo)記新的數(shù)據(jù)。深度部分是指神經(jīng)網(wǎng)絡(luò)的層數(shù)，這與數(shù)據(jù)集的功能復(fù)雜性相關(guān)。

在過去5年里，這種機(jī)器學(xué)習(xí)系統(tǒng)改變了圖像識別等功能的處理方式。谷歌圖片讓你尋找名片或者山脈或者人的圖片的功能，就是借助了深度神經(jīng)網(wǎng)絡(luò)的威力。

不過，想象一下，下一步的進(jìn)展：不只是識別藝術(shù)品，手機(jī)能夠識別存在于它已經(jīng)構(gòu)建的場景模型內(nèi)的物體。那在過去一年里才變得可行。

“這是我們第一次能夠在手機(jī)上同時(shí)運(yùn)行SLAM和深度網(wǎng)絡(luò)?！笨屏刑卣f道，“我們有兩個(gè)大型團(tuán)隊(duì)：SLAM幾何團(tuán)隊(duì)和深度網(wǎng)絡(luò)團(tuán)隊(duì)。目標(biāo)是，這兩樣?xùn)|西發(fā)生融合?！?/p>

那是你實(shí)現(xiàn)Facebook所想象的那種增強(qiáng)現(xiàn)實(shí)的唯一方式。到那時(shí)候，他們將只需要讓人們?nèi)ヌ畛渌械哪切┛臻g信息層。

“我們很想要做到的一點(diǎn)是，也許一兩年后，讓日常用戶僅通過手機(jī)上的工具就能夠重現(xiàn)藝術(shù)家Heather Day那樣的場景?！笨屏刑乇硎尽?/p>

任何有Facebook賬號的人都可以創(chuàng)作媒體作品和將它固定在世界上的某個(gè)地方。未來將會(huì)有懸浮在空中的食品推薦、婚紗照和畫作，未來到處都將會(huì)看到藝術(shù)作品和墨西哥卷餅。

濫用問題

但從各個(gè)社交平臺(tái)的發(fā)展史來看，我們可以確定的一點(diǎn)是：人們將會(huì)用自己的方式來利用那些工具。他們將會(huì)發(fā)現(xiàn)全新的用途，無法預(yù)料的用途，以及濫用的方式。空間化Facebook將會(huì)帶來意想不到的后果。

有的后果或許是可以預(yù)見的?，F(xiàn)在就已經(jīng)有空間化信息，只是不是以AI Camera想象或者通過Facebook運(yùn)作的方式呈現(xiàn)出來。例如，餐館點(diǎn)評網(wǎng)站Yelp一直以來都備受流氓評論困擾。十年來，餐館一直都無法處理粉絲和黑子在它們的門口附上數(shù)字看板。

另一個(gè)有警示意義的例子來自Pokémon Go。奧馬里·艾其爾（Omari Akil）曾發(fā)表帖子描述他作為黑人玩該游戲的經(jīng)歷。他更多的時(shí)間不是花在游戲本身上面，而是在擔(dān)心其他人會(huì)否覺得他行為可疑——并將他帶到警察局?！爱?dāng)我的大腦開始一邊在擔(dān)心在美國作為黑人可能會(huì)遭遇的問題，一邊參與到Pokémon Go游戲帶來的現(xiàn)實(shí)世界探索的時(shí)候，我只想到了一樣?xùn)|西?！彼麑懙溃澳蔷褪?，我繼續(xù)玩下去的話，我可能會(huì)死掉?！?/p>

美國的種族和性別歧視問題在互聯(lián)網(wǎng)上已經(jīng)突出，在空間化的增強(qiáng)現(xiàn)實(shí)中它們恐怕將會(huì)被進(jìn)一步放大。并不是每一個(gè)人都能夠同樣輕松地訪問同樣的地方。

2016年，Waze在巴西推出了一項(xiàng)犯罪高發(fā)地區(qū)提醒功能，幫助人們穿行“治安不好的街區(qū)”。微軟也曾因?yàn)?012年的一項(xiàng)關(guān)于類似功能的專利陷入了麻煩當(dāng)中，專利里所說的功能被人稱作“避開貧民區(qū)”功能。

即便是在比較良性的例子里，空間信息如果不適合疊加在某個(gè)現(xiàn)實(shí)空間上面，也會(huì)引發(fā)問題。

并不是說Facebook能夠或者應(yīng)當(dāng)解決流氓和美國反黑人方面所有的問題，以及將數(shù)字信息疊加到現(xiàn)實(shí)世界的所有復(fù)雜問題。但在開發(fā)增強(qiáng)現(xiàn)實(shí)產(chǎn)品的時(shí)候，他們可以想想這些問題。

AI Camera項(xiàng)目內(nèi)部也面臨類似的難題。為了讓系統(tǒng)兼容全球各地形形色色千奇百怪的手機(jī)，計(jì)算機(jī)視覺技術(shù)專家科列特描述了種種他們必須要做的工作，比如校準(zhǔn)、算法、系統(tǒng)的故障耐受性。

除了實(shí)體部件的現(xiàn)狀以外，他們也應(yīng)當(dāng)應(yīng)對好增強(qiáng)現(xiàn)實(shí)在倫理和行為方面的問題?？紤]系統(tǒng)的濫用和偏見需要花費(fèi)更多的心思，但現(xiàn)在就考慮這些問題會(huì)讓該系統(tǒng)日后變得更加強(qiáng)大。

如果AI Camera團(tuán)隊(duì)取得成功的話，那他們將會(huì)在陸地上面開辟出一個(gè)無邊無際的新空間。未決的問題在于，那會(huì)給這種新的數(shù)字層底下的地方帶來什么影響